Оптимизация БД Сергеенков М.С. #19
Open
+570
−56
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
spajic
approved these changes
Feb 23, 2020
| @@ -2,6 +2,6 @@ class TripsController < ApplicationController | |||
| def index | |||
| @from = City.find_by_name!(params[:from]) | |||
| @to = City.find_by_name!(params[:to]) | |||
| @trips = Trip.where(from: @from, to: @to).order(:start_time) | |||
| @trips = Trip.includes(bus: :services).where(from: @from, to: @to).order(:start_time) | |||
| @@ -13,8 +13,13 @@ class Bus < ApplicationRecord | |||
| ].freeze | |||
|
|
|||
| has_many :trips | |||
| has_and_belongs_to_many :services, join_table: :buses_services | |||
| has_many :buses_services | |||
| has_many :services, through: :buses_services | |||
| @@ -0,0 +1,78 @@ | |||
| class ReloadJson | |||
There was a problem hiding this comment.
Плюс за вынос логики в отдельный файл, но не очень понятное название.
Из названия непонятно что именно за json
| end | ||
|
|
||
| def call(file_name) | ||
| json = Oj.load(File.read(file_name)) |
There was a problem hiding this comment.
Так грузим сразу весь json в память, при большом файле потратим много оперативки, раздуем память процесса.
| @@ -2,14 +2,14 @@ | |||
| <%= "Автобусы #{@from.name} – #{@to.name}" %> | |||
| </h1> | |||
| <h2> | |||
| <%= "В расписании #{@trips.count} рейсов" %> | |||
| <%= "В расписании #{@trips.size} рейсов" %> | |||
| @@ -2,4 +2,6 @@ | |||
| # For details on the DSL available within this file, see http://guides.rubyonrails.org/routing.html | |||
| get "/" => "statistics#index" | |||
| get "автобусы/:from/:to" => "trips#index" | |||
|
|
|||
| mount PgHero::Engine, at: "pghero" | |||
| @@ -0,0 +1,5 @@ | |||
| class AddUniqIndexToCityName < ActiveRecord::Migration[5.2] | |||
| def change | |||
| add_index :cities, :name, unique: true | |||
There was a problem hiding this comment.
В данном случае не важно, но напоминаю про опцию concurrently
| given(:to_city) { FactoryBot.create(:city) } | ||
| given!(:trips) { FactoryBot.create_list(:trip, 3, from_id: from_city.id, to_id: to_city.id, bus_id: bus.id) } | ||
|
|
||
| scenario 'Пользователь открывает список маршрутов' do |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
Первым делом я написал тесты, чтобы не сломать существующую логику.
Далее с помощью PgHero я смог установить (точнее подтвердить), что выполняется очень много запросов в БД.
Далее я переписал импорт маршрутов, сопутствующие объекты я начал хранить в хэшах, в БД ходить только для создания, а создание маршрутов переделал на импорт, используя гем activerecord-import. Таким образом удалось уложиться в заданный бюджет и загрузить самый большой файл данных за 50 секунд.
Далее для оптимизации рендеринга страницы с маршрутами я начал дополнительно использовать гем rack-mini-profiler. В связке rack-mini-profiler и PgHero мне удалось уменьшить время рендеринга страницы с 16000мс до 2000мс.
С помощью PgHero я установил необходимость добавления нетерпеливой загрузки, что дало уменьшение времени загрузки до 6000мс.
А с помошью rack-mini-profiler я установил, что рендеринг паршиалов тоже нужно оптимизировать. Таким образом я смог загрузить страницу с более 1000 маршрутами за 2000мс.