[#3] Optimization of trips import and trips view #12
Conversation
n-n1ks
changed the title
n-n1ks
changed the title
n-n1ks
changed the title
| @@ -0,0 +1,15 @@ | |||
| require: | |||
| - rubocop-performance | |||
There was a problem hiding this comment.
👍 плюсик за rubocop-performance!
| gem "puma", "~> 3.11" | ||
| gem "bootsnap", ">= 1.1.0", require: false | ||
| gem "activerecord-import" | ||
| gem "json-streamer" |
| gem "bootsnap", ">= 1.1.0", require: false | ||
| gem "activerecord-import" | ||
| gem "json-streamer" | ||
| gem "dry-container" |
| class TripsContainer | ||
| extend Dry::Container::Mixin | ||
|
|
||
| register("import") do |
There was a problem hiding this comment.
wow, такого в этом ДЗ ещё никто не делал
|
|
||
| private | ||
|
|
||
| def index_cache |
There was a problem hiding this comment.
Лучше бы вынести логику кэширования в QueryObject, не засорять ей контроллер.
Also, возможно, удобно было бы применить https://github.com/rails/actionpack-page_caching
Also, тут надо внимательно бенчмаркать, получается ли в итоге с кэшированием в редисе быстрее, чем просто быстро генерить страницу. И насколько таких страниц вообще много, не закончится ли в редисе память - в общем навскидку не понятно, хорошая ли идея кэшировать страницы такого типа в редисе.
There was a problem hiding this comment.
Тут согласен, можно рефачить, но момент выполнения задания не хотел добавлять новых абстракций.
| Основная проблема была из-за построчной обработки данных, что было мною сделано: | ||
|
|
||
| 1. Bulk insert все сервисов, что позволяет сразу же ссылаться на нужные для всех автобусов. | ||
| 2. Стриминговая вставка всех рейсов. |
|
|
||
| ## Результаты | ||
| ### Импорт | ||
| Удалось ускорить время выполнения в ~36 раз (с 25 секунд до 0.7), был написано тест, проверяющий корректность выполнения и проверяющий, что программа работает быстрее, чем 1 секунду. |
There was a problem hiding this comment.
Круто! Попробуйте бонусные объёмы данных, если будет время.
По идее должно сработать, если json-streamer не упадёт.
Я сталкивался с тем, что какие-то из подобных библиотек умирали на большом объёме данных.
| В ходе профилирования мною было выявлено 2 основных проблемы: | ||
|
|
||
| 1. N + 1. | ||
| 2. Затраты на partial render. |
| context "when small.json file" do | ||
| let(:file_path) { File.join(Rails.root, "fixtures", "small.json") } | ||
|
|
||
| it "should work less then 1 second" do |
No description provided.