Homework 3 (Lutovinova)

.env.example

@@ -0,0 +1,11 @@
+DB_USERNAME=postgres
+DB_PASSWORD=postgres
+DB_HOST=db
+DB_PORT=5432
+DB_POOL=5
+DB_NAME=optimization_3
+
+PGHERO_USERNAME=postgres
+PGHERO_PASSWORD=postgres
+
+RAILS_ENV=development

.gitignore

@@ -1,4 +1,7 @@
 /.bundle
+/.idea
 /tmp
 /log
 /public
+.env
+fixtures/1M.json

Dockerfile

@@ -0,0 +1,14 @@
+FROM ruby:2.6.3-alpine
+
+RUN apk update  && apk upgrade && apk add --update --no-cache \
+  build-base libc-dev tzdata bash htop shared-mime-info \
+  postgresql-dev postgresql-client
+
+WORKDIR /opt/app
+
+COPY Gemfile* ./
+
+RUN gem install bundler -v 2.0.2
+RUN bundle install
+
+COPY . .

Gemfile

@@ -3,10 +3,21 @@ git_source(:github) { |repo| "https://github.com/#{repo}.git" }
 
 ruby '2.6.3'
 
+gem 'activerecord-import'
+gem 'dotenv-rails'
 gem 'rails', '~> 5.2.3'
 gem 'pg', '>= 0.18', '< 2.0'
 gem 'puma', '~> 3.11'
 gem 'bootsnap', '>= 1.1.0', require: false
+gem 'mimemagic', '0.3.10'
+gem 'memory_profiler'
+gem 'rspec'
+gem 'rspec-benchmark'
+gem 'ruby-prof'
+gem 'stackprof'
+gem 'pghero', '>= 2'
+gem 'rack-mini-profiler', require: false
+gem 'bullet'
 
 group :development, :test do
   # Call 'byebug' anywhere in the code to stop execution and get a debugger console

Gemfile.lock

@@ -33,6 +33,8 @@ GEM
       activemodel (= 5.2.3)
       activesupport (= 5.2.3)
       arel (>= 9.0)
+    activerecord-import (1.4.1)
+      activerecord (>= 4.2)
     activestorage (5.2.3)
       actionpack (= 5.2.3)
       activerecord (= 5.2.3)
@@ -43,13 +45,24 @@ GEM
       minitest (~> 5.1)
       tzinfo (~> 1.1)
     arel (9.0.0)
+    benchmark-malloc (0.2.0)
+    benchmark-perf (0.6.0)
+    benchmark-trend (0.4.0)
     bindex (0.6.0)
     bootsnap (1.4.2)
       msgpack (~> 1.0)
     builder (3.2.3)
+    bullet (7.0.7)
+      activesupport (>= 3.0.0)
+      uniform_notifier (~> 1.11)
     byebug (11.0.1)
     concurrent-ruby (1.1.5)
     crass (1.0.4)
+    diff-lcs (1.5.0)
+    dotenv (2.8.1)
+    dotenv-rails (2.8.1)
+      dotenv (= 2.8.1)
+      railties (>= 3.2)
     erubi (1.8.0)
     ffi (1.10.0)
     globalid (0.4.2)
@@ -67,8 +80,11 @@ GEM
       mini_mime (>= 0.1.1)
     marcel (0.3.3)
       mimemagic (~> 0.3.2)
+    memory_profiler (1.0.1)
     method_source (0.9.2)
-    mimemagic (0.3.3)
+    mimemagic (0.3.10)
+      nokogiri (~> 1)
+      rake
     mini_mime (1.0.1)
     mini_portile2 (2.4.0)
     minitest (5.11.3)
@@ -77,8 +93,12 @@ GEM
     nokogiri (1.10.2)
       mini_portile2 (~> 2.4.0)
     pg (1.1.4)
+    pghero (2.8.3)
+      activerecord (>= 5)
     puma (3.12.1)
     rack (2.0.6)
+    rack-mini-profiler (3.1.0)
+      rack (>= 1.2.0)
     rack-test (1.1.0)
       rack (>= 1.0, < 3)
     rails (5.2.3)
@@ -109,6 +129,25 @@ GEM
     rb-fsevent (0.10.3)
     rb-inotify (0.10.0)
       ffi (~> 1.0)
+    rspec (3.12.0)
+      rspec-core (~> 3.12.0)
+      rspec-expectations (~> 3.12.0)
+      rspec-mocks (~> 3.12.0)
+    rspec-benchmark (0.6.0)
+      benchmark-malloc (~> 0.2)
+      benchmark-perf (~> 0.6)
+      benchmark-trend (~> 0.4)
+      rspec (>= 3.0)
+    rspec-core (3.12.1)
+      rspec-support (~> 3.12.0)
+    rspec-expectations (3.12.2)
+      diff-lcs (>= 1.2.0, < 2.0)
+      rspec-support (~> 3.12.0)
+    rspec-mocks (3.12.5)
+      diff-lcs (>= 1.2.0, < 2.0)
+      rspec-support (~> 3.12.0)
+    rspec-support (3.12.0)
+    ruby-prof (1.4.3)
     ruby_dep (1.5.0)
     sprockets (3.7.2)
       concurrent-ruby (~> 1.0)
@@ -117,10 +156,12 @@ GEM
       actionpack (>= 4.0)
       activesupport (>= 4.0)
       sprockets (>= 3.0.0)
+    stackprof (0.2.24)
     thor (0.20.3)
     thread_safe (0.3.6)
     tzinfo (1.2.5)
       thread_safe (~> 0.1)
+    uniform_notifier (1.16.0)
     web-console (3.7.0)
       actionview (>= 5.0)
       activemodel (>= 5.0)
@@ -134,12 +175,23 @@ PLATFORMS
   ruby
 
 DEPENDENCIES
+  activerecord-import
   bootsnap (>= 1.1.0)
+  bullet
   byebug
+  dotenv-rails
   listen (>= 3.0.5, < 3.2)
+  memory_profiler
+  mimemagic (= 0.3.10)
   pg (>= 0.18, < 2.0)
+  pghero (>= 2)
   puma (~> 3.11)
+  rack-mini-profiler
   rails (~> 5.2.3)
+  rspec
+  rspec-benchmark
+  ruby-prof
+  stackprof
   tzinfo-data
   web-console (>= 3.3.0)
 

app/controllers/trips_controller.rb

@@ -1,7 +1,29 @@
 class TripsController < ApplicationController
   def index
-    @from = City.find_by_name!(params[:from])
-    @to = City.find_by_name!(params[:to])
-    @trips = Trip.where(from: @from, to: @to).order(:start_time)
+    @from = params[:from]
+    @to = params[:to]
+    @trips_count = trips_query.count
+    @trips = trips_query.order(:start_time)
+                        .joins(bus: :services)
+                        .select(trips_select.join(','))
+                        .group('trips.id, buses.id')
+  end
+
+  private
+
+  def trips_query
+    @cities ||= City.where(name: [@from, @to]).pluck(:name, :id).to_h
+    Trip.where(from_id: @cities[@from], to_id: @cities[@to])
+  end
+
+  def trips_select
+    [
+      'trips.start_time',
+      'trips.duration_minutes',
+      'trips.price_cents',
+      'array_agg(services.name) as service_names',
+      'buses.number as bus_number',
+      'buses.model as bus_model'
+    ]
   end
 end

app/models/application_record.rb

@@ -1,3 +1,4 @@
+# frozen_string_literal: true
 class ApplicationRecord < ActiveRecord::Base
   self.abstract_class = true
 end

app/models/bus.rb

@@ -1,3 +1,4 @@
+# frozen_string_literal: true
 class Bus < ApplicationRecord
   MODELS = [
     'Икарус',

app/models/city.rb

@@ -1,3 +1,4 @@
+# frozen_string_literal: true
 class City < ApplicationRecord
   validates :name, presence: true, uniqueness: true
   validate :name_has_no_spaces

app/models/service.rb

@@ -1,3 +1,4 @@
+# frozen_string_literal: true
 class Service < ApplicationRecord
   SERVICES = [
     'WiFi',

app/models/trip.rb

@@ -1,5 +1,6 @@
+# frozen_string_literal: true
 class Trip < ApplicationRecord
-  HHMM_REGEXP = /([0-1][0-9]|[2][0-3]):[0-5][0-9]/
+  HHMM_REGEXP = /([0-1][0-9]|[2][0-3]):[0-5][0-9]/.freeze
 
   belongs_to :from, class_name: 'City'
   belongs_to :to, class_name: 'City'

app/views/trips/index.html.erb

@@ -1,16 +1,26 @@
 <h1>
-  <%= "Автобусы #{@from.name} – #{@to.name}" %>
+  <%= "Автобусы #{@from} – #{@to}" %>
 </h1>
 <h2>
-  <%= "В расписании #{@trips.count} рейсов" %>
+  <%= "В расписании #{@trips_count} рейсов" %>
 </h2>
 
 <% @trips.each do |trip| %>
   <ul>
-    <%= render "trip", trip: trip %>
-    <% if trip.bus.services.present? %>
-      <%= render "services", services: trip.bus.services %>
+    <li><%= "Отправление: #{trip.start_time}" %></li>
+    <li><%= "Прибытие: #{(Time.parse(trip.start_time) + trip.duration_minutes.minutes).strftime('%H:%M')}" %></li>
+    <li><%= "В пути: #{trip.duration_minutes / 60}ч. #{trip.duration_minutes % 60}мин." %></li>
+    <li><%= "Цена: #{trip.price_cents / 100}р. #{trip.price_cents % 100}коп." %></li>
+    <li><%= "Автобус: #{trip.bus_model} №#{trip.bus_number}" %></li>
+
+    <% if trip.service_names.present? %>
+      <li>Сервисы в автобусе:</li>
+      <ul>
+        <% trip.service_names.each do |service| %>
+          <li><%= "#{service}" %></li>
+        <% end %>
+      </ul>
     <% end %>
   </ul>
-  <%= render "delimiter" %>
+  ====================================================
 <% end %>

case-study.md

@@ -0,0 +1,93 @@
+Первым шагом при выполнении задания была настройка запуска в докер и проверка корректности работы.
+После первого запуска скрипта на экспорт данных было заметно что он работает не очень быстро.
+
+### 1 часть задания. Оптимизация скрипта
+
+Скрипт решила оптимизировать первоначально по памяти, т.к. имеет место обработка файла + active record наверняка может создавать лишние объекты
+ну и хотелось в этом больше потренироваться.
+Как и ожидалось после запуска memoryprofiler больше всего памяти приходится на activerecord, поэтому так же как и во втором
+задании поэтапно начинаю оптимизацию.
+
+#### Замеры до оптимизации:
+- Время выполнения (fixtures/small.json): 6.97 сек
+- Потребляемая память (fixtures/small.json): 119 MB
+
+Далее перечислю основные моменты:
+1. Первое что решаю сделать это добавить frozen_string_literal, что дает небольшое улучшение.
+2. Далее, исходя из отчета самое большое количество памяти выделено на /activerecord-5.2.3/lib/active_record/log_subscriber.rb
+Заменила log_level на error для скрипта. Здесь же убрала bootsnap, т.к. периодически падал профилировщик. Точка роста сместилась
+3. Т.к далее основная нагрузка приходится на active record, решаю по максимуму убрать использование объектов active record. 
+Для этого выношу код в отдельный класс, заменяю запросы удаления на truncate, подключаю гем activerecord-import и с помощью него уже строю импорт данных
+В результате время выполнения сократилась, но потребление памяти не очень. На первом месте остались объекты active record
+4. Далее решила в импорте не использовать recursive, а собрать все в массив и импортировать его и это уже принесло хороший результат:
+- Время выполнения (fixtures/small.json): 0.81 сек
+- Потребляемая память (fixtures/small.json): 113 MB
+
+
+- Время выполнения (fixtures/medium.json): 4.07 сек
+- Потребляемая память (fixtures/small.json): 112 MB
+
+
+- Время выполнения (fixtures/large.json):  34.86 сек
+- Потребляемая память (fixtures/small.json): 335 MB
+
+В результате оптимизации active record перестал быть главной точкой роста.
+
+5. После профилирования по времени на первом месте оказался PG::Connection#async_exec, судя по записанным данным самое большое количество запросов
+приходится на добавление связи bus и service. Ради интереса решила попробовать сделать их запись в одном запросе, что 
+привело к снижению времени обработки. После этого решила попробовать по аналогии записывать и данные по trip и в итоге получила 
+значительное снижение по времени, т.о от гема activerecord-import отказалась. Результаты:
+
+- Время выполнения (fixtures/small.json): 0.39 сек
+- Потребляемая память (fixtures/small.json): 110 MB
+
+
+- Время выполнения (fixtures/medium.json): 1.5 сек
+- Потребляемая память (fixtures/medium.json): 116 MB
+
+
+- Время выполнения (fixtures/large.json):  13.28 сек
+- Потребляемая память (fixtures/large.json): 330 MB
+
+
+- Время выполнения (fixtures/1M.json):  137.6 сек
+- Потребляемая память (fixtures/1M.json): 1895 MB
+
+По памяти много, но по времени кажется неплохо. На этом результате решила остановиться пока, потому что времени катастрофически не хватает.
+Потоковая обработка интересна, если получится как нибудь попробую предложенный пример записи в БД.
+
+### 2 часть задания. Оптимизация страницы расписаний
+
+После импорта файла large.json страница загружалась примерно 24 секунды.
+Первым делом решила попробовать поставить pgHero, т.к. было интересно попробовать этот инструмент.
+
+Сразу после первого прогона был найден медленный запрос:
+```sql
+SELECT "services".* FROM "services" INNER JOIN "buses_services" ON "services"."id" = "buses_services"."service_id" WHERE "buses_services"."bus_id" = $1
+```
+
+Поставила bullet и rack-mini-profiler.
+- Далее поправила запросы исходя из алертов и добавила .
+- из профайлера видно что очень много запросов вида:
+```sql
+SELECT "services".* FROM "services" INNER JOIN "buses_services" ON "services"."id" = "buses_services"."service_id" WHERE "buses_services"."bus_id" = $1; 
+```
+то же показывает и pgHero, поэтому поправила этот момент тем то изменила выборку по trips - добавила в select только нужные для
+отображения аттрибуты и добавила joins.
+- объединила рендеры в один для удобства поиска необходимых аттрибутов
+- заменила поиск города по названию (влияет не сильно но тем не менее)
+
+В результате время отображения на сократилось до 182ms. По pgHero и bullet проблем больше не выявлено.
+
+Дальше я решила посмотреть анализ самого долгого запроса, который стал основным.
+По нему получается что самым долгим является часть джойна с buses_services, т.к там нет индексов. Такая же проблема на
+таблицах buses и trips. Добавляю индексы.
+
+В результате время отображения на сократилось до 130ms (с включенным профилировщиком)
+
+### Итоги
+
+Очень понравилось использовать pgHero, действительно удобный и визуально приятный инструмент.
+С bullet и rack-mini-profiler немного уже работала, поэтому они остаются полезными)
+
+P.S Прошу прощения за такую задержку с выполнением дз. Постараюсь наверстать все пропущенное до конца курса.

config/application.rb

@@ -10,6 +10,7 @@ module Task4
   class Application < Rails::Application
     # Initialize configuration defaults for originally generated Rails version.
     config.load_defaults 5.2
+    config.log_level = :error
 
     # Settings in config/environments/* take precedence over those specified here.
     # Application configuration can go into files in config/initializers