Task3

Dockerfile

@@ -0,0 +1,21 @@
+FROM ruby:2.6.3
+
+RUN apt-get update &&  \
+        apt-get install g++ valgrind net-tools tmux -y \
+        massif-visualizer \
+        --no-install-recommends \
+        && apt-get install -y postgresql postgresql-contrib \
+        && apt-get install sudo \
+        && apt-get purge --auto-remove -y curl \
+        && rm -rf /var/lib/apt/lists/* \
+        && rm -rf /src/*.deb
+
+RUN groupadd -r massif && useradd -r -g massif massif \
+    && mkdir -p /home/massif/test && chown -R massif:massif /home/massif
+USER massif
+WORKDIR /home/massif/test
+
+RUN gem install bundler
+COPY Gemfile /home/massif/test
+COPY Gemfile.lock /home/massif/test
+RUN bundle install

Gemfile

@@ -7,6 +7,8 @@ gem 'rails', '~> 5.2.3'
 gem 'pg', '>= 0.18', '< 2.0'
 gem 'puma', '~> 3.11'
 gem 'bootsnap', '>= 1.1.0', require: false
+gem 'activerecord-import'
+gem 'ruby-prof'
 
 group :development, :test do
   # Call 'byebug' anywhere in the code to stop execution and get a debugger console
@@ -17,6 +19,13 @@ group :development do
   # Access an interactive console on exception pages or by calling 'console' anywhere in the code.
   gem 'web-console', '>= 3.3.0'
   gem 'listen', '>= 3.0.5', '< 3.2'
+
+  gem 'rack-mini-profiler'
+  gem 'memory_profiler'
+  gem 'stackprof', '>= 0.2.9'
+  gem 'flamegraph'
+
+  gem 'meta_request'
 end
 
 group :test do

Gemfile.lock

@@ -33,6 +33,8 @@ GEM
       activemodel (= 5.2.3)
       activesupport (= 5.2.3)
       arel (>= 9.0)
+    activerecord-import (1.0.2)
+      activerecord (>= 3.2)
     activestorage (5.2.3)
       actionpack (= 5.2.3)
       activerecord (= 5.2.3)
@@ -52,6 +54,7 @@ GEM
     crass (1.0.4)
     erubi (1.8.0)
     ffi (1.10.0)
+    flamegraph (0.9.5)
     globalid (0.4.2)
       activesupport (>= 4.2.0)
     i18n (1.6.0)
@@ -67,6 +70,10 @@ GEM
       mini_mime (>= 0.1.1)
     marcel (0.3.3)
       mimemagic (~> 0.3.2)
+    memory_profiler (0.9.14)
+    meta_request (0.7.2)
+      rack-contrib (>= 1.1, < 3)
+      railties (>= 3.0.0, < 7)
     method_source (0.9.2)
     mimemagic (0.3.3)
     mini_mime (1.0.1)
@@ -79,6 +86,10 @@ GEM
     pg (1.1.4)
     puma (3.12.1)
     rack (2.0.6)
+    rack-contrib (2.1.0)
+      rack (~> 2.0)
+    rack-mini-profiler (1.0.2)
+      rack (>= 1.2.0)
     rack-test (1.1.0)
       rack (>= 1.0, < 3)
     rails (5.2.3)
@@ -109,6 +120,7 @@ GEM
     rb-fsevent (0.10.3)
     rb-inotify (0.10.0)
       ffi (~> 1.0)
+    ruby-prof (1.0.0)
     ruby_dep (1.5.0)
     sprockets (3.7.2)
       concurrent-ruby (~> 1.0)
@@ -117,6 +129,7 @@ GEM
       actionpack (>= 4.0)
       activesupport (>= 4.0)
       sprockets (>= 3.0.0)
+    stackprof (0.2.12)
     thor (0.20.3)
     thread_safe (0.3.6)
     tzinfo (1.2.5)
@@ -134,12 +147,19 @@ PLATFORMS
   ruby
 
 DEPENDENCIES
+  activerecord-import
   bootsnap (>= 1.1.0)
   byebug
+  flamegraph
   listen (>= 3.0.5, < 3.2)
+  memory_profiler
+  meta_request
   pg (>= 0.18, < 2.0)
   puma (~> 3.11)
+  rack-mini-profiler
   rails (~> 5.2.3)
+  ruby-prof
+  stackprof (>= 0.2.9)
   tzinfo-data
   web-console (>= 3.3.0)
 

app/controllers/trips_controller.rb

@@ -2,6 +2,6 @@ class TripsController < ApplicationController
   def index
     @from = City.find_by_name!(params[:from])
     @to = City.find_by_name!(params[:to])
-    @trips = Trip.where(from: @from, to: @to).order(:start_time)
+    @trips = Trip.where(from: @from, to: @to).order(:start_time).includes(bus: :services)
   end
 end

app/models/bus.rb

@@ -13,7 +13,8 @@ class Bus < ApplicationRecord
   ].freeze
 
   has_many :trips
-  has_and_belongs_to_many :services, join_table: :buses_services
+  has_many :buses_services, class_name: 'BusesService'
+  has_many :services, through: :buses_services, class_name: 'Service'
 
   validates :number, presence: true, uniqueness: true
   validates :model, inclusion: { in: MODELS }

app/models/buses_service.rb

@@ -0,0 +1,4 @@
+class BusesService < ApplicationRecord
+  belongs_to :bus, touch: true
+  belongs_to :service, touch: true
+end

app/views/trips/_service.html.erb

@@ -1 +1 @@
-<li><%= "#{service.name}" %></li>
+<li><%= "#{service.name}" %></li>

app/views/trips/_services.html.erb

@@ -1,6 +1,4 @@
 <li>Сервисы в автобусе:</li>
 <ul>
-  <% services.each do |service| %>
-    <%= render "service", service: service %>
-  <% end %>
+  <%= render partial: "service", collection: services %>
 </ul>

app/views/trips/_trip.html.erb

@@ -1,5 +1,13 @@
-<li><%= "Отправление: #{trip.start_time}" %></li>
-<li><%= "Прибытие: #{(Time.parse(trip.start_time) + trip.duration_minutes.minutes).strftime('%H:%M')}" %></li>
-<li><%= "В пути: #{trip.duration_minutes / 60}ч. #{trip.duration_minutes % 60}мин." %></li>
-<li><%= "Цена: #{trip.price_cents / 100}р. #{trip.price_cents % 100}коп." %></li>
-<li><%= "Автобус: #{trip.bus.model} №#{trip.bus.number}" %></li>
+<% cache trip do %>
+  <ul>
+    <li><%= "Отправление: #{trip.start_time}" %></li>
+    <li><%= "Прибытие: #{(Time.parse(trip.start_time) + trip.duration_minutes.minutes).strftime('%H:%M')}" %></li>
+    <li><%= "В пути: #{trip.duration_minutes / 60}ч. #{trip.duration_minutes % 60}мин." %></li>
+    <li><%= "Цена: #{trip.price_cents / 100}р. #{trip.price_cents % 100}коп." %></li>
+    <li><%= "Автобус: #{trip.bus.model} №#{trip.bus.number}" %></li>
+    <% if trip.bus.services.present? %>
+      <%= render "services", services: trip.bus.services %>
+    <% end %>
+  </ul>
+  <%= render "delimiter" %>
+<% end %>

app/views/trips/index.html.erb

@@ -2,15 +2,8 @@
   <%= "Автобусы #{@from.name} – #{@to.name}" %>
 </h1>
 <h2>
-  <%= "В расписании #{@trips.count} рейсов" %>
+  <%= "В расписании #{@trips.size} рейсов" %>
 </h2>
 
-<% @trips.each do |trip| %>
-  <ul>
-    <%= render "trip", trip: trip %>
-    <% if trip.bus.services.present? %>
-      <%= render "services", services: trip.bus.services %>
-    <% end %>
-  </ul>
-  <%= render "delimiter" %>
-<% end %>
+<%= render @trips %>
+

build-docker.sh

@@ -0,0 +1,3 @@
+#!/bin/bash
+
+docker build . -t spajic/docker-valgrind-massif

case-study.md

@@ -0,0 +1,130 @@
+# Case-study оптимизации
+
+## Актуальная проблема
+В нашем проекте возникла серьёзная проблема.
+
+Наше приложенене неплохо себя показало на тестовых данных, однако оказалось, что в реальной жизни нам потребуется
+загружать и отображать значительно большее количество рейсов, чем мы первоначально планировали.
+
+От бизнеса был получен файл large.json объемом 32MB, выявивший две проблемы: 
+
+1) Слишком медленная загрузка данных в базу
+2) Слишком долгое отображение страниц веб-приложением
+
+Попробуем решить обе проблемы. 
+
+## Гарантия корректности работы оптимизированной программы
+Напишем тест, проверяющий корректную загрузку и отображение рейсов из файла example.json. Для этого перенесем
+логику обработки файла из рейк-таски в отдельный класс и напишем тест, проверяющий корректное отображение страницы
+рейсов Самара - Москва
+
+## Первая проблема - Слишком медленная загрузка данных в базу
+
+### Метрика
+Я решил использовать две метрики -  непосредственно скорость обработки файла и потребление памяти.
+В проекте удобно предоставляются файлы разного размера, что позволит переходить от меньшего файла к большему по мере
+оптимизации. 
+
+### Feedback-Loop
+Для того, чтобы иметь возможность быстро проверять гипотезы я выстроил `feedback-loop`,
+который позволил мне получать обратную связь по эффективности сделанных изменений за 5-10 секунд
+
+`feedback-loop` представляет из себя запуск rake таски импорта файла
+
+- bin/rake reload_json[fixtures/small.json]
+
+в вывод которой я добавил отчет о затраченном времени и потреблении памяти
+
+## Динамика потребления памяти
+Прежде всего выясним динамику потребления памяти при импорте данных из файла. Для этого
+используем valgrind massif visualier
+![valgrind massif visualier](./img/2019-09-08.png)
+На графике виден стабильный крутой рост потребления памяти на всем протяжении времени работы скрипта.
+
+Попробуем провести рефакторинг таким образом, чтобы не накапливать данные в памяти.
+
+Так же в отчете ruby_prof qcachegrind видно, что значительно время занимают find_by / 
+find_or_create_by методы. Попробуем от них избавиться. 
+
+Значения метрик для файла small.json - 12 секунд, 71 mb
+
+После рефакторинга импорт файла small.json стал занимать 0.91 секунды. Это позволило
+имторировать файл large.json за 26 секунд (используя 347 мб рам), что соответствует бюджету.
+
+Коммитим изменения
+
+## Вторая проблема - медленное отображение расписаний после импорта large.json
+
+## Метрика
+
+Я решил использовать в качестве метрики скорость, с которой rails отвечает на запрос страницы
+`http://127.0.0.1:3000/автобусы/Самара/Москва`, эти значения можно легко увидеть прямо в
+консоли `rails s`
+
+Старотовые значения метрики такие
+- Completed 200 OK in 7408ms (Views: 6562.6ms | ActiveRecord: 843.7ms)
+
+#rack-mini-profiler n+1
+
+Подключим rack-mini-profiler и попробуем найти точки роста для оптимизации быстродействия страницы
+
+В логе запущенного приложения можно увидеть подозрительно большое количество sql запросов, а если
+рассмотреть страницу `http://127.0.0.1:3000/автобусы/Самара/Москва` через rack-mini-profiler 
+можно увидеть явную проблему n+1, страница вызывает 650 sql запросов на рендер каждого _trip.
+
+Попробуем устранить проблему, добавив include d ds,jhre трипов
+
+метрика
+
+- Completed 200 OK in 7408ms (Views: 6562.6ms | ActiveRecord: 843.7ms)
+
+попробуем внести изменения
+
+Количество sql запросов снижается до 8, метрика значительно улучшается (особенно в части ActiveRecord)
+
+- Completed 200 OK in 6053ms (Views: 5985.4ms | ActiveRecord: 64.6ms)
+
+коммитим
+
+#rack-mini-profiler рендернг коллекций
+
+По показанию сметрики мы видем, что основное время занимает рендеринг видов, 
+а в отчете rack-mini-profiler можно увидеть множество записей о пендеринге trips/_services и 
+самих трипов. Попробуем применить групповой рендеринг, чтобы ускорить отображение страницы
+
+текущая метрика
+
+- Completed 200 OK in 7408ms (Views: 6562.6ms | ActiveRecord: 843.7ms)
+
+попробуем внести изменения
+
+метрика уменьшается до 2,5 секунд
+
+- Completed 200 OK in 2601ms (Views: 2552.5ms | ActiveRecord: 45.8ms)
+
+коммитим
+
+# bullet
+
+Подключим bullet и попробуем найти точки роста для оптимизации быстродействия страницы
+
+bullet не обнаружил проблем. Для теста отключил ранее найденный includes, посмотрел как проблема
+отобразилась в буллет-всплывашке. Других точек роста увидеть не удалось.
+
+# rails panel
+
+Подключим rails panel и попробуем найти точки роста для оптимизации быстродействия страницы
+
+Заметно, что рендер видов все еще занимает приличное время. Попроуем закешировать trip-ы
+
+теперь страница открывается менее чем за секунду, коммитим
+
+# explain запросов и добавление индексов
+
+Изучив запросы к бд, я добавил несколько индексов, в том числе составной индекс для trips -> 
+[:from_id, :to_id, :start_time], что значительно ускорило выборку данных из базы.
+
+# Итог
+
+После всех оптимизаций удалось добиться открытия заполненной из large.json страницы менее чем за 
+0.5 секунды, по сравнению с первонатальным кодом страница ускорилась примерно в 150 раз 

config/application.rb

@@ -15,5 +15,6 @@ class Application < Rails::Application
     # Application configuration can go into files in config/initializers
     # -- all .rb files in that directory are automatically loaded after loading
     # the framework and any gems in your application.
+    config.autoload_paths << "#{config.root}/lib"
   end
 end

config/database.yml

@@ -24,6 +24,8 @@ default: &default
 development:
   <<: *default
   database: task-4_development
+  username: ineedjet
+  host: 127.0.0.1
 
   # The specified database role being used to connect to postgres.
   # To create additional roles in postgres see `$ createuser --help`.

db/migrate/20190908212423_create_indexes.rb

@@ -0,0 +1,9 @@
+class CreateIndexes < ActiveRecord::Migration[5.2]
+  def change
+    add_index(:buses_services, :bus_id)
+    add_index(:cities, :name)
+    add_index(:trips, :from_id)
+    add_index(:trips, :to_id)
+    add_index(:trips, [:from_id, :to_id, :start_time])
+  end
+end

db/schema.rb

@@ -10,7 +10,7 @@
 #
 # It's strongly recommended that you check this file into your version control system.
 
-ActiveRecord::Schema.define(version: 2019_03_30_193044) do
+ActiveRecord::Schema.define(version: 2019_09_08_212423) do
 
   # These are extensions that must be enabled in order to support this database
   enable_extension "plpgsql"
@@ -23,10 +23,12 @@
   create_table "buses_services", force: :cascade do |t|
     t.integer "bus_id"
     t.integer "service_id"
+    t.index ["bus_id"], name: "index_buses_services_on_bus_id"
   end
 
   create_table "cities", force: :cascade do |t|
     t.string "name"
+    t.index ["name"], name: "index_cities_on_name"
   end
 
   create_table "services", force: :cascade do |t|
@@ -40,6 +42,9 @@
     t.integer "duration_minutes"
     t.integer "price_cents"
     t.integer "bus_id"
+    t.index ["from_id", "to_id", "start_time"], name: "index_trips_on_from_id_and_to_id_and_start_time"
+    t.index ["from_id"], name: "index_trips_on_from_id"
+    t.index ["to_id"], name: "index_trips_on_to_id"
   end
 
 end