Optimization task3

.rspec

@@ -0,0 +1 @@
+--require spec_helper

Gemfile

@@ -4,11 +4,27 @@ git_source(:github) { |repo| "https://github.com/#{repo}.git" }
 ruby file: '.ruby-version'
 
 gem 'rails', '~> 8.0.1'
-gem 'pg'
-gem 'puma'
+
 gem 'listen'
+gem 'activerecord-import'
 gem 'bootsnap'
+gem 'pg'
+gem 'pghero'
+gem "pg_query", ">= 2"
+gem 'puma'
 gem 'rack-mini-profiler'
+gem 'sprockets', '~> 4.0'
+gem 'sprockets-rails'
+gem 'strong_migrations'
+
 
 # Windows does not include zoneinfo files, so bundle the tzinfo-data gem
 gem 'tzinfo-data', platforms: [:mingw, :mswin, :x64_mingw, :jruby]
+
+group :development, :test do
+  gem 'rspec-rails', '~> 7.0.0'
+end
+
+group :development do
+  gem 'bullet'
+end

Gemfile.lock

@@ -53,6 +53,8 @@ GEM
       activemodel (= 8.0.1)
       activesupport (= 8.0.1)
       timeout (>= 0.4.0)
+    activerecord-import (2.1.0)
+      activerecord (>= 4.2)
     activestorage (8.0.1)
       actionpack (= 8.0.1)
       activejob (= 8.0.1)
@@ -78,15 +80,26 @@ GEM
     bootsnap (1.18.4)
       msgpack (~> 1.2)
     builder (3.3.0)
+    bullet (8.0.1)
+      activesupport (>= 3.0.0)
+      uniform_notifier (~> 1.11)
     concurrent-ruby (1.3.5)
     connection_pool (2.5.0)
     crass (1.0.6)
     date (3.4.1)
+    diff-lcs (1.6.0)
     drb (2.2.1)
     erubi (1.13.1)
     ffi (1.17.1-arm64-darwin)
+    ffi (1.17.1-x86_64-linux-gnu)
     globalid (1.2.1)
       activesupport (>= 6.1)
+    google-protobuf (4.29.3-arm64-darwin)
+      bigdecimal
+      rake (>= 13)
+    google-protobuf (4.29.3-x86_64-linux)
+      bigdecimal
+      rake (>= 13)
     i18n (1.14.7)
       concurrent-ruby (~> 1.0)
     io-console (0.8.0)
@@ -122,7 +135,13 @@ GEM
     nio4r (2.7.4)
     nokogiri (1.18.2-arm64-darwin)
       racc (~> 1.4)
+    nokogiri (1.18.2-x86_64-linux-gnu)
+      racc (~> 1.4)
     pg (1.5.9)
+    pg_query (6.0.0)
+      google-protobuf (>= 3.25.3)
+    pghero (3.6.1)
+      activerecord (>= 6.1)
     pp (0.6.2)
       prettyprint
     prettyprint (0.2.0)
@@ -179,12 +198,39 @@ GEM
       psych (>= 4.0.0)
     reline (0.6.0)
       io-console (~> 0.5)
+    rspec-core (3.13.3)
+      rspec-support (~> 3.13.0)
+    rspec-expectations (3.13.3)
+      diff-lcs (>= 1.2.0, < 2.0)
+      rspec-support (~> 3.13.0)
+    rspec-mocks (3.13.2)
+      diff-lcs (>= 1.2.0, < 2.0)
+      rspec-support (~> 3.13.0)
+    rspec-rails (7.0.2)
+      actionpack (>= 7.0)
+      activesupport (>= 7.0)
+      railties (>= 7.0)
+      rspec-core (~> 3.13)
+      rspec-expectations (~> 3.13)
+      rspec-mocks (~> 3.13)
+      rspec-support (~> 3.13)
+    rspec-support (3.13.2)
     securerandom (0.4.1)
+    sprockets (4.2.1)
+      concurrent-ruby (~> 1.0)
+      rack (>= 2.2.4, < 4)
+    sprockets-rails (3.5.2)
+      actionpack (>= 6.1)
+      activesupport (>= 6.1)
+      sprockets (>= 3.0.0)
     stringio (3.1.2)
+    strong_migrations (2.2.0)
+      activerecord (>= 7)
     thor (1.3.2)
     timeout (0.4.3)
     tzinfo (2.0.6)
       concurrent-ruby (~> 1.0)
+    uniform_notifier (1.16.0)
     uri (1.0.2)
     useragent (0.16.11)
     websocket-driver (0.7.7)
@@ -195,14 +241,23 @@ GEM
 
 PLATFORMS
   arm64-darwin-24
+  x86_64-linux
 
 DEPENDENCIES
+  activerecord-import
   bootsnap
+  bullet
   listen
   pg
+  pg_query (>= 2)
+  pghero
   puma
   rack-mini-profiler
   rails (~> 8.0.1)
+  rspec-rails (~> 7.0.0)
+  sprockets (~> 4.0)
+  sprockets-rails
+  strong_migrations
   tzinfo-data
 
 RUBY VERSION

app/controllers/trips_controller.rb

@@ -2,6 +2,6 @@ class TripsController < ApplicationController
   def index
     @from = City.find_by_name!(params[:from])
     @to = City.find_by_name!(params[:to])
-    @trips = Trip.where(from: @from, to: @to).order(:start_time)
+    @trips = Trip.where(from: @from, to: @to).order(:start_time).eager_load([bus: :services])
   end
 end

app/models/bus.rb

@@ -13,7 +13,8 @@ class Bus < ApplicationRecord
   ].freeze
 
   has_many :trips
-  has_and_belongs_to_many :services, join_table: :buses_services
+  has_many :buses_services
+  has_many :services, through: :buses_services
 
   validates :number, presence: true, uniqueness: true
   validates :model, inclusion: { in: MODELS }

app/models/buses_service.rb

@@ -0,0 +1,4 @@
+class BusesService < ApplicationRecord
+  belongs_to :bus
+  belongs_to :service
+end

app/models/service.rb

@@ -12,7 +12,8 @@ class Service < ApplicationRecord
     'Можно не печатать билет',
   ].freeze
 
-  has_and_belongs_to_many :buses, join_table: :buses_services
+  has_many :buses_services
+  has_many :buses, through: :buses_services
 
   validates :name, presence: true
   validates :name, inclusion: { in: SERVICES }

app/services/trips_importer.rb

@@ -0,0 +1,53 @@
+# frozen_string_literal: true
+
+class TripsImporter
+  attr_reader :file_name
+
+  def initialize(file_name)
+    @file_name = file_name
+  end
+
+  def call
+    json = JSON.parse(File.read(file_name))
+
+    ActiveRecord::Base.transaction do
+      City.delete_all
+      Bus.delete_all
+      Service.delete_all
+      Trip.delete_all
+      ActiveRecord::Base.connection.execute('delete from buses_services;')
+
+      cities = {}
+      buses = {}
+      services = {}
+      buses_services = {}
+      trips = []
+
+      json.each do |trip|
+        cities[trip['from']] ||= City.new(name: trip['from'])
+        cities[trip['to']] ||= City.new(name: trip['to'])
+        bus = buses[trip['bus']['number']] ||= Bus.new(number: trip['bus']['number'], model: trip['bus']['model'])
+
+        trip['bus']['services'].each do |service|
+          bus_service = services[service] ||= Service.new(name: service)
+          buses_services[[bus, bus_service]] ||= BusesService.new(bus: bus, service: bus_service)
+        end
+
+        trips << Trip.new(
+          from: cities[trip['from']],
+          to: cities[trip['to']],
+          bus: buses[trip['bus']['number']],
+          start_time: trip['start_time'],
+          duration_minutes: trip['duration_minutes'],
+          price_cents: trip['price_cents']
+        )
+      end
+
+      City.import!(cities.values)
+      Bus.import!(buses.values)
+      Service.import!(services.values)
+      BusesService.import!(buses_services.values)
+      Trip.import!(trips)
+    end
+  end
+end

app/views/trips/index.html.erb

@@ -7,10 +7,20 @@
 
 <% @trips.each do |trip| %>
   <ul>
-    <%= render "trip", trip: trip %>
-    <% if trip.bus.services.present? %>
-      <%= render "services", services: trip.bus.services %>
+    <li><%= "Отправление: #{trip.start_time}" %></li>
+    <li><%= "Прибытие: #{(Time.parse(trip.start_time) + trip.duration_minutes.minutes).strftime('%H:%M')}" %></li>
+    <li><%= "В пути: #{trip.duration_minutes / 60}ч. #{trip.duration_minutes % 60}мин." %></li>
+    <li><%= "Цена: #{trip.price_cents / 100}р. #{trip.price_cents % 100}коп." %></li>
+    <li><%= "Автобус: #{trip.bus.model} №#{trip.bus.number}" %></li>
+    <% services = trip.bus.services %>
+    <% if services.present? %>
+      <li>Сервисы в автобусе:</li>
+      <ul>
+        <% services.each do |service| %>
+          <li><%= "#{service.name}" %></li>
+        <% end %>
+      </ul>
     <% end %>
   </ul>
-  <%= render "delimiter" %>
+  ====================================================
 <% end %>

case_study.md

@@ -0,0 +1,52 @@
+# Case-study оптимизации
+
+## Актуальная проблема
+1. Файл с данными `large.json` (100K трипов) загружается больше 12 минут. В то время как бюджет на загрузку <= 1 минуты.
+2. Страница с данными загружается за ~17 секунд. Видно, что выполняется очень много запросов к БД.
+
+## Формирование метрики
+Для файла `small.json` данные загружаются за 12.00s и 154MB
+Для файла `medium.json` данные загружаются за 81.85s и 197MB
+Для файла `large.json` данные загружаются за 735.55s и 391MB
+
+Я буду проверять время загрузки сначала для 1K, потом 10K, 100K трипов.
+
+## Гарантия корректности работы оптимизированной программы
+Я вынесла логику из таски в сервисе TripsImporter и написала rspec тест.
+
+
+## Проблема 1
+Долгий иморт
+Переписала TripsImporter с использованием Activerecord-Import, время загрузки изменилось
+для файла `small.json` данные загружаются за 1.69s
+для файла `medium.json` данные загружаются за 4.1s
+для файла `large.json` данные загружаются за 13.8s
+
+## Проблема 2
+Долгая загрузка страницы
+rack-mini-profiler показывает, что страница грузится минимум 17s
+`Rendering: trips/index.html.erb  9023.1  +30.4 1012 sql  1318.8`
+- Добавляю gem bullet. Он показывает, что надо добавить в запрос `.includes[:bus]` и `.includes[:services]` После добавления includes время загрузки уменьшилось до 9s, и больше нет 1000+ запросов sql из одного места. Осталось 7 запросов.
+
+ - Убрала паршалы из вью, загрузка сократилась до  6-7s
+
+## Проблема 3
+Долгая загрузка страницы. Изучаю страницу при помощи pghero.
+Вкладка Overview показывает No long running queries. Не предлагает никаких индексов.
+На вкладке Queries:
+22% времени тратится на запрос `SELECT "trips".* FROM "trips" WHERE "trips"."from_id" = $1 AND "trips"."to_id" = $2 ORDER BY "trips"."start_time" ASC`
+Предлагается
+`CREATE INDEX CONCURRENTLY ON trips (from_id, to_id)`
+И 18% на `SELECT COUNT(*) FROM "trips" WHERE "trips"."from_id" = $1 AND "trips"."to_id" = $2`
+Предлагается то же самое.
+Добавляю индексы.
+После добавления индексов процент снизился до 17% и 14% соответственно, скорость загрузки сократилась до 5837ms
+
+Так же pghero предлагает добавить индекс `CREATE INDEX CONCURRENTLY ON buses_services (bus_id)`
+Хотя запрос `SELECT "buses_services".* FROM "buses_services" WHERE ....` занимает 3%
+
+## Проблема 4
+rack-mini-profiler показывает что запросы на buses, buses_services и services выполняются отдельно.
+Предполагаю что надо заменить в контроллере includes на eager_load, чтобы избавиться от этого. Теперь вместо 7 запросов  - 4 и страница загружается за 1439ms
+
+Менее 1,5 секунд уже приемлемое время, а что еще оптимизировать я с имеющимися инструментами не обнаружила.

config/application.rb

@@ -10,6 +10,9 @@ module Task4
   class Application < Rails::Application
     # Initialize configuration defaults for originally generated Rails version.
     config.load_defaults 8.0
+    config.assets.enabled = true
+    config.assets.compile = true
+    config.assets.precompile += %w( pghero/application.css pghero/application.js )
 
     # Settings in config/environments/* take precedence over those specified here.
     # Application configuration can go into files in config/initializers

config/environments/development.rb

@@ -1,4 +1,13 @@
 Rails.application.configure do
+  config.after_initialize do
+    Bullet.enable        = true
+    Bullet.alert         = true
+    Bullet.bullet_logger = true
+    Bullet.console       = true
+    Bullet.rails_logger  = true
+    Bullet.add_footer    = true
+  end
+
   # Settings specified here will take precedence over those in config/application.rb.
 
   # In the development environment your application's code is reloaded on

config/environments/test.rb

@@ -1,4 +1,10 @@
 Rails.application.configure do
+  config.after_initialize do
+    Bullet.enable        = true
+    Bullet.bullet_logger = true
+    Bullet.raise         = true # raise an error if n+1 query occurs
+  end
+
   # Settings specified here will take precedence over those in config/application.rb.
 
   # The test environment is used exclusively to run your application's

config/routes.rb

@@ -1,4 +1,6 @@
 Rails.application.routes.draw do
   # For details on the DSL available within this file, see http://guides.rubyonrails.org/routing.html
   get "автобусы/:from/:to" => "trips#index"
+
+  mount PgHero::Engine, at: "pghero"
 end

db/migrate/20250310075553_create_pghero_query_stats.rb

@@ -0,0 +1,15 @@
+class CreatePgheroQueryStats < ActiveRecord::Migration[8.0]
+  def change
+    create_table :pghero_query_stats do |t|
+      t.text :database
+      t.text :user
+      t.text :query
+      t.integer :query_hash, limit: 8
+      t.float :total_time
+      t.integer :calls, limit: 8
+      t.timestamp :captured_at
+    end
+
+    add_index :pghero_query_stats, [:database, :captured_at]
+  end
+end

db/migrate/20250310080020_create_pghero_space_stats.rb

@@ -0,0 +1,13 @@
+class CreatePgheroSpaceStats < ActiveRecord::Migration[8.0]
+  def change
+    create_table :pghero_space_stats do |t|
+      t.text :database
+      t.text :schema
+      t.text :relation
+      t.integer :size, limit: 8
+      t.timestamp :captured_at
+    end
+
+    add_index :pghero_space_stats, [:database, :captured_at]
+  end
+end