AlphaWave Data Machine Learning to Predict Credit Ratings using k-NN example.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Machine Learning to Predict Credit Ratings using k-NN\n",
    "\n",
    "**Hugh Donnelly, CFA**<br> \n",
    "*AlphaWave Data*\n",
    "\n",
    "**August 2021**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Introduction\n",
    "In this article, we are going to cover a simple, yet extremely versatile algorithm called k-nearest neighbors (k-NN).  First, we will build intuition about k-NN's inner workings and then learn how to apply the algorithm to real financial data from [AlphaWave Data](https://www.alphawavedata.com/).  We will use fundamental credit data of high yield and investment grade bonds as well as their corresponding credit ratings.  Using scikit-learn, we will experiment with ways to improve the predictive power of the algorithm through parameter optimization and pre-processing of the data.  Scikit-learn is a free software machine learning library for the Python programming language.  Finally, we will implement k-NN from scratch to further solidify your understanding of this algorithm.\n",
    "\n",
    "Jupyter Notebooks are available on [Google Colab](https://colab.research.google.com/drive/1vm3gSIYZiMClOTR03wzY9Z2XnzELLj7V?usp=sharing) and [Github](https://github.com/AlphaWaveData/Jupyter-Notebooks/blob/master/AlphaWave%20Data%20Machine%20Learning%20to%20Predict%20Credit%20Ratings%20using%20k-NN%20example.ipynb).\n",
    "\n",
    "For this project, we use several Python-based scientific computing technologies listed below."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 465,
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "import os\n",
    "import time\n",
    "import math\n",
    "import statistics\n",
    "\n",
    "import numpy as np\n",
    "import pandas as pd\n",
    "import seaborn as sns\n",
    "import matplotlib.pyplot as plt\n",
    "import plotly.graph_objects as go\n",
    "\n",
    "from img import *\n",
    "\n",
    "import requests\n",
    "from requests.adapters import HTTPAdapter\n",
    "from requests.exceptions import ConnectionError\n",
    "from requests.packages.urllib3.util.retry import Retry\n",
    "\n",
    "from selenium import webdriver\n",
    "from selenium.webdriver import ActionChains\n",
    "from selenium.webdriver.common.by import By\n",
    "from selenium.webdriver.common.keys import Keys\n",
    "from selenium.webdriver.support.ui import Select\n",
    "from selenium.webdriver.support.ui import WebDriverWait\n",
    "from selenium.webdriver.support import expected_conditions as EC\n",
    "\n",
    "from datetime import date\n",
    "from datetime import timedelta\n",
    "from datetime import datetime as dt\n",
    "\n",
    "from tqdm import tqdm\n",
    "\n",
    "from PyPDF2 import PdfFileReader\n",
    "import io"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h4>Machine Learning Overview</h4>  \n",
    "<img src='ML Photos/1_KNN_ML_Graph.PNG'>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "So where does k-NN fit within the broader context of [machine learning](https://hdonnelly6.medium.com/list/machine-learning-for-investing-7f2690bb1826)?  Let's briefly review reinforcement, unsupervised, and supervised learning.\n",
    "\n",
    "Reinforcement learning is the training of machine learning models to make a sequence of decisions in order to achieve a specific goal or objective.  The most famous application of reinforcement learning was in 1997 when the IBM Deep Blue super computer defeated world chess champion Garry Kasparov.\n",
    "\n",
    "In unsupervised learning, we are tasked with identifying patterns in data that is not labeled or classified.  Essentially, the goal is to study the structure of the data in order to extract useful information.  One example of unsupervised learning is [principal component analysis (PCA)](https://hdonnelly6.medium.com/machine-learning-for-esg-stock-trading-pca-and-clustering-ebe6077fc8f0), which is a technique for reducing dimensions in the data.  Another example of unsupervised learning is k-means clustering, which will be covered in a separate article.\n",
    "\n",
    "Supervised learning is applied when we want to map new input data to some output data.  In the context of classification, it will assign a label to some input data called X.  In a [regression](https://hdonnelly6.medium.com/introduction-to-machine-learning-regression-fee4200132f0), we map the input data X to some continuous output variable Y like in a single variant function, y = mx + b.\n",
    "\n",
    "So k-NN is an example of supervised learning because it relies on the label input data to learn a function which will then predict labels for the new unlabeled data.  We will see later that k-NN can be applied to both regressions and classifications.  Although, it tends to be used more frequently in classification."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h4>KNN Intro</h4>  \n",
    "<img src='ML Photos/2_KNN_Categorize_Graph.PNG'>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "So how does k-NN work?  Imagine we have two categories.  The first category is defined by the red triangle and the second category is defined by the blue square.  How would we classify the green circle that is in the middle?  If we only looked within the proximity of the solid circle, it would be reasonable to assume that our green circle belongs to the red triangle because within the solid circle there are two red triangles and there is only one blue square.  However if we looked beyond the solid circle to the dashed circle, then we would choose the blue square as the class for our green circle because we have three blue squares and two red triangles. Based on the majority voting of which class is most common, it is a reasonable assumption to make that the green circle belongs to the blue square class.\n",
    "\n",
    "We can see that k refers to the number of nearest points to the point we are looking to categorize.  At its core, k-NN is one of the easiest algorithms in machine learning.  It uses previously labeled data for making new predictions on the unlabeled data based on some similarity measure, which is distance in this example.  The algorithm assumes that similar things exist in close proximity.  In our example, we can see that the three points closest to the green circle lie within the solid circle.  Depending on the value of k, the algorithm will classify new samples by the majority vote of k neighbors."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "To make a prediction, the algorithm needs to find the distance between the new point we are trying to classify and all the points in a dataset. The distance itself can be calculated from either Euclidean, Manhattan, or some other measure.  In this example, we will use Euclidean distance."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h4>Euclidean Distance Formula</h4>  \n",
    "<img src='ML Photos/3_KNN_Euclidean_Distance_Formula.PNG'>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h4>Euclidean Distance Graph</h4>  \n",
    "<img src='ML Photos/3_KNN_Euclidean_Distance_Graph.PNG'>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "The algorithm starts by classifying the distance of the green circle from all the points in the dataset labeled by the red triangles and blue squares.  We then sort the distances from the smallest to largest to find the k nearest points.  Finally, the algorithm assigns data to the class to which the majority of the k data points belong.  If you have k equal to 3, the green circle will be classified as a red triangle.  In a regression example where we predict the numerical value of the new sample, the k-NN algorithm will just take the mean of the k nearest neighbors."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "This algorithm appears to be relatively easy, but how does one choose k?  In our triangle and square classification example, if we select k equal to 3 we classify the green circle as a red triangle.  However if we select k equal to 5, it will compel us to classify the green circle as a blue square.  The result of the algorithm is entirely dependent on the value of k.  Unfortunately, there is no defined answer when it comes to selecting k.  The optimal value of k will vary with every dataset. Our goal is to find the k that will optimize the accuracy of the algorithm or minimize the error.  Like in most machine learning algorithms, k is a hyperparameter so it is up to you to pick the value that results in the best possible fit for the data.  We will see how this is done in practice.\n",
    "\n",
    "You can think of k as the tradeoff between bias and variance.  Bias is the difference between the average prediction of the model and the correct values we are attempting to predict.  With high bias, the model tends to be over simplified, whereas, the model tends to be more complex with low bias.  So, low bias will lead to overfitting.  For example, if we choose k equal to 1 in our k-NN algorithm, every new sample we would attempt to classify would be labeled as the closest neighbor because the number of neighbors is equal to 1.  If we select a very large number for k, the model would underfit because we are generalizing our prediction based on a significantly more number of neighbors around our test point.\n",
    "\n",
    "Variance, on the other hand, is the variability of the model's predictive power for a given data point.  Models with high variance will capture all the nuances of the training data but they will not generalize well on the new unlabeled test data.  In practice, we see high variance when the model performs very well on training data, but fails to achieve a good result on the test data.\n",
    "\n",
    "Bias and variance tend to move in opposite directions, hence the tradeoff between the two."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Gather and Visualize Bond Data\n",
    "\n",
    "#### Predict bond S&P ratings using point in time fundamental credit data.\n",
    "#### S&P rating column is going to be our dependent variable."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "We must first acquire current bond ratings. Using a Selenium script that emulates a user's keystrokes and clicks in a browser as a means of navigating to FINRA's TRACE (Trade Reporting and Compliance Engine) bond data, we can access the data needed.\n",
    "\n",
    "The following is an example script. In case you do not have [Selenium](https://pypi.org/project/selenium/) installed, you can visit their respective links and download them using pip in your terminal. We will also need a chromedriver (the simulated chrome browser Selenium controls) and to download it using Python you can use the [webdriver-manager](https://pypi.org/project/webdriver-manager/) package also found in PyPi.\n",
    "\n",
    "You will need to insert your own path to your chromedriver in the code block below."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 466,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Retrieving Bond Data:   0%|          | 0/318 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Total pages returned: 319\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Retrieving Bond Data: 100%|██████████| 318/318 [45:01<00:00,  8.50s/it]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Total runtime of the program is 2710.9076290130615 seconds\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Issuer Name</th>\n",
       "      <th>Symbol</th>\n",
       "      <th>Callable</th>\n",
       "      <th>Sub-Product Type</th>\n",
       "      <th>Coupon</th>\n",
       "      <th>Maturity</th>\n",
       "      <th>Moody's®</th>\n",
       "      <th>S&amp;P</th>\n",
       "      <th>Price</th>\n",
       "      <th>Yield</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>21ST CENTY FOX AMER INC</td>\n",
       "      <td>DIS4232226</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>6.400</td>\n",
       "      <td>12/15/2035</td>\n",
       "      <td>Baa1</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>131.166</td>\n",
       "      <td>3.596</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV4241908</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.200</td>\n",
       "      <td>11/06/2022</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>102.833</td>\n",
       "      <td>0.442</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV4241910</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.600</td>\n",
       "      <td>05/14/2025</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>108.701</td>\n",
       "      <td>1.040</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV4241923</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.500</td>\n",
       "      <td>05/14/2035</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>121.696</td>\n",
       "      <td>2.555</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV4241924</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.700</td>\n",
       "      <td>05/14/2045</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>126.227</td>\n",
       "      <td>3.106</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>YUM BRANDS INC</td>\n",
       "      <td>YUM5043696</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.625</td>\n",
       "      <td>03/15/2031</td>\n",
       "      <td>B1</td>\n",
       "      <td>BB-</td>\n",
       "      <td>102.274</td>\n",
       "      <td>3.339</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>YUM BRANDS INC</td>\n",
       "      <td>YUM4972647</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>7.750</td>\n",
       "      <td>04/01/2025</td>\n",
       "      <td>B1</td>\n",
       "      <td>BB-</td>\n",
       "      <td>107.750</td>\n",
       "      <td>1.199</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH4221428</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.150</td>\n",
       "      <td>04/01/2022</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>101.140</td>\n",
       "      <td>0.513</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH4221424</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.550</td>\n",
       "      <td>04/01/2025</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>107.812</td>\n",
       "      <td>1.164</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH4221421</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.250</td>\n",
       "      <td>08/15/2035</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>110.812</td>\n",
       "      <td>3.253</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>6340 rows × 10 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                Issuer Name       Symbol Callable Sub-Product Type Coupon  \\\n",
       "0   21ST CENTY FOX AMER INC   DIS4232226      Yes   Corporate Bond  6.400   \n",
       "1                ABBVIE INC  ABBV4241908      Yes   Corporate Bond  3.200   \n",
       "2                ABBVIE INC  ABBV4241910      Yes   Corporate Bond  3.600   \n",
       "3                ABBVIE INC  ABBV4241923      Yes   Corporate Bond  4.500   \n",
       "4                ABBVIE INC  ABBV4241924      Yes   Corporate Bond  4.700   \n",
       "..                      ...          ...      ...              ...    ...   \n",
       "15           YUM BRANDS INC   YUM5043696      Yes   Corporate Bond  3.625   \n",
       "16           YUM BRANDS INC   YUM4972647      Yes   Corporate Bond  7.750   \n",
       "17  ZIMMER BIOMET HLDGS INC   ZBH4221428      Yes   Corporate Bond  3.150   \n",
       "18  ZIMMER BIOMET HLDGS INC   ZBH4221424      Yes   Corporate Bond  3.550   \n",
       "19  ZIMMER BIOMET HLDGS INC   ZBH4221421      Yes   Corporate Bond  4.250   \n",
       "\n",
       "      Maturity Moody's®   S&P    Price  Yield  \n",
       "0   12/15/2035     Baa1  BBB+  131.166  3.596  \n",
       "1   11/06/2022     Baa2  BBB+  102.833  0.442  \n",
       "2   05/14/2025     Baa2  BBB+  108.701  1.040  \n",
       "3   05/14/2035     Baa2  BBB+  121.696  2.555  \n",
       "4   05/14/2045     Baa2  BBB+  126.227  3.106  \n",
       "..         ...      ...   ...      ...    ...  \n",
       "15  03/15/2031       B1   BB-  102.274  3.339  \n",
       "16  04/01/2025       B1   BB-  107.750  1.199  \n",
       "17  04/01/2022     Baa3   BBB  101.140  0.513  \n",
       "18  04/01/2025     Baa3   BBB  107.812  1.164  \n",
       "19  08/15/2035     Baa3   BBB  110.812  3.253  \n",
       "\n",
       "[6340 rows x 10 columns]"
      ]
     },
     "execution_count": 466,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Selenium script\n",
    "chrome_options = webdriver.ChromeOptions()\n",
    "chrome_options.add_argument('--headless')\n",
    "driver = webdriver.Chrome(options=chrome_options, executable_path=r'/PATH/TO/YOUR/chromedriver')\n",
    "\n",
    "# store starting time\n",
    "begin = time.time()\n",
    "\n",
    "# FINRA's TRACE Bond Center\n",
    "driver.get('http://finra-markets.morningstar.com/BondCenter/Results.jsp')\n",
    "\n",
    "# click agree\n",
    "WebDriverWait(driver, 10).until(EC.element_to_be_clickable(\n",
    "    (By.CSS_SELECTOR, \".button_blue.agree\"))).click()\n",
    "\n",
    "# click edit search\n",
    "WebDriverWait(driver, 10).until(EC.element_to_be_clickable(\n",
    "    (By.CSS_SELECTOR, 'a.qs-ui-btn.blue'))).click()\n",
    "\n",
    "# click advanced search\n",
    "WebDriverWait(driver, 10).until(EC.element_to_be_clickable(\n",
    "    (By.CSS_SELECTOR, 'a.ms-display-switcher.hide'))).click()\n",
    "\n",
    "# select bond ratings\n",
    "WebDriverWait(driver, 10).until(EC.presence_of_element_located(\n",
    "    (By.CSS_SELECTOR, 'select.range[name=moodysRating]')))\n",
    "Select((driver.find_elements_by_css_selector(\n",
    "    'select.range[name=moodysRating]'))[0]).select_by_visible_text('C')\n",
    "Select((driver.find_elements_by_css_selector(\n",
    "    'select.range[name=moodysRating]'))[1]).select_by_visible_text('Aaa')\n",
    "Select((driver.find_elements_by_css_selector(\n",
    "    'select.range[name=standardAndPoorsRating]'))[0]).select_by_visible_text('B-')\n",
    "Select((driver.find_elements_by_css_selector(\n",
    "    'select.range[name=standardAndPoorsRating]'))[1]).select_by_visible_text('BBB+')\n",
    "\n",
    "# select Sub-Product Type\n",
    "WebDriverWait(driver, 10).until(EC.presence_of_element_located(\n",
    "    (By.CSS_SELECTOR, 'select[name=subProductType]')))\n",
    "Select((driver.find_elements_by_css_selector(\n",
    "    'select[name=subProductType]'))[0]).select_by_visible_text('Corporate Bond')\n",
    "\n",
    "# select Bond Seniority\n",
    "WebDriverWait(driver, 10).until(EC.presence_of_element_located(\n",
    "    (By.CSS_SELECTOR, 'select[name=securityDescription]')))\n",
    "Select((driver.find_elements_by_css_selector(\n",
    "    'select[name=securityDescription]'))[0]).select_by_visible_text('Senior')\n",
    "\n",
    "# input Trade Yield\n",
    "inputElement = driver.find_element(By.XPATH, \"(//input[@name='tradeYield'])[1]\")\n",
    "inputElement.send_keys('0.001')\n",
    "inputElement = driver.find_element(By.XPATH, \"(//input[@name='tradeYield'])[2]\")\n",
    "inputElement.send_keys('50')\n",
    "\n",
    "###############################################\n",
    "\n",
    "# select Trade Date(MM/DD/YYYY)\n",
    "inputElement = driver.find_element_by_css_selector('.qs-ui-ipt.range.date[calid=\"5\"]')\n",
    "ActionChains(driver).click(inputElement).perform()\n",
    "\n",
    "# Create for loop to click 1 time when targeting the Previous Year Button\n",
    "for d in range(1):\n",
    "    previous = driver.find_element_by_css_selector('.py')\n",
    "    # Make click in that button\n",
    "    ActionChains(driver).click(previous).perform()\n",
    "\n",
    "webelem1 = driver.find_element(By.XPATH, \"(/html/body/div[4]/div[2]/table/tbody/tr[2]/td[2]/div)\")\n",
    "# webelem1 = driver.find_element_by_css_selector('.dayNum[val=\"2020-08-03\"]')\n",
    "ActionChains(driver).click(webelem1).perform()\n",
    "\n",
    "inputElement = driver.find_element_by_css_selector('.qs-ui-ipt.range.date[calid=\"6\"]')\n",
    "ActionChains(driver).click(inputElement).perform()\n",
    "\n",
    "webelem2 = driver.find_element_by_css_selector('.dayNum.today')\n",
    "ActionChains(driver).click(webelem2).perform()\n",
    "\n",
    "###############################################\n",
    "\n",
    "# click show results\n",
    "WebDriverWait(driver, 10).until(EC.element_to_be_clickable(\n",
    "    (By.CSS_SELECTOR, 'input.button_blue[type=submit]'))).click()\n",
    "\n",
    "# wait for results\n",
    "WebDriverWait(driver, 10).until(EC.presence_of_element_located(\n",
    "    (By.CSS_SELECTOR, '.rtq-grid-row.rtq-grid-rzrow .rtq-grid-cell-ctn')))\n",
    "\n",
    "# wait for page total\n",
    "WebDriverWait(driver,10).until(EC.presence_of_all_elements_located((\n",
    "    By.CSS_SELECTOR, '.qs-pageutil-total')))\n",
    "\n",
    "time.sleep(3)\n",
    "\n",
    "# capture total of pages\n",
    "pages = WebDriverWait(driver,10).until(EC.presence_of_all_elements_located((\n",
    "    By.CSS_SELECTOR, '.qs-pageutil-total')))[0].text\n",
    "\n",
    "# isolate the number of pages\n",
    "pages = pages.split(\" \")[1]\n",
    "print(f'Total pages returned: {pages}')\n",
    "\n",
    "# create dataframe from scrape\n",
    "frames = []\n",
    "\n",
    "for page in tqdm(range(1, int(pages)), position=0, leave=True, desc = \"Retrieving Bond Data\"):\n",
    "    bonds = []\n",
    "\n",
    "    # wait for page marker to be on expected page\n",
    "    WebDriverWait(driver, 10).until(EC.presence_of_element_located(\n",
    "        (By.CSS_SELECTOR, (f\"a.qs-pageutil-btn[value='{str(page)}']\"))))\n",
    "    \n",
    "    # wait for page next button to load\n",
    "    WebDriverWait(driver, 10).until(EC.presence_of_element_located(\n",
    "        (By.CSS_SELECTOR, 'a.qs-pageutil-next')))\n",
    "    \n",
    "    # wait for table grid to load\n",
    "    WebDriverWait(driver, 10).until(EC.presence_of_element_located(\n",
    "        (By.CSS_SELECTOR, '.rtq-grid-bd')))\n",
    "    \n",
    "    # wait for tablerows to load\n",
    "    WebDriverWait(driver, 10).until(EC.presence_of_element_located(\n",
    "        (By.CSS_SELECTOR, 'div.rtq-grid-bd > div.rtq-grid-row')))\n",
    "    \n",
    "    # wait for table cell to load\n",
    "    WebDriverWait(driver, 10).until(EC.presence_of_element_located(\n",
    "        (By.CSS_SELECTOR, 'div.rtq-grid-cell')))\n",
    "\n",
    "    # Wait 3 seconds to ensure all rows load\n",
    "    time.sleep(3)\n",
    "    \n",
    "    # scrape table rows\n",
    "    headers = [title.text for title in driver.find_elements_by_css_selector(\n",
    "    '.rtq-grid-row.rtq-grid-rzrow .rtq-grid-cell-ctn')[1:]]\n",
    "\n",
    "    tablerows = driver.find_elements_by_css_selector(\n",
    "        'div.rtq-grid-bd > div.rtq-grid-row')\n",
    "    for tablerow in tablerows:\n",
    "        try:\n",
    "            tablerowdata = tablerow.find_elements_by_css_selector(\n",
    "                'div.rtq-grid-cell')\n",
    "            bond = [item.text for item in tablerowdata[1:]]\n",
    "            bonds.append(bond)\n",
    "        except:\n",
    "            pass\n",
    "\n",
    "    # Convert to Dataframe\n",
    "    df = pd.DataFrame(bonds, columns=headers)\n",
    "\n",
    "    frames.append(df)\n",
    "\n",
    "    try:\n",
    "        driver.find_element_by_css_selector('a.qs-pageutil-next').click()\n",
    "    except:\n",
    "        break\n",
    "\n",
    "bond_prices_df = pd.concat(frames)\n",
    "\n",
    "# store end time \n",
    "end = time.time()\n",
    "\n",
    "# total time taken \n",
    "print(f\"Total runtime of the program is {end - begin} seconds\")\n",
    "\n",
    "bond_prices_df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Once we have the bond data required, we can save it to a pickle file and then clean the data so that it aligns with the purpose of this example using the code blocks below."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 467,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Save bond dataframe into a pickle file\n",
    "# bond_prices_df.to_pickle(\"./bond_prices_df.pkl\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 468,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Issuer Name</th>\n",
       "      <th>Symbol</th>\n",
       "      <th>Callable</th>\n",
       "      <th>Sub-Product Type</th>\n",
       "      <th>Coupon</th>\n",
       "      <th>Maturity</th>\n",
       "      <th>Moody's®</th>\n",
       "      <th>S&amp;P</th>\n",
       "      <th>Price</th>\n",
       "      <th>Yield</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>21ST CENTY FOX AMER INC</td>\n",
       "      <td>DIS4232226</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>6.400</td>\n",
       "      <td>12/15/2035</td>\n",
       "      <td>Baa1</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>131.166</td>\n",
       "      <td>3.596</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV4241908</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.200</td>\n",
       "      <td>11/06/2022</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>102.833</td>\n",
       "      <td>0.442</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV4241910</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.600</td>\n",
       "      <td>05/14/2025</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>108.701</td>\n",
       "      <td>1.040</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV4241923</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.500</td>\n",
       "      <td>05/14/2035</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>121.696</td>\n",
       "      <td>2.555</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV4241924</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.700</td>\n",
       "      <td>05/14/2045</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>126.227</td>\n",
       "      <td>3.106</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>YUM BRANDS INC</td>\n",
       "      <td>YUM5043696</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.625</td>\n",
       "      <td>03/15/2031</td>\n",
       "      <td>B1</td>\n",
       "      <td>BB-</td>\n",
       "      <td>102.274</td>\n",
       "      <td>3.339</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>YUM BRANDS INC</td>\n",
       "      <td>YUM4972647</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>7.750</td>\n",
       "      <td>04/01/2025</td>\n",
       "      <td>B1</td>\n",
       "      <td>BB-</td>\n",
       "      <td>107.750</td>\n",
       "      <td>1.199</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH4221428</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.150</td>\n",
       "      <td>04/01/2022</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>101.140</td>\n",
       "      <td>0.513</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH4221424</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.550</td>\n",
       "      <td>04/01/2025</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>107.812</td>\n",
       "      <td>1.164</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH4221421</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.250</td>\n",
       "      <td>08/15/2035</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>110.812</td>\n",
       "      <td>3.253</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>6340 rows × 10 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                Issuer Name       Symbol Callable Sub-Product Type Coupon  \\\n",
       "0   21ST CENTY FOX AMER INC   DIS4232226      Yes   Corporate Bond  6.400   \n",
       "1                ABBVIE INC  ABBV4241908      Yes   Corporate Bond  3.200   \n",
       "2                ABBVIE INC  ABBV4241910      Yes   Corporate Bond  3.600   \n",
       "3                ABBVIE INC  ABBV4241923      Yes   Corporate Bond  4.500   \n",
       "4                ABBVIE INC  ABBV4241924      Yes   Corporate Bond  4.700   \n",
       "..                      ...          ...      ...              ...    ...   \n",
       "15           YUM BRANDS INC   YUM5043696      Yes   Corporate Bond  3.625   \n",
       "16           YUM BRANDS INC   YUM4972647      Yes   Corporate Bond  7.750   \n",
       "17  ZIMMER BIOMET HLDGS INC   ZBH4221428      Yes   Corporate Bond  3.150   \n",
       "18  ZIMMER BIOMET HLDGS INC   ZBH4221424      Yes   Corporate Bond  3.550   \n",
       "19  ZIMMER BIOMET HLDGS INC   ZBH4221421      Yes   Corporate Bond  4.250   \n",
       "\n",
       "      Maturity Moody's®   S&P    Price  Yield  \n",
       "0   12/15/2035     Baa1  BBB+  131.166  3.596  \n",
       "1   11/06/2022     Baa2  BBB+  102.833  0.442  \n",
       "2   05/14/2025     Baa2  BBB+  108.701  1.040  \n",
       "3   05/14/2035     Baa2  BBB+  121.696  2.555  \n",
       "4   05/14/2045     Baa2  BBB+  126.227  3.106  \n",
       "..         ...      ...   ...      ...    ...  \n",
       "15  03/15/2031       B1   BB-  102.274  3.339  \n",
       "16  04/01/2025       B1   BB-  107.750  1.199  \n",
       "17  04/01/2022     Baa3   BBB  101.140  0.513  \n",
       "18  04/01/2025     Baa3   BBB  107.812  1.164  \n",
       "19  08/15/2035     Baa3   BBB  110.812  3.253  \n",
       "\n",
       "[6340 rows x 10 columns]"
      ]
     },
     "execution_count": 468,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Load bond dataframe from the saved pickle file\n",
    "# bond_prices_df = pd.read_pickle(\"./bond_prices_df.pkl\")\n",
    "# bond_prices_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 469,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Let's clean up the Symbol column\n",
    "r = re.compile(r'([a-zA-Z]+)')\n",
    "bond_prices_df[\"Symbol\"] = bond_prices_df[\"Symbol\"].transform(lambda x: r.match(x).groups()[0])\n",
    "\n",
    "# Add a Maturity Years column\n",
    "now = dt.strptime(date.today().strftime('%m/%d/%Y'), '%m/%d/%Y')\n",
    "\n",
    "bond_prices_df['Maturity'] = pd.to_datetime(bond_prices_df['Maturity']).dt.strftime('%m/%d/%Y')\n",
    "bond_prices_df[\"Maturity Years\"] = bond_prices_df[\"Maturity\"].transform(\n",
    "    lambda x: (dt.strptime(x, '%m/%d/%Y') - now).days/360)\n",
    "\n",
    "# Remove any commas and change string values to numeric values\n",
    "bond_prices_df[[\"Coupon\", \"Price\", \"Yield\", \n",
    "                \"Maturity Years\"]] = bond_prices_df[[\"Coupon\", \"Price\", \"Yield\", \n",
    "                                                     \"Maturity Years\"]].apply(lambda x: x.replace('[,]',''))\n",
    "\n",
    "bond_prices_df[[\"Coupon\", \"Price\", \"Yield\", \n",
    "                \"Maturity Years\"]] = bond_prices_df[[\"Coupon\", \"Price\", \"Yield\", \n",
    "                                                     \"Maturity Years\"]].apply(pd.to_numeric)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Let's create a new column for bond duration that can be calculated using the below code."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 470,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Bond duration using discrete, annual compounding and a flat term structure\n",
    "def bonds_duration_discrete(maturity_years, coupon, bond_price, interest_rate):\n",
    "    \n",
    "    b = 0\n",
    "    d = 0\n",
    "    \n",
    "    times = np.arange(1, round(maturity_years))\n",
    "    cashflows = [coupon for i in np.arange(1,round(maturity_years))] + [100] # Manually added the repayment of principal\n",
    "    b = bond_price\n",
    "    r = interest_rate\n",
    "    \n",
    "    for i in range(len(times)):\n",
    "        \n",
    "        d += times[i] * cashflows[i] / np.power((1 + r), times[i])\n",
    "    \n",
    "    return d / b"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 471,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Issuer Name</th>\n",
       "      <th>Symbol</th>\n",
       "      <th>Callable</th>\n",
       "      <th>Sub-Product Type</th>\n",
       "      <th>Coupon</th>\n",
       "      <th>Maturity</th>\n",
       "      <th>Moody's®</th>\n",
       "      <th>S&amp;P</th>\n",
       "      <th>Price</th>\n",
       "      <th>Yield</th>\n",
       "      <th>Maturity Years</th>\n",
       "      <th>Duration</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>21ST CENTY FOX AMER INC</td>\n",
       "      <td>DIS</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>6.400</td>\n",
       "      <td>12/15/2035</td>\n",
       "      <td>Baa1</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>131.166</td>\n",
       "      <td>3.596</td>\n",
       "      <td>14.516667</td>\n",
       "      <td>3.668031</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.200</td>\n",
       "      <td>11/06/2022</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>102.833</td>\n",
       "      <td>0.442</td>\n",
       "      <td>1.219444</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.600</td>\n",
       "      <td>05/14/2025</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>108.701</td>\n",
       "      <td>1.040</td>\n",
       "      <td>3.775000</td>\n",
       "      <td>0.193976</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.500</td>\n",
       "      <td>05/14/2035</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>121.696</td>\n",
       "      <td>2.555</td>\n",
       "      <td>13.919444</td>\n",
       "      <td>2.690101</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.700</td>\n",
       "      <td>05/14/2045</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>126.227</td>\n",
       "      <td>3.106</td>\n",
       "      <td>24.066667</td>\n",
       "      <td>6.458556</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>YUM BRANDS INC</td>\n",
       "      <td>YUM</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.625</td>\n",
       "      <td>03/15/2031</td>\n",
       "      <td>B1</td>\n",
       "      <td>BB-</td>\n",
       "      <td>102.274</td>\n",
       "      <td>3.339</td>\n",
       "      <td>9.694444</td>\n",
       "      <td>1.298900</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>YUM BRANDS INC</td>\n",
       "      <td>YUM</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>7.750</td>\n",
       "      <td>04/01/2025</td>\n",
       "      <td>B1</td>\n",
       "      <td>BB-</td>\n",
       "      <td>107.750</td>\n",
       "      <td>1.199</td>\n",
       "      <td>3.655556</td>\n",
       "      <td>0.419735</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.150</td>\n",
       "      <td>04/01/2022</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>101.140</td>\n",
       "      <td>0.513</td>\n",
       "      <td>0.611111</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.550</td>\n",
       "      <td>04/01/2025</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>107.812</td>\n",
       "      <td>1.164</td>\n",
       "      <td>3.655556</td>\n",
       "      <td>0.192310</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.250</td>\n",
       "      <td>08/15/2035</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>110.812</td>\n",
       "      <td>3.253</td>\n",
       "      <td>14.177778</td>\n",
       "      <td>2.630184</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>6340 rows × 12 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                Issuer Name Symbol Callable Sub-Product Type  Coupon  \\\n",
       "0   21ST CENTY FOX AMER INC    DIS      Yes   Corporate Bond   6.400   \n",
       "1                ABBVIE INC   ABBV      Yes   Corporate Bond   3.200   \n",
       "2                ABBVIE INC   ABBV      Yes   Corporate Bond   3.600   \n",
       "3                ABBVIE INC   ABBV      Yes   Corporate Bond   4.500   \n",
       "4                ABBVIE INC   ABBV      Yes   Corporate Bond   4.700   \n",
       "..                      ...    ...      ...              ...     ...   \n",
       "15           YUM BRANDS INC    YUM      Yes   Corporate Bond   3.625   \n",
       "16           YUM BRANDS INC    YUM      Yes   Corporate Bond   7.750   \n",
       "17  ZIMMER BIOMET HLDGS INC    ZBH      Yes   Corporate Bond   3.150   \n",
       "18  ZIMMER BIOMET HLDGS INC    ZBH      Yes   Corporate Bond   3.550   \n",
       "19  ZIMMER BIOMET HLDGS INC    ZBH      Yes   Corporate Bond   4.250   \n",
       "\n",
       "      Maturity Moody's®   S&P    Price  Yield  Maturity Years  Duration  \n",
       "0   12/15/2035     Baa1  BBB+  131.166  3.596       14.516667  3.668031  \n",
       "1   11/06/2022     Baa2  BBB+  102.833  0.442        1.219444  0.000000  \n",
       "2   05/14/2025     Baa2  BBB+  108.701  1.040        3.775000  0.193976  \n",
       "3   05/14/2035     Baa2  BBB+  121.696  2.555       13.919444  2.690101  \n",
       "4   05/14/2045     Baa2  BBB+  126.227  3.106       24.066667  6.458556  \n",
       "..         ...      ...   ...      ...    ...             ...       ...  \n",
       "15  03/15/2031       B1   BB-  102.274  3.339        9.694444  1.298900  \n",
       "16  04/01/2025       B1   BB-  107.750  1.199        3.655556  0.419735  \n",
       "17  04/01/2022     Baa3   BBB  101.140  0.513        0.611111  0.000000  \n",
       "18  04/01/2025     Baa3   BBB  107.812  1.164        3.655556  0.192310  \n",
       "19  08/15/2035     Baa3   BBB  110.812  3.253       14.177778  2.630184  \n",
       "\n",
       "[6340 rows x 12 columns]"
      ]
     },
     "execution_count": 471,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# create a new Duration column\n",
    "bond_prices_df[\"Duration\"] = bond_prices_df.apply(lambda x: bonds_duration_discrete(x[\"Maturity Years\"],\n",
    "                                                                                    float(x[\"Coupon\"]),\n",
    "                                                                                    float(x[\"Price\"]),\n",
    "                                                                                    float(x[\"Yield\"])/100), axis=1)\n",
    "\n",
    "bond_prices_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 472,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Coupon</th>\n",
       "      <th>Price</th>\n",
       "      <th>Yield</th>\n",
       "      <th>Maturity Years</th>\n",
       "      <th>Duration</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>count</th>\n",
       "      <td>6340.000000</td>\n",
       "      <td>6340.000000</td>\n",
       "      <td>6340.000000</td>\n",
       "      <td>6340.000000</td>\n",
       "      <td>6340.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>mean</th>\n",
       "      <td>4.456975</td>\n",
       "      <td>110.448194</td>\n",
       "      <td>2.468573</td>\n",
       "      <td>9.481044</td>\n",
       "      <td>1.897207</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>std</th>\n",
       "      <td>1.568256</td>\n",
       "      <td>12.346788</td>\n",
       "      <td>1.538551</td>\n",
       "      <td>9.215453</td>\n",
       "      <td>3.126808</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>min</th>\n",
       "      <td>0.400000</td>\n",
       "      <td>55.372000</td>\n",
       "      <td>0.002000</td>\n",
       "      <td>0.011111</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25%</th>\n",
       "      <td>3.400000</td>\n",
       "      <td>102.199250</td>\n",
       "      <td>1.273000</td>\n",
       "      <td>3.608333</td>\n",
       "      <td>0.158094</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>50%</th>\n",
       "      <td>4.250000</td>\n",
       "      <td>107.050500</td>\n",
       "      <td>2.260000</td>\n",
       "      <td>6.533333</td>\n",
       "      <td>0.682291</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75%</th>\n",
       "      <td>5.300000</td>\n",
       "      <td>113.947750</td>\n",
       "      <td>3.315000</td>\n",
       "      <td>11.647222</td>\n",
       "      <td>2.105779</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>max</th>\n",
       "      <td>11.500000</td>\n",
       "      <td>205.307000</td>\n",
       "      <td>23.637000</td>\n",
       "      <td>98.347222</td>\n",
       "      <td>106.418124</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "            Coupon        Price        Yield  Maturity Years     Duration\n",
       "count  6340.000000  6340.000000  6340.000000     6340.000000  6340.000000\n",
       "mean      4.456975   110.448194     2.468573        9.481044     1.897207\n",
       "std       1.568256    12.346788     1.538551        9.215453     3.126808\n",
       "min       0.400000    55.372000     0.002000        0.011111     0.000000\n",
       "25%       3.400000   102.199250     1.273000        3.608333     0.158094\n",
       "50%       4.250000   107.050500     2.260000        6.533333     0.682291\n",
       "75%       5.300000   113.947750     3.315000       11.647222     2.105779\n",
       "max      11.500000   205.307000    23.637000       98.347222   106.418124"
      ]
     },
     "execution_count": 472,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Generate descriptive statistics for bonds\n",
    "bond_prices_df.describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 473,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "839"
      ]
     },
     "execution_count": 473,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Get the list of unique stock tickers from the bond dataframe\n",
    "prelim_stock_tickers = bond_prices_df[\"Symbol\"].unique().tolist()\n",
    "\n",
    "# Check the count of unique stock tickers from the bond dataframe\n",
    "len(prelim_stock_tickers)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Next, we will scrape the Russell 3000 Index member list in order to filter the FINRA TRACE bond data to ensure we only proceed with members of the Russell 3000 Index for our analysis. The below script includes a Russell 3000 Index member list url that is for a specific date. This url may need to be updated in future scrapes in order to aggregate the current Russell 3000 Index member list at that future date.\n",
    "\n",
    "Using the Russell 3000 Index members that are also included in the bond data from FINRA TRACE, we will then use the [Key Statistics](https://rapidapi.com/alphawave/api/stock-analysis?endpoint=apiendpoint_dff4b882-4be4-4169-a700-04275c92bdce) endpoint from the [AlphaWave Data Stock Analysis API](https://rapidapi.com/alphawave/api/stock-analysis/endpoints) to pull in the required stock information."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 474,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3009"
      ]
     },
     "execution_count": 474,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Scrape the Russell 3000 Member List\n",
    "russell_url = 'https://content.ftserussell.com/sites/default/files/ru3000_membershiplist_20210628.pdf'\n",
    "\n",
    "r = requests.get(russell_url)\n",
    "f = io.BytesIO(r.content)\n",
    "\n",
    "reader = PdfFileReader(f)\n",
    "\n",
    "contents = []\n",
    "\n",
    "# There are 32 pages we want to scrape from the russell_url\n",
    "for i in range(32):\n",
    "    content = reader.getPage(i).extractText().split('\\n')\n",
    "    contents.append(content)\n",
    "\n",
    "flat_list = [item for sublist in contents for item in sublist]\n",
    "\n",
    "russell_3000_flat_list = flat_list[1::2]\n",
    "\n",
    "# items to be removed\n",
    "unwanted_values = {'Ticker', 'Russell US Indexes', '', '1', '2', '3', '4', '5', '6', '7', '8',\n",
    "                   '9', '10', '11', '12', '13', '14', '15', '16', '17', '18', '19', '20', '21',\n",
    "                   '22', '23', '24', '25', '26', '27', '28', '29', '30', '31', '32', '33'}\n",
    "\n",
    "clean_russell_3000_flat_list = [ele for ele in russell_3000_flat_list if ele not in unwanted_values]\n",
    "\n",
    "# Check the count of Russell 3000 stock tickers\n",
    "len(clean_russell_3000_flat_list)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 475,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "570"
      ]
     },
     "execution_count": 475,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Return symbols not in the Russell 3000,\n",
    "# which we will remove from our analysis.\n",
    "\n",
    "stock_tickers_not_in_russell_3000 = np.setdiff1d(prelim_stock_tickers,clean_russell_3000_flat_list)\n",
    "\n",
    "# items to be removed\n",
    "unwanted_stock_tickers = set(stock_tickers_not_in_russell_3000)\n",
    "\n",
    "# stock tickers found in the Russell 3000\n",
    "clean_stock_tickers = [ele for ele in prelim_stock_tickers if ele not in unwanted_stock_tickers]\n",
    "\n",
    "# check the count stock tickers found in the Russell 3000\n",
    "len(clean_stock_tickers)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 476,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "570"
      ]
     },
     "execution_count": 476,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# replace tickers that have '.' with '-' so we can use AlphaWave Data APIs\n",
    "for ticker in range(len(clean_stock_tickers)):\n",
    "    clean_stock_tickers[ticker] = clean_stock_tickers[ticker].upper().replace(\".\", \"-\")\n",
    "\n",
    "len(clean_stock_tickers)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "We can use the [Key Statistics](https://rapidapi.com/alphawave/api/stock-analysis?endpoint=apiendpoint_dff4b882-4be4-4169-a700-04275c92bdce) endpoint from the [AlphaWave Data Stock Analysis API](https://rapidapi.com/alphawave/api/stock-analysis/endpoints) to pull in the required stock information.\n",
    "\n",
    "To call this API with Python, you can choose one of the supported Python code snippets provided in the API console. The following is an example of how to invoke the API with Python Requests. You will need to insert your own <b>x-rapidapi-host</b> and <b>x-rapidapi-key</b> information in the code block below."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 477,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Retrieving AlphaWave Data Stock Info: 100%|██████████| 570/570 [39:10<00:00,  4.12s/it]\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Operating Margin</th>\n",
       "      <th>Current ratio</th>\n",
       "      <th>EV/Revenue</th>\n",
       "      <th>Return on Assets</th>\n",
       "      <th>Return on Equity</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>DIS</th>\n",
       "      <td>3.91%</td>\n",
       "      <td>1.24</td>\n",
       "      <td>5.85</td>\n",
       "      <td>0.76%</td>\n",
       "      <td>1.65%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ABBV</th>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ACHC</th>\n",
       "      <td>17.66%</td>\n",
       "      <td>1.35</td>\n",
       "      <td>3.24</td>\n",
       "      <td>4.30%</td>\n",
       "      <td>6.68%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ACIW</th>\n",
       "      <td>14.08%</td>\n",
       "      <td>1.28</td>\n",
       "      <td>3.66</td>\n",
       "      <td>3.60%</td>\n",
       "      <td>7.72%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>AYI</th>\n",
       "      <td>12.22%</td>\n",
       "      <td>2.29</td>\n",
       "      <td>1.92</td>\n",
       "      <td>7.33%</td>\n",
       "      <td>13.64%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>WYNN</th>\n",
       "      <td>-21.59%</td>\n",
       "      <td>1.27</td>\n",
       "      <td>6.99</td>\n",
       "      <td>-2.69%</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>XEL</th>\n",
       "      <td>17.15%</td>\n",
       "      <td>0.84</td>\n",
       "      <td>4.88</td>\n",
       "      <td>2.48%</td>\n",
       "      <td>11.10%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>XRX</th>\n",
       "      <td>7.36%</td>\n",
       "      <td>1.92</td>\n",
       "      <td>0.93</td>\n",
       "      <td>2.35%</td>\n",
       "      <td>5.30%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>XPO</th>\n",
       "      <td>5.28%</td>\n",
       "      <td>1.02</td>\n",
       "      <td>0.90</td>\n",
       "      <td>3.95%</td>\n",
       "      <td>17.92%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ZBH</th>\n",
       "      <td>17.04%</td>\n",
       "      <td>1.83</td>\n",
       "      <td>4.71</td>\n",
       "      <td>3.51%</td>\n",
       "      <td>7.60%</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>570 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "     Operating Margin Current ratio EV/Revenue Return on Assets  \\\n",
       "DIS             3.91%          1.24       5.85            0.76%   \n",
       "ABBV           35.17%          0.91       5.30            7.94%   \n",
       "ACHC           17.66%          1.35       3.24            4.30%   \n",
       "ACIW           14.08%          1.28       3.66            3.60%   \n",
       "AYI            12.22%          2.29       1.92            7.33%   \n",
       "...               ...           ...        ...              ...   \n",
       "WYNN          -21.59%          1.27       6.99           -2.69%   \n",
       "XEL            17.15%          0.84       4.88            2.48%   \n",
       "XRX             7.36%          1.92       0.93            2.35%   \n",
       "XPO             5.28%          1.02       0.90            3.95%   \n",
       "ZBH            17.04%          1.83       4.71            3.51%   \n",
       "\n",
       "     Return on Equity  \n",
       "DIS             1.65%  \n",
       "ABBV           48.86%  \n",
       "ACHC            6.68%  \n",
       "ACIW            7.72%  \n",
       "AYI            13.64%  \n",
       "...               ...  \n",
       "WYNN                0  \n",
       "XEL            11.10%  \n",
       "XRX             5.30%  \n",
       "XPO            17.92%  \n",
       "ZBH             7.60%  \n",
       "\n",
       "[570 rows x 5 columns]"
      ]
     },
     "execution_count": 477,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Fetch AlphaWave Data's fundamental stock information\n",
    "key_stats_url = \"https://stock-analysis.p.rapidapi.com/api/v1/resources/key-stats\"\n",
    "\n",
    "headers = {\n",
    "    'x-rapidapi-host': \"YOUR_X-RAPIDAPI-HOST_WILL_COPY_DIRECTLY_FROM_RAPIDAPI_PYTHON_CODE_SNIPPETS\",\n",
    "    'x-rapidapi-key': \"YOUR_X-RAPIDAPI-KEY_WILL_COPY_DIRECTLY_FROM_RAPIDAPI_PYTHON_CODE_SNIPPETS\"\n",
    "    }\n",
    "\n",
    "retry_strategy = Retry(total=3, backoff_factor=10, status_forcelist=[429, 500, 502, 503, 504], method_whitelist=[\"HEAD\", \"GET\", \"PUT\", \"DELETE\", \"OPTIONS\", \"TRACE\"])\n",
    "rapid_api_adapter = HTTPAdapter(max_retries=retry_strategy)\n",
    "http = requests.Session()\n",
    "http.mount(\"https://\", rapid_api_adapter)\n",
    "\n",
    "alphawave_data = []\n",
    "\n",
    "for ticker in tqdm(clean_stock_tickers, position=0, leave=True, desc = \"Retrieving AlphaWave Data Stock Info\"):\n",
    "    \n",
    "    querystring = {\"ticker\":ticker}\n",
    "    time.sleep(3)\n",
    "    \n",
    "    try:\n",
    "        \n",
    "        # Get Key Stats\n",
    "        key_stats_response = http.get(key_stats_url, headers=key_stats_headers, params=querystring, timeout=(5, 5))\n",
    "        key_stats_response.raise_for_status()\n",
    "        key_stats_df = pd.DataFrame.from_dict(key_stats_response.json())\n",
    "        key_stats_df = key_stats_df.transpose()\n",
    "\n",
    "        operating_margin = key_stats_df.loc[r'Operating margin (ttm)'][0]\n",
    "        current_ratio = key_stats_df.loc[r'Current ratio (mrq)'][0]\n",
    "        ev_revenue = key_stats_df.loc[r'Enterprise value/revenue '][0]\n",
    "        roa = key_stats_df.loc[r'Return on assets (ttm)'][0]\n",
    "        roe = key_stats_df.loc[r'Return on equity (ttm)'][0]\n",
    "\n",
    "        # Create Dataframe\n",
    "        df = pd.DataFrame({'Operating Margin': operating_margin,\n",
    "                           'Current ratio': current_ratio,\n",
    "                           'EV/Revenue': ev_revenue,\n",
    "                           'Return on Assets': roa,\n",
    "                           'Return on Equity': roe},\n",
    "                          index=[ticker])\n",
    "\n",
    "        alphawave_data.append(df)\n",
    "\n",
    "    except requests.exceptions.RequestException as err:\n",
    "        print (\"OOps: Something Else\",err)\n",
    "    except requests.exceptions.HTTPError as errh:\n",
    "        print (\"Http Error:\",errh)\n",
    "    except requests.exceptions.ConnectionError as errc:\n",
    "        print (\"Error Connecting:\",errc)\n",
    "    except requests.exceptions.Timeout as errt:\n",
    "        print (\"Timeout Error:\",errt)\n",
    "        \n",
    "    except:\n",
    "        pass\n",
    "\n",
    "result_alphawave_df = pd.concat(alphawave_data, ignore_index=False)\n",
    "result_alphawave_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 478,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Save the alphawave dataframe into a pickle file\n",
    "# result_alphawave_df.to_pickle(\"./result_alphawave_df.pkl\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 479,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Operating Margin</th>\n",
       "      <th>Current ratio</th>\n",
       "      <th>EV/Revenue</th>\n",
       "      <th>Return on Assets</th>\n",
       "      <th>Return on Equity</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>DIS</th>\n",
       "      <td>3.91%</td>\n",
       "      <td>1.24</td>\n",
       "      <td>5.85</td>\n",
       "      <td>0.76%</td>\n",
       "      <td>1.65%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ABBV</th>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ACHC</th>\n",
       "      <td>17.66%</td>\n",
       "      <td>1.35</td>\n",
       "      <td>3.24</td>\n",
       "      <td>4.30%</td>\n",
       "      <td>6.68%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ACIW</th>\n",
       "      <td>14.08%</td>\n",
       "      <td>1.28</td>\n",
       "      <td>3.66</td>\n",
       "      <td>3.60%</td>\n",
       "      <td>7.72%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>AYI</th>\n",
       "      <td>12.22%</td>\n",
       "      <td>2.29</td>\n",
       "      <td>1.92</td>\n",
       "      <td>7.33%</td>\n",
       "      <td>13.64%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>WYNN</th>\n",
       "      <td>-21.59%</td>\n",
       "      <td>1.27</td>\n",
       "      <td>6.99</td>\n",
       "      <td>-2.69%</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>XEL</th>\n",
       "      <td>17.15%</td>\n",
       "      <td>0.84</td>\n",
       "      <td>4.88</td>\n",
       "      <td>2.48%</td>\n",
       "      <td>11.10%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>XRX</th>\n",
       "      <td>7.36%</td>\n",
       "      <td>1.92</td>\n",
       "      <td>0.93</td>\n",
       "      <td>2.35%</td>\n",
       "      <td>5.30%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>XPO</th>\n",
       "      <td>5.28%</td>\n",
       "      <td>1.02</td>\n",
       "      <td>0.90</td>\n",
       "      <td>3.95%</td>\n",
       "      <td>17.92%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ZBH</th>\n",
       "      <td>17.04%</td>\n",
       "      <td>1.83</td>\n",
       "      <td>4.71</td>\n",
       "      <td>3.51%</td>\n",
       "      <td>7.60%</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>570 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "     Operating Margin Current ratio EV/Revenue Return on Assets  \\\n",
       "DIS             3.91%          1.24       5.85            0.76%   \n",
       "ABBV           35.17%          0.91       5.30            7.94%   \n",
       "ACHC           17.66%          1.35       3.24            4.30%   \n",
       "ACIW           14.08%          1.28       3.66            3.60%   \n",
       "AYI            12.22%          2.29       1.92            7.33%   \n",
       "...               ...           ...        ...              ...   \n",
       "WYNN          -21.59%          1.27       6.99           -2.69%   \n",
       "XEL            17.15%          0.84       4.88            2.48%   \n",
       "XRX             7.36%          1.92       0.93            2.35%   \n",
       "XPO             5.28%          1.02       0.90            3.95%   \n",
       "ZBH            17.04%          1.83       4.71            3.51%   \n",
       "\n",
       "     Return on Equity  \n",
       "DIS             1.65%  \n",
       "ABBV           48.86%  \n",
       "ACHC            6.68%  \n",
       "ACIW            7.72%  \n",
       "AYI            13.64%  \n",
       "...               ...  \n",
       "WYNN                0  \n",
       "XEL            11.10%  \n",
       "XRX             5.30%  \n",
       "XPO            17.92%  \n",
       "ZBH             7.60%  \n",
       "\n",
       "[570 rows x 5 columns]"
      ]
     },
     "execution_count": 479,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Load the alphawave dataframe from the saved pickle file\n",
    "# result_alphawave_df = pd.read_pickle(\"./result_alphawave_df.pkl\")\n",
    "# result_alphawave_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 480,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Symbol</th>\n",
       "      <th>Operating Margin</th>\n",
       "      <th>Current ratio</th>\n",
       "      <th>EV/Revenue</th>\n",
       "      <th>Return on Assets</th>\n",
       "      <th>Return on Equity</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>DIS</td>\n",
       "      <td>3.91%</td>\n",
       "      <td>1.24</td>\n",
       "      <td>5.85</td>\n",
       "      <td>0.76%</td>\n",
       "      <td>1.65%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>ABBV</td>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>ACHC</td>\n",
       "      <td>17.66%</td>\n",
       "      <td>1.35</td>\n",
       "      <td>3.24</td>\n",
       "      <td>4.30%</td>\n",
       "      <td>6.68%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>ACIW</td>\n",
       "      <td>14.08%</td>\n",
       "      <td>1.28</td>\n",
       "      <td>3.66</td>\n",
       "      <td>3.60%</td>\n",
       "      <td>7.72%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>AYI</td>\n",
       "      <td>12.22%</td>\n",
       "      <td>2.29</td>\n",
       "      <td>1.92</td>\n",
       "      <td>7.33%</td>\n",
       "      <td>13.64%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>565</th>\n",
       "      <td>WYNN</td>\n",
       "      <td>-21.59%</td>\n",
       "      <td>1.27</td>\n",
       "      <td>6.99</td>\n",
       "      <td>-2.69%</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>566</th>\n",
       "      <td>XEL</td>\n",
       "      <td>17.15%</td>\n",
       "      <td>0.84</td>\n",
       "      <td>4.88</td>\n",
       "      <td>2.48%</td>\n",
       "      <td>11.10%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>567</th>\n",
       "      <td>XRX</td>\n",
       "      <td>7.36%</td>\n",
       "      <td>1.92</td>\n",
       "      <td>0.93</td>\n",
       "      <td>2.35%</td>\n",
       "      <td>5.30%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>568</th>\n",
       "      <td>XPO</td>\n",
       "      <td>5.28%</td>\n",
       "      <td>1.02</td>\n",
       "      <td>0.90</td>\n",
       "      <td>3.95%</td>\n",
       "      <td>17.92%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>569</th>\n",
       "      <td>ZBH</td>\n",
       "      <td>17.04%</td>\n",
       "      <td>1.83</td>\n",
       "      <td>4.71</td>\n",
       "      <td>3.51%</td>\n",
       "      <td>7.60%</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>570 rows × 6 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "    Symbol Operating Margin Current ratio EV/Revenue Return on Assets  \\\n",
       "0      DIS            3.91%          1.24       5.85            0.76%   \n",
       "1     ABBV           35.17%          0.91       5.30            7.94%   \n",
       "2     ACHC           17.66%          1.35       3.24            4.30%   \n",
       "3     ACIW           14.08%          1.28       3.66            3.60%   \n",
       "4      AYI           12.22%          2.29       1.92            7.33%   \n",
       "..     ...              ...           ...        ...              ...   \n",
       "565   WYNN          -21.59%          1.27       6.99           -2.69%   \n",
       "566    XEL           17.15%          0.84       4.88            2.48%   \n",
       "567    XRX            7.36%          1.92       0.93            2.35%   \n",
       "568    XPO            5.28%          1.02       0.90            3.95%   \n",
       "569    ZBH           17.04%          1.83       4.71            3.51%   \n",
       "\n",
       "    Return on Equity  \n",
       "0              1.65%  \n",
       "1             48.86%  \n",
       "2              6.68%  \n",
       "3              7.72%  \n",
       "4             13.64%  \n",
       "..               ...  \n",
       "565                0  \n",
       "566           11.10%  \n",
       "567            5.30%  \n",
       "568           17.92%  \n",
       "569            7.60%  \n",
       "\n",
       "[570 rows x 6 columns]"
      ]
     },
     "execution_count": 480,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Let's create a Symbol column and reset the index\n",
    "result_alphawave_df.reset_index(inplace=True)\n",
    "result_alphawave_df = result_alphawave_df.rename(columns={\"index\":\"Symbol\"})\n",
    "result_alphawave_df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Now let's add the AlphaWave Data stock information to the FINRA TRACE bond data."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 481,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Issuer Name</th>\n",
       "      <th>Symbol</th>\n",
       "      <th>Callable</th>\n",
       "      <th>Sub-Product Type</th>\n",
       "      <th>Coupon</th>\n",
       "      <th>Maturity</th>\n",
       "      <th>Moody's®</th>\n",
       "      <th>S&amp;P</th>\n",
       "      <th>Price</th>\n",
       "      <th>Yield</th>\n",
       "      <th>Maturity Years</th>\n",
       "      <th>Duration</th>\n",
       "      <th>Operating Margin</th>\n",
       "      <th>Current ratio</th>\n",
       "      <th>EV/Revenue</th>\n",
       "      <th>Return on Assets</th>\n",
       "      <th>Return on Equity</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>21ST CENTY FOX AMER INC</td>\n",
       "      <td>DIS</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>6.400</td>\n",
       "      <td>12/15/2035</td>\n",
       "      <td>Baa1</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>131.166</td>\n",
       "      <td>3.596</td>\n",
       "      <td>14.516667</td>\n",
       "      <td>3.668031</td>\n",
       "      <td>3.91%</td>\n",
       "      <td>1.24</td>\n",
       "      <td>5.85</td>\n",
       "      <td>0.76%</td>\n",
       "      <td>1.65%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.200</td>\n",
       "      <td>11/06/2022</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>102.833</td>\n",
       "      <td>0.442</td>\n",
       "      <td>1.219444</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.600</td>\n",
       "      <td>05/14/2025</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>108.701</td>\n",
       "      <td>1.040</td>\n",
       "      <td>3.775000</td>\n",
       "      <td>0.193976</td>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.500</td>\n",
       "      <td>05/14/2035</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>121.696</td>\n",
       "      <td>2.555</td>\n",
       "      <td>13.919444</td>\n",
       "      <td>2.690101</td>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.700</td>\n",
       "      <td>05/14/2045</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>126.227</td>\n",
       "      <td>3.106</td>\n",
       "      <td>24.066667</td>\n",
       "      <td>6.458556</td>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6335</th>\n",
       "      <td>YUM BRANDS INC</td>\n",
       "      <td>YUM</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.625</td>\n",
       "      <td>03/15/2031</td>\n",
       "      <td>B1</td>\n",
       "      <td>BB-</td>\n",
       "      <td>102.274</td>\n",
       "      <td>3.339</td>\n",
       "      <td>9.694444</td>\n",
       "      <td>1.298900</td>\n",
       "      <td>34.10%</td>\n",
       "      <td>0.97</td>\n",
       "      <td>8.09</td>\n",
       "      <td>22.17%</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6336</th>\n",
       "      <td>YUM BRANDS INC</td>\n",
       "      <td>YUM</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>7.750</td>\n",
       "      <td>04/01/2025</td>\n",
       "      <td>B1</td>\n",
       "      <td>BB-</td>\n",
       "      <td>107.750</td>\n",
       "      <td>1.199</td>\n",
       "      <td>3.655556</td>\n",
       "      <td>0.419735</td>\n",
       "      <td>34.10%</td>\n",
       "      <td>0.97</td>\n",
       "      <td>8.09</td>\n",
       "      <td>22.17%</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6337</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.150</td>\n",
       "      <td>04/01/2022</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>101.140</td>\n",
       "      <td>0.513</td>\n",
       "      <td>0.611111</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>17.04%</td>\n",
       "      <td>1.83</td>\n",
       "      <td>4.71</td>\n",
       "      <td>3.51%</td>\n",
       "      <td>7.60%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6338</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.550</td>\n",
       "      <td>04/01/2025</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>107.812</td>\n",
       "      <td>1.164</td>\n",
       "      <td>3.655556</td>\n",
       "      <td>0.192310</td>\n",
       "      <td>17.04%</td>\n",
       "      <td>1.83</td>\n",
       "      <td>4.71</td>\n",
       "      <td>3.51%</td>\n",
       "      <td>7.60%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6339</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.250</td>\n",
       "      <td>08/15/2035</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>110.812</td>\n",
       "      <td>3.253</td>\n",
       "      <td>14.177778</td>\n",
       "      <td>2.630184</td>\n",
       "      <td>17.04%</td>\n",
       "      <td>1.83</td>\n",
       "      <td>4.71</td>\n",
       "      <td>3.51%</td>\n",
       "      <td>7.60%</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>6340 rows × 17 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                  Issuer Name Symbol Callable Sub-Product Type  Coupon  \\\n",
       "0     21ST CENTY FOX AMER INC    DIS      Yes   Corporate Bond   6.400   \n",
       "1                  ABBVIE INC   ABBV      Yes   Corporate Bond   3.200   \n",
       "2                  ABBVIE INC   ABBV      Yes   Corporate Bond   3.600   \n",
       "3                  ABBVIE INC   ABBV      Yes   Corporate Bond   4.500   \n",
       "4                  ABBVIE INC   ABBV      Yes   Corporate Bond   4.700   \n",
       "...                       ...    ...      ...              ...     ...   \n",
       "6335           YUM BRANDS INC    YUM      Yes   Corporate Bond   3.625   \n",
       "6336           YUM BRANDS INC    YUM      Yes   Corporate Bond   7.750   \n",
       "6337  ZIMMER BIOMET HLDGS INC    ZBH      Yes   Corporate Bond   3.150   \n",
       "6338  ZIMMER BIOMET HLDGS INC    ZBH      Yes   Corporate Bond   3.550   \n",
       "6339  ZIMMER BIOMET HLDGS INC    ZBH      Yes   Corporate Bond   4.250   \n",
       "\n",
       "        Maturity Moody's®   S&P    Price  Yield  Maturity Years  Duration  \\\n",
       "0     12/15/2035     Baa1  BBB+  131.166  3.596       14.516667  3.668031   \n",
       "1     11/06/2022     Baa2  BBB+  102.833  0.442        1.219444  0.000000   \n",
       "2     05/14/2025     Baa2  BBB+  108.701  1.040        3.775000  0.193976   \n",
       "3     05/14/2035     Baa2  BBB+  121.696  2.555       13.919444  2.690101   \n",
       "4     05/14/2045     Baa2  BBB+  126.227  3.106       24.066667  6.458556   \n",
       "...          ...      ...   ...      ...    ...             ...       ...   \n",
       "6335  03/15/2031       B1   BB-  102.274  3.339        9.694444  1.298900   \n",
       "6336  04/01/2025       B1   BB-  107.750  1.199        3.655556  0.419735   \n",
       "6337  04/01/2022     Baa3   BBB  101.140  0.513        0.611111  0.000000   \n",
       "6338  04/01/2025     Baa3   BBB  107.812  1.164        3.655556  0.192310   \n",
       "6339  08/15/2035     Baa3   BBB  110.812  3.253       14.177778  2.630184   \n",
       "\n",
       "     Operating Margin Current ratio EV/Revenue Return on Assets  \\\n",
       "0               3.91%          1.24       5.85            0.76%   \n",
       "1              35.17%          0.91       5.30            7.94%   \n",
       "2              35.17%          0.91       5.30            7.94%   \n",
       "3              35.17%          0.91       5.30            7.94%   \n",
       "4              35.17%          0.91       5.30            7.94%   \n",
       "...               ...           ...        ...              ...   \n",
       "6335           34.10%          0.97       8.09           22.17%   \n",
       "6336           34.10%          0.97       8.09           22.17%   \n",
       "6337           17.04%          1.83       4.71            3.51%   \n",
       "6338           17.04%          1.83       4.71            3.51%   \n",
       "6339           17.04%          1.83       4.71            3.51%   \n",
       "\n",
       "     Return on Equity  \n",
       "0               1.65%  \n",
       "1              48.86%  \n",
       "2              48.86%  \n",
       "3              48.86%  \n",
       "4              48.86%  \n",
       "...               ...  \n",
       "6335                0  \n",
       "6336                0  \n",
       "6337            7.60%  \n",
       "6338            7.60%  \n",
       "6339            7.60%  \n",
       "\n",
       "[6340 rows x 17 columns]"
      ]
     },
     "execution_count": 481,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Add the AlphaWave Data Stock info to the bond dataframe\n",
    "data = pd.merge(bond_prices_df, \n",
    "                     result_alphawave_df, \n",
    "                     on ='Symbol', \n",
    "                     how ='left')\n",
    "data"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Next, let's save the combined dataframes to a pickle file if we wish.  We will also clean the data, drop missing values, and create random samples of BBB, BB, and B rated bonds to use in our k-NN algorithm."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 482,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Save the combined dataframe into a pickle file\n",
    "# data.to_pickle(\"./data.pkl\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 483,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Issuer Name</th>\n",
       "      <th>Symbol</th>\n",
       "      <th>Callable</th>\n",
       "      <th>Sub-Product Type</th>\n",
       "      <th>Coupon</th>\n",
       "      <th>Maturity</th>\n",
       "      <th>Moody's®</th>\n",
       "      <th>S&amp;P</th>\n",
       "      <th>Price</th>\n",
       "      <th>Yield</th>\n",
       "      <th>Maturity Years</th>\n",
       "      <th>Duration</th>\n",
       "      <th>Operating Margin</th>\n",
       "      <th>Current ratio</th>\n",
       "      <th>EV/Revenue</th>\n",
       "      <th>Return on Assets</th>\n",
       "      <th>Return on Equity</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>21ST CENTY FOX AMER INC</td>\n",
       "      <td>DIS</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>6.400</td>\n",
       "      <td>12/15/2035</td>\n",
       "      <td>Baa1</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>131.166</td>\n",
       "      <td>3.596</td>\n",
       "      <td>14.516667</td>\n",
       "      <td>3.668031</td>\n",
       "      <td>3.91%</td>\n",
       "      <td>1.24</td>\n",
       "      <td>5.85</td>\n",
       "      <td>0.76%</td>\n",
       "      <td>1.65%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.200</td>\n",
       "      <td>11/06/2022</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>102.833</td>\n",
       "      <td>0.442</td>\n",
       "      <td>1.219444</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.600</td>\n",
       "      <td>05/14/2025</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>108.701</td>\n",
       "      <td>1.040</td>\n",
       "      <td>3.775000</td>\n",
       "      <td>0.193976</td>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.500</td>\n",
       "      <td>05/14/2035</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>121.696</td>\n",
       "      <td>2.555</td>\n",
       "      <td>13.919444</td>\n",
       "      <td>2.690101</td>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.700</td>\n",
       "      <td>05/14/2045</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB+</td>\n",
       "      <td>126.227</td>\n",
       "      <td>3.106</td>\n",
       "      <td>24.066667</td>\n",
       "      <td>6.458556</td>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6335</th>\n",
       "      <td>YUM BRANDS INC</td>\n",
       "      <td>YUM</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.625</td>\n",
       "      <td>03/15/2031</td>\n",
       "      <td>B1</td>\n",
       "      <td>BB-</td>\n",
       "      <td>102.274</td>\n",
       "      <td>3.339</td>\n",
       "      <td>9.694444</td>\n",
       "      <td>1.298900</td>\n",
       "      <td>34.10%</td>\n",
       "      <td>0.97</td>\n",
       "      <td>8.09</td>\n",
       "      <td>22.17%</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6336</th>\n",
       "      <td>YUM BRANDS INC</td>\n",
       "      <td>YUM</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>7.750</td>\n",
       "      <td>04/01/2025</td>\n",
       "      <td>B1</td>\n",
       "      <td>BB-</td>\n",
       "      <td>107.750</td>\n",
       "      <td>1.199</td>\n",
       "      <td>3.655556</td>\n",
       "      <td>0.419735</td>\n",
       "      <td>34.10%</td>\n",
       "      <td>0.97</td>\n",
       "      <td>8.09</td>\n",
       "      <td>22.17%</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6337</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.150</td>\n",
       "      <td>04/01/2022</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>101.140</td>\n",
       "      <td>0.513</td>\n",
       "      <td>0.611111</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>17.04%</td>\n",
       "      <td>1.83</td>\n",
       "      <td>4.71</td>\n",
       "      <td>3.51%</td>\n",
       "      <td>7.60%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6338</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.550</td>\n",
       "      <td>04/01/2025</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>107.812</td>\n",
       "      <td>1.164</td>\n",
       "      <td>3.655556</td>\n",
       "      <td>0.192310</td>\n",
       "      <td>17.04%</td>\n",
       "      <td>1.83</td>\n",
       "      <td>4.71</td>\n",
       "      <td>3.51%</td>\n",
       "      <td>7.60%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6339</th>\n",
       "      <td>ZIMMER BIOMET HLDGS INC</td>\n",
       "      <td>ZBH</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.250</td>\n",
       "      <td>08/15/2035</td>\n",
       "      <td>Baa3</td>\n",
       "      <td>BBB</td>\n",
       "      <td>110.812</td>\n",
       "      <td>3.253</td>\n",
       "      <td>14.177778</td>\n",
       "      <td>2.630184</td>\n",
       "      <td>17.04%</td>\n",
       "      <td>1.83</td>\n",
       "      <td>4.71</td>\n",
       "      <td>3.51%</td>\n",
       "      <td>7.60%</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>6340 rows × 17 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                  Issuer Name Symbol Callable Sub-Product Type  Coupon  \\\n",
       "0     21ST CENTY FOX AMER INC    DIS      Yes   Corporate Bond   6.400   \n",
       "1                  ABBVIE INC   ABBV      Yes   Corporate Bond   3.200   \n",
       "2                  ABBVIE INC   ABBV      Yes   Corporate Bond   3.600   \n",
       "3                  ABBVIE INC   ABBV      Yes   Corporate Bond   4.500   \n",
       "4                  ABBVIE INC   ABBV      Yes   Corporate Bond   4.700   \n",
       "...                       ...    ...      ...              ...     ...   \n",
       "6335           YUM BRANDS INC    YUM      Yes   Corporate Bond   3.625   \n",
       "6336           YUM BRANDS INC    YUM      Yes   Corporate Bond   7.750   \n",
       "6337  ZIMMER BIOMET HLDGS INC    ZBH      Yes   Corporate Bond   3.150   \n",
       "6338  ZIMMER BIOMET HLDGS INC    ZBH      Yes   Corporate Bond   3.550   \n",
       "6339  ZIMMER BIOMET HLDGS INC    ZBH      Yes   Corporate Bond   4.250   \n",
       "\n",
       "        Maturity Moody's®   S&P    Price  Yield  Maturity Years  Duration  \\\n",
       "0     12/15/2035     Baa1  BBB+  131.166  3.596       14.516667  3.668031   \n",
       "1     11/06/2022     Baa2  BBB+  102.833  0.442        1.219444  0.000000   \n",
       "2     05/14/2025     Baa2  BBB+  108.701  1.040        3.775000  0.193976   \n",
       "3     05/14/2035     Baa2  BBB+  121.696  2.555       13.919444  2.690101   \n",
       "4     05/14/2045     Baa2  BBB+  126.227  3.106       24.066667  6.458556   \n",
       "...          ...      ...   ...      ...    ...             ...       ...   \n",
       "6335  03/15/2031       B1   BB-  102.274  3.339        9.694444  1.298900   \n",
       "6336  04/01/2025       B1   BB-  107.750  1.199        3.655556  0.419735   \n",
       "6337  04/01/2022     Baa3   BBB  101.140  0.513        0.611111  0.000000   \n",
       "6338  04/01/2025     Baa3   BBB  107.812  1.164        3.655556  0.192310   \n",
       "6339  08/15/2035     Baa3   BBB  110.812  3.253       14.177778  2.630184   \n",
       "\n",
       "     Operating Margin Current ratio EV/Revenue Return on Assets  \\\n",
       "0               3.91%          1.24       5.85            0.76%   \n",
       "1              35.17%          0.91       5.30            7.94%   \n",
       "2              35.17%          0.91       5.30            7.94%   \n",
       "3              35.17%          0.91       5.30            7.94%   \n",
       "4              35.17%          0.91       5.30            7.94%   \n",
       "...               ...           ...        ...              ...   \n",
       "6335           34.10%          0.97       8.09           22.17%   \n",
       "6336           34.10%          0.97       8.09           22.17%   \n",
       "6337           17.04%          1.83       4.71            3.51%   \n",
       "6338           17.04%          1.83       4.71            3.51%   \n",
       "6339           17.04%          1.83       4.71            3.51%   \n",
       "\n",
       "     Return on Equity  \n",
       "0               1.65%  \n",
       "1              48.86%  \n",
       "2              48.86%  \n",
       "3              48.86%  \n",
       "4              48.86%  \n",
       "...               ...  \n",
       "6335                0  \n",
       "6336                0  \n",
       "6337            7.60%  \n",
       "6338            7.60%  \n",
       "6339            7.60%  \n",
       "\n",
       "[6340 rows x 17 columns]"
      ]
     },
     "execution_count": 483,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Load the alphawave dataframe from the saved pickle file\n",
    "# data = pd.read_pickle(\"./data.pkl\")\n",
    "# data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 484,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Issuer Name</th>\n",
       "      <th>Symbol</th>\n",
       "      <th>Callable</th>\n",
       "      <th>Sub-Product Type</th>\n",
       "      <th>Coupon</th>\n",
       "      <th>Maturity</th>\n",
       "      <th>Moody's®</th>\n",
       "      <th>S&amp;P</th>\n",
       "      <th>Price</th>\n",
       "      <th>Yield</th>\n",
       "      <th>Maturity Years</th>\n",
       "      <th>Duration</th>\n",
       "      <th>Operating Margin</th>\n",
       "      <th>Current ratio</th>\n",
       "      <th>EV/Revenue</th>\n",
       "      <th>Return on Assets</th>\n",
       "      <th>Return on Equity</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>21ST CENTY FOX AMER INC</td>\n",
       "      <td>DIS</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>6.4</td>\n",
       "      <td>12/15/2035</td>\n",
       "      <td>Baa1</td>\n",
       "      <td>BBB</td>\n",
       "      <td>131.166</td>\n",
       "      <td>3.596</td>\n",
       "      <td>14.516667</td>\n",
       "      <td>3.668031</td>\n",
       "      <td>3.91%</td>\n",
       "      <td>1.24</td>\n",
       "      <td>5.85</td>\n",
       "      <td>0.76%</td>\n",
       "      <td>1.65%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.2</td>\n",
       "      <td>11/06/2022</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB</td>\n",
       "      <td>102.833</td>\n",
       "      <td>0.442</td>\n",
       "      <td>1.219444</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>3.6</td>\n",
       "      <td>05/14/2025</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB</td>\n",
       "      <td>108.701</td>\n",
       "      <td>1.040</td>\n",
       "      <td>3.775000</td>\n",
       "      <td>0.193976</td>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.5</td>\n",
       "      <td>05/14/2035</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB</td>\n",
       "      <td>121.696</td>\n",
       "      <td>2.555</td>\n",
       "      <td>13.919444</td>\n",
       "      <td>2.690101</td>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>4.7</td>\n",
       "      <td>05/14/2045</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB</td>\n",
       "      <td>126.227</td>\n",
       "      <td>3.106</td>\n",
       "      <td>24.066667</td>\n",
       "      <td>6.458556</td>\n",
       "      <td>35.17%</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>7.94%</td>\n",
       "      <td>48.86%</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               Issuer Name Symbol Callable Sub-Product Type  Coupon  \\\n",
       "0  21ST CENTY FOX AMER INC    DIS      Yes   Corporate Bond     6.4   \n",
       "1               ABBVIE INC   ABBV      Yes   Corporate Bond     3.2   \n",
       "2               ABBVIE INC   ABBV      Yes   Corporate Bond     3.6   \n",
       "3               ABBVIE INC   ABBV      Yes   Corporate Bond     4.5   \n",
       "4               ABBVIE INC   ABBV      Yes   Corporate Bond     4.7   \n",
       "\n",
       "     Maturity Moody's®  S&P    Price  Yield  Maturity Years  Duration  \\\n",
       "0  12/15/2035     Baa1  BBB  131.166  3.596       14.516667  3.668031   \n",
       "1  11/06/2022     Baa2  BBB  102.833  0.442        1.219444  0.000000   \n",
       "2  05/14/2025     Baa2  BBB  108.701  1.040        3.775000  0.193976   \n",
       "3  05/14/2035     Baa2  BBB  121.696  2.555       13.919444  2.690101   \n",
       "4  05/14/2045     Baa2  BBB  126.227  3.106       24.066667  6.458556   \n",
       "\n",
       "  Operating Margin Current ratio EV/Revenue Return on Assets Return on Equity  \n",
       "0            3.91%          1.24       5.85            0.76%            1.65%  \n",
       "1           35.17%          0.91       5.30            7.94%           48.86%  \n",
       "2           35.17%          0.91       5.30            7.94%           48.86%  \n",
       "3           35.17%          0.91       5.30            7.94%           48.86%  \n",
       "4           35.17%          0.91       5.30            7.94%           48.86%  "
      ]
     },
     "execution_count": 484,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Remove the - and + signs in order to create three ratings buckets BBB, BB, and B\n",
    "data[[\"S&P\"]] = data[[\"S&P\"]].apply(lambda x: x.str.replace('[-+]','', regex=True))\n",
    "\n",
    "# Remove missing values\n",
    "data = data.dropna()\n",
    "data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 485,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(5098, 17)"
      ]
     },
     "execution_count": 485,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Get the dataframe shape\n",
    "data.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 486,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>S&amp;P</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>B</th>\n",
       "      <td>380</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>BB</th>\n",
       "      <td>730</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>BBB</th>\n",
       "      <td>3988</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      S&P\n",
       "B     380\n",
       "BB    730\n",
       "BBB  3988"
      ]
     },
     "execution_count": 486,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Get counts of each rating\n",
    "pd.DataFrame( data['S&P'].value_counts() ).sort_index()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 487,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame.\n",
      "Try using .loc[row_indexer,col_indexer] = value instead\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy [frame.py:3636]\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Issuer Name</th>\n",
       "      <th>Symbol</th>\n",
       "      <th>Callable</th>\n",
       "      <th>Sub-Product Type</th>\n",
       "      <th>Coupon</th>\n",
       "      <th>Maturity</th>\n",
       "      <th>Moody's®</th>\n",
       "      <th>S&amp;P</th>\n",
       "      <th>Price</th>\n",
       "      <th>Yield</th>\n",
       "      <th>Maturity Years</th>\n",
       "      <th>Duration</th>\n",
       "      <th>Operating Margin</th>\n",
       "      <th>Current ratio</th>\n",
       "      <th>EV/Revenue</th>\n",
       "      <th>Return on Assets</th>\n",
       "      <th>Return on Equity</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>21ST CENTY FOX AMER INC</td>\n",
       "      <td>DIS</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.064</td>\n",
       "      <td>12/15/2035</td>\n",
       "      <td>Baa1</td>\n",
       "      <td>BBB</td>\n",
       "      <td>131.166</td>\n",
       "      <td>0.03596</td>\n",
       "      <td>14.516667</td>\n",
       "      <td>3.668031</td>\n",
       "      <td>0.0391</td>\n",
       "      <td>1.24</td>\n",
       "      <td>5.85</td>\n",
       "      <td>0.0076</td>\n",
       "      <td>0.0165</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.032</td>\n",
       "      <td>11/06/2022</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB</td>\n",
       "      <td>102.833</td>\n",
       "      <td>0.00442</td>\n",
       "      <td>1.219444</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.3517</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>0.0794</td>\n",
       "      <td>0.4886</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.036</td>\n",
       "      <td>05/14/2025</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB</td>\n",
       "      <td>108.701</td>\n",
       "      <td>0.01040</td>\n",
       "      <td>3.775000</td>\n",
       "      <td>0.193976</td>\n",
       "      <td>0.3517</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>0.0794</td>\n",
       "      <td>0.4886</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.045</td>\n",
       "      <td>05/14/2035</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB</td>\n",
       "      <td>121.696</td>\n",
       "      <td>0.02555</td>\n",
       "      <td>13.919444</td>\n",
       "      <td>2.690101</td>\n",
       "      <td>0.3517</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>0.0794</td>\n",
       "      <td>0.4886</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>ABBVIE INC</td>\n",
       "      <td>ABBV</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.047</td>\n",
       "      <td>05/14/2045</td>\n",
       "      <td>Baa2</td>\n",
       "      <td>BBB</td>\n",
       "      <td>126.227</td>\n",
       "      <td>0.03106</td>\n",
       "      <td>24.066667</td>\n",
       "      <td>6.458556</td>\n",
       "      <td>0.3517</td>\n",
       "      <td>0.91</td>\n",
       "      <td>5.30</td>\n",
       "      <td>0.0794</td>\n",
       "      <td>0.4886</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               Issuer Name Symbol Callable Sub-Product Type  Coupon  \\\n",
       "0  21ST CENTY FOX AMER INC    DIS      Yes   Corporate Bond   0.064   \n",
       "1               ABBVIE INC   ABBV      Yes   Corporate Bond   0.032   \n",
       "2               ABBVIE INC   ABBV      Yes   Corporate Bond   0.036   \n",
       "3               ABBVIE INC   ABBV      Yes   Corporate Bond   0.045   \n",
       "4               ABBVIE INC   ABBV      Yes   Corporate Bond   0.047   \n",
       "\n",
       "     Maturity Moody's®  S&P    Price    Yield  Maturity Years  Duration  \\\n",
       "0  12/15/2035     Baa1  BBB  131.166  0.03596       14.516667  3.668031   \n",
       "1  11/06/2022     Baa2  BBB  102.833  0.00442        1.219444  0.000000   \n",
       "2  05/14/2025     Baa2  BBB  108.701  0.01040        3.775000  0.193976   \n",
       "3  05/14/2035     Baa2  BBB  121.696  0.02555       13.919444  2.690101   \n",
       "4  05/14/2045     Baa2  BBB  126.227  0.03106       24.066667  6.458556   \n",
       "\n",
       "   Operating Margin  Current ratio  EV/Revenue  Return on Assets  \\\n",
       "0            0.0391           1.24        5.85            0.0076   \n",
       "1            0.3517           0.91        5.30            0.0794   \n",
       "2            0.3517           0.91        5.30            0.0794   \n",
       "3            0.3517           0.91        5.30            0.0794   \n",
       "4            0.3517           0.91        5.30            0.0794   \n",
       "\n",
       "   Return on Equity  \n",
       "0            0.0165  \n",
       "1            0.4886  \n",
       "2            0.4886  \n",
       "3            0.4886  \n",
       "4            0.4886  "
      ]
     },
     "execution_count": 487,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Remove any commas and % characters, change string values to numeric values\n",
    "\n",
    "data[[\"Operating Margin\", \n",
    "      \"Return on Assets\", \n",
    "      \"Return on Equity\"]] = data[[\"Operating Margin\", \n",
    "                                   \"Return on Assets\", \n",
    "                                   \"Return on Equity\"]].apply(lambda x: x.str.replace('[,]','', regex=True))\n",
    "\n",
    "data[[\"Operating Margin\", \n",
    "      \"Return on Assets\", \n",
    "      \"Return on Equity\"]] = data[[\"Operating Margin\", \n",
    "                                   \"Return on Assets\", \n",
    "                                   \"Return on Equity\"]].apply(lambda x: x.str.replace('[%]','', regex=True))\n",
    "\n",
    "data[[\"Coupon\", \"Yield\"]] = data[[\"Coupon\", \"Yield\"]].apply(lambda x: x/100)\n",
    "\n",
    "data[[\"Operating Margin\", \n",
    "      \"Return on Assets\", \n",
    "      \"Return on Equity\"]] = data[[\"Operating Margin\", \n",
    "                                   \"Return on Assets\", \n",
    "                                   \"Return on Equity\"]].apply(pd.to_numeric)\n",
    "data[[\"Operating Margin\", \n",
    "      \"Return on Assets\", \n",
    "      \"Return on Equity\"]] = data[[\"Operating Margin\", \n",
    "                                   \"Return on Assets\", \n",
    "                                   \"Return on Equity\"]].apply(lambda x: x/100)\n",
    "\n",
    "data[[\"Coupon\", \"Price\", \"Yield\", \"Maturity Years\", \n",
    "    \"Duration\", \"Operating Margin\", \"Current ratio\", \"EV/Revenue\", \n",
    "    \"Return on Assets\", \"Return on Equity\"]] = data[[\n",
    "    \"Coupon\", \"Price\", \"Yield\", \"Maturity Years\", \n",
    "    \"Duration\", \"Operating Margin\", \"Current ratio\", \"EV/Revenue\", \n",
    "    \"Return on Assets\", \"Return on Equity\"]].apply(pd.to_numeric)\n",
    "\n",
    "data.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Now we create a sample of the combined dataframes that include an equal number of bonds rated BBB, BB, and B."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 488,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Issuer Name</th>\n",
       "      <th>Symbol</th>\n",
       "      <th>Callable</th>\n",
       "      <th>Sub-Product Type</th>\n",
       "      <th>Coupon</th>\n",
       "      <th>Maturity</th>\n",
       "      <th>Moody's®</th>\n",
       "      <th>S&amp;P</th>\n",
       "      <th>Price</th>\n",
       "      <th>Yield</th>\n",
       "      <th>Maturity Years</th>\n",
       "      <th>Duration</th>\n",
       "      <th>Operating Margin</th>\n",
       "      <th>Current ratio</th>\n",
       "      <th>EV/Revenue</th>\n",
       "      <th>Return on Assets</th>\n",
       "      <th>Return on Equity</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>6324</th>\n",
       "      <td>XPO LOGISTICS INC</td>\n",
       "      <td>XPO</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.0675</td>\n",
       "      <td>08/15/2024</td>\n",
       "      <td>Ba3</td>\n",
       "      <td>B</td>\n",
       "      <td>103.420</td>\n",
       "      <td>0.02530</td>\n",
       "      <td>3.019444</td>\n",
       "      <td>0.187830</td>\n",
       "      <td>0.0528</td>\n",
       "      <td>1.02</td>\n",
       "      <td>0.90</td>\n",
       "      <td>0.0395</td>\n",
       "      <td>0.1792</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2285</th>\n",
       "      <td>FORESTAR GROUP INC</td>\n",
       "      <td>DHI</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.0500</td>\n",
       "      <td>03/01/2028</td>\n",
       "      <td>B1</td>\n",
       "      <td>B</td>\n",
       "      <td>104.055</td>\n",
       "      <td>0.03839</td>\n",
       "      <td>6.613889</td>\n",
       "      <td>0.858466</td>\n",
       "      <td>0.1806</td>\n",
       "      <td>5.87</td>\n",
       "      <td>1.41</td>\n",
       "      <td>0.1480</td>\n",
       "      <td>0.2889</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>891</th>\n",
       "      <td>CHURCHILL DOWNS INC</td>\n",
       "      <td>CHDN</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.0550</td>\n",
       "      <td>04/01/2027</td>\n",
       "      <td>B1</td>\n",
       "      <td>B</td>\n",
       "      <td>103.884</td>\n",
       "      <td>0.03472</td>\n",
       "      <td>5.683333</td>\n",
       "      <td>0.701377</td>\n",
       "      <td>0.1828</td>\n",
       "      <td>1.44</td>\n",
       "      <td>6.12</td>\n",
       "      <td>0.0538</td>\n",
       "      <td>0.6371</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1155</th>\n",
       "      <td>COMSTOCK ESCROW CORP</td>\n",
       "      <td>CRK</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.0975</td>\n",
       "      <td>08/15/2026</td>\n",
       "      <td>Caa1</td>\n",
       "      <td>B</td>\n",
       "      <td>108.479</td>\n",
       "      <td>0.00557</td>\n",
       "      <td>5.047222</td>\n",
       "      <td>0.883952</td>\n",
       "      <td>0.3705</td>\n",
       "      <td>0.34</td>\n",
       "      <td>3.72</td>\n",
       "      <td>0.0566</td>\n",
       "      <td>-0.2741</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3739</th>\n",
       "      <td>KOPPERS INC PA</td>\n",
       "      <td>KOP</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.0600</td>\n",
       "      <td>02/15/2025</td>\n",
       "      <td>B1</td>\n",
       "      <td>B</td>\n",
       "      <td>102.630</td>\n",
       "      <td>0.03537</td>\n",
       "      <td>3.530556</td>\n",
       "      <td>0.323558</td>\n",
       "      <td>0.1063</td>\n",
       "      <td>2.30</td>\n",
       "      <td>0.90</td>\n",
       "      <td>0.0691</td>\n",
       "      <td>0.3649</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               Issuer Name Symbol Callable Sub-Product Type  Coupon  \\\n",
       "6324     XPO LOGISTICS INC    XPO      Yes   Corporate Bond  0.0675   \n",
       "2285    FORESTAR GROUP INC    DHI      Yes   Corporate Bond  0.0500   \n",
       "891    CHURCHILL DOWNS INC   CHDN      Yes   Corporate Bond  0.0550   \n",
       "1155  COMSTOCK ESCROW CORP    CRK      Yes   Corporate Bond  0.0975   \n",
       "3739        KOPPERS INC PA    KOP      Yes   Corporate Bond  0.0600   \n",
       "\n",
       "        Maturity Moody's® S&P    Price    Yield  Maturity Years  Duration  \\\n",
       "6324  08/15/2024      Ba3   B  103.420  0.02530        3.019444  0.187830   \n",
       "2285  03/01/2028       B1   B  104.055  0.03839        6.613889  0.858466   \n",
       "891   04/01/2027       B1   B  103.884  0.03472        5.683333  0.701377   \n",
       "1155  08/15/2026     Caa1   B  108.479  0.00557        5.047222  0.883952   \n",
       "3739  02/15/2025       B1   B  102.630  0.03537        3.530556  0.323558   \n",
       "\n",
       "      Operating Margin  Current ratio  EV/Revenue  Return on Assets  \\\n",
       "6324            0.0528           1.02        0.90            0.0395   \n",
       "2285            0.1806           5.87        1.41            0.1480   \n",
       "891             0.1828           1.44        6.12            0.0538   \n",
       "1155            0.3705           0.34        3.72            0.0566   \n",
       "3739            0.1063           2.30        0.90            0.0691   \n",
       "\n",
       "      Return on Equity  \n",
       "6324            0.1792  \n",
       "2285            0.2889  \n",
       "891             0.6371  \n",
       "1155           -0.2741  \n",
       "3739            0.3649  "
      ]
     },
     "execution_count": 488,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# The below code will sample the DataFrame and return only one sample per Symbol for the total 75 desired samples.\n",
    "# create a sample of the combined dataframes\n",
    "\n",
    "df_bbb = data[data['S&P'] == 'BBB'].groupby('Symbol', group_keys=False).apply(lambda data: data.sample(1))\n",
    "df_bbb = df_bbb.sample(n=75)\n",
    "\n",
    "df_bb = data[data['S&P'] == 'BB'].groupby('Symbol', group_keys=False).apply(lambda data: data.sample(1))\n",
    "df_bb = df_bb.sample(n=75)\n",
    "\n",
    "df_b = data[data['S&P'] == 'B'].groupby('Symbol', group_keys=False).apply(lambda data: data.sample(1))\n",
    "df_b = df_b.sample(n=75)\n",
    "\n",
    "df_ratings = pd.concat([df_b, df_bb, df_bbb])\n",
    "df_ratings.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 489,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Coupon</th>\n",
       "      <th>Price</th>\n",
       "      <th>Yield</th>\n",
       "      <th>Maturity Years</th>\n",
       "      <th>Duration</th>\n",
       "      <th>Operating Margin</th>\n",
       "      <th>Current ratio</th>\n",
       "      <th>EV/Revenue</th>\n",
       "      <th>Return on Assets</th>\n",
       "      <th>Return on Equity</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>count</th>\n",
       "      <td>225.000000</td>\n",
       "      <td>225.000000</td>\n",
       "      <td>225.000000</td>\n",
       "      <td>225.000000</td>\n",
       "      <td>225.000000</td>\n",
       "      <td>225.000000</td>\n",
       "      <td>225.000000</td>\n",
       "      <td>225.000000</td>\n",
       "      <td>225.000000</td>\n",
       "      <td>207.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>mean</th>\n",
       "      <td>0.051399</td>\n",
       "      <td>107.445631</td>\n",
       "      <td>0.032266</td>\n",
       "      <td>7.403481</td>\n",
       "      <td>1.193632</td>\n",
       "      <td>-0.215164</td>\n",
       "      <td>2.119822</td>\n",
       "      <td>7.637289</td>\n",
       "      <td>0.045124</td>\n",
       "      <td>0.431912</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>std</th>\n",
       "      <td>0.015140</td>\n",
       "      <td>8.652035</td>\n",
       "      <td>0.015779</td>\n",
       "      <td>5.788076</td>\n",
       "      <td>1.748927</td>\n",
       "      <td>3.801005</td>\n",
       "      <td>3.293016</td>\n",
       "      <td>35.450492</td>\n",
       "      <td>0.076232</td>\n",
       "      <td>3.031022</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>min</th>\n",
       "      <td>0.008750</td>\n",
       "      <td>91.600000</td>\n",
       "      <td>0.001290</td>\n",
       "      <td>0.819444</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>-42.709200</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>-3.030000</td>\n",
       "      <td>-0.807300</td>\n",
       "      <td>-6.579800</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25%</th>\n",
       "      <td>0.041250</td>\n",
       "      <td>102.660000</td>\n",
       "      <td>0.021110</td>\n",
       "      <td>4.208333</td>\n",
       "      <td>0.305475</td>\n",
       "      <td>0.078400</td>\n",
       "      <td>0.970000</td>\n",
       "      <td>1.280000</td>\n",
       "      <td>0.022400</td>\n",
       "      <td>0.040250</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>50%</th>\n",
       "      <td>0.050000</td>\n",
       "      <td>105.188000</td>\n",
       "      <td>0.032360</td>\n",
       "      <td>6.188889</td>\n",
       "      <td>0.694909</td>\n",
       "      <td>0.143000</td>\n",
       "      <td>1.470000</td>\n",
       "      <td>2.440000</td>\n",
       "      <td>0.043800</td>\n",
       "      <td>0.142300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75%</th>\n",
       "      <td>0.060000</td>\n",
       "      <td>108.750000</td>\n",
       "      <td>0.041420</td>\n",
       "      <td>7.627778</td>\n",
       "      <td>1.038228</td>\n",
       "      <td>0.216800</td>\n",
       "      <td>2.300000</td>\n",
       "      <td>5.300000</td>\n",
       "      <td>0.069100</td>\n",
       "      <td>0.296900</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>max</th>\n",
       "      <td>0.105000</td>\n",
       "      <td>146.363000</td>\n",
       "      <td>0.109560</td>\n",
       "      <td>32.527778</td>\n",
       "      <td>9.091327</td>\n",
       "      <td>0.786800</td>\n",
       "      <td>37.830000</td>\n",
       "      <td>406.500000</td>\n",
       "      <td>0.241100</td>\n",
       "      <td>40.818600</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "           Coupon       Price       Yield  Maturity Years    Duration  \\\n",
       "count  225.000000  225.000000  225.000000      225.000000  225.000000   \n",
       "mean     0.051399  107.445631    0.032266        7.403481    1.193632   \n",
       "std      0.015140    8.652035    0.015779        5.788076    1.748927   \n",
       "min      0.008750   91.600000    0.001290        0.819444    0.000000   \n",
       "25%      0.041250  102.660000    0.021110        4.208333    0.305475   \n",
       "50%      0.050000  105.188000    0.032360        6.188889    0.694909   \n",
       "75%      0.060000  108.750000    0.041420        7.627778    1.038228   \n",
       "max      0.105000  146.363000    0.109560       32.527778    9.091327   \n",
       "\n",
       "       Operating Margin  Current ratio  EV/Revenue  Return on Assets  \\\n",
       "count        225.000000     225.000000  225.000000        225.000000   \n",
       "mean          -0.215164       2.119822    7.637289          0.045124   \n",
       "std            3.801005       3.293016   35.450492          0.076232   \n",
       "min          -42.709200       0.000000   -3.030000         -0.807300   \n",
       "25%            0.078400       0.970000    1.280000          0.022400   \n",
       "50%            0.143000       1.470000    2.440000          0.043800   \n",
       "75%            0.216800       2.300000    5.300000          0.069100   \n",
       "max            0.786800      37.830000  406.500000          0.241100   \n",
       "\n",
       "       Return on Equity  \n",
       "count        207.000000  \n",
       "mean           0.431912  \n",
       "std            3.031022  \n",
       "min           -6.579800  \n",
       "25%            0.040250  \n",
       "50%            0.142300  \n",
       "75%            0.296900  \n",
       "max           40.818600  "
      ]
     },
     "execution_count": 489,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Generate descriptive statistics\n",
    "df_ratings.describe()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Let's now apply k-NN in practice on fundamental credit data.  Before we start analyzing the data, let's perform winsorization on the entire data set.  Winsorization is a way to minimize the influence of outliers on your data.  To apply winsorization to the entire dataframe, we can use the winsorization function from mstats."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Minimize influence of outliers by performing Winsorization\n",
    "\n",
    "Winsorization transforms data by limiting extreme values, typically by setting all outliers to a specified percentile of data."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 490,
   "metadata": {},
   "outputs": [],
   "source": [
    "from scipy.stats import mstats\n",
    "# Winsorize top 1% and bottom 1% of points \n",
    "def using_mstats(s):\n",
    "    return mstats.winsorize(s, limits = [0.01, 0.01])\n",
    "\n",
    "# Apply on our ratings df\n",
    "df_ratings = df_ratings.apply(using_mstats, axis = 0)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Next, let's visualize the classes.  By applying the value_counts function on the 'S&P' column, we can see that the classes are balanced.  It is ideal to keep the classes balanced, whether it is k-NN or any other classification algorithm."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 491,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "B      75\n",
       "BB     75\n",
       "BBB    75\n",
       "Name: S&P, dtype: int64"
      ]
     },
     "execution_count": 491,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Make sure classes are balanced\n",
    "df_ratings['S&P'].value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## k-NN for Classification\n",
    "\n",
    "Now let's filter the data for only BBB and B rated bonds. BBB is investment grade for bonds while B is in the high yield category for bonds."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Begin with 2-class classification\n",
    "\n",
    "Filter our data for BBB & B ratings only, for now."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 492,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Filter our data for BBB & B ratings only\n",
    "df_BBBandB = df_ratings[df_ratings['S&P'].isin(['BBB','B'])]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "For simplicity, assume the S&P rating column is only dependent on EV/Revenue and the Current Ratio.\n",
    "\n",
    "Next, let's visualize our data in a scatter plot.  We pass in our first two parameters we are going to use to predict the credit rating (EV/Revenue, Current Ratio).  We pass the bond rating as the color of the scatter plot data points."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 493,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.collections.PathCollection at 0x1a2f092d90>"
      ]
     },
     "execution_count": 493,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAApUAAAGpCAYAAADcAc3sAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nOzdd1jV5f/H8ddhCQg4QEC0XDkycyWFWzNH4sxRWmZZmmWZ2e9bad/mt9KWWmbLvbemZaZoKkoOVMQt5sStCKKIInD//iBRQkQ5cA7o83Fd70u4P+dz3+9z8I/X9VnHIskIAAAAsIKDvRsAAABAwUeoBAAAgNUIlQAAALAaoRIAAABWI1QCAADAak72buBWnDp1SocOHbJ3GwAAAHe9MmXKyNfXN9N4gQiVhw4dUmBgoL3bAAAAuOuFh4ffcJzT3wAAALAaoRIAAABWI1QCAADAagXimkoAAID8plixYhowYIDKli0ri8Vi73ZylTFGBw8e1IgRIxQbG3tL+xAqAQAAcmDAgAHauHGjPv74Y6WkpNi7nVzl6Oio4OBgDRgwQB988MEt7cPpbwAAgBwoW7asfv/99zsuUEpSSkqKFi1apLJly97yPoRKAACAHLBYLHdkoLwqJSXltk7rEyoBAABgNUIlAABAATZ48GBt375dkZGRioiI0MMPPyxJ+umnn7Rjxw5t3bpVQUFBGfY5cOCAtm7dqi1btmjJkiXy8/Ozug9u1AEAACiggoKC1KZNG9WuXVtJSUny9vaWi4uLGjRooIoVK+qBBx6Qm5ubPD09M+3btGlTxcTE6NNPP9XgwYP1+uuvW9ULRyoBAAAKqJIlS+rMmTNKSkqSJMXExOj48eNKSkqSn5+fnJ2dlZiYqFOnTmU5R2hoqO677z6reyFUAgAAFFBLly7VPffcoz179mjUqFFq1KiRJOnkyZPy8vLShAkTsp2jTZs22rZtm9W9ECqz8PjjrbRkwSSFLpmlXs/3kJMTVwoAyD8cHR311FPPaMaMlZoyJURt27a3d0sA7CAhIUEPPfSQ+vTpo9OnT2vmzJnq2bOn5syZo2bNmunixYsaPny4JGnUqFFq3bp1+r4rVqxQRESEvLy8NGTIkFzpx+T3Cg8Pt+l6P4383MRGfG/MwvuMmRdgLqwbZEJD5htHR0e7fxYURVEWi8XMmBFiPvjgvCld2phy5YwZPjzOjBw5xe69UdTdVJMmTbJ7D/+uTp06md9//90cOHDASDIODg5m/vz55v333zfr16837u7uRpI5cOCA8fb2ztF7zCqXcaTyXypVqqQOTSuq6M5XpPN/S4nHVHjfENUosk0dOrSzd3sAoBYtWurIkTr66CMPHTkiHTggvfFGERUv3kLVq1e3d3sAbKhSpUoZroesWbOm9u/fL4vFoiZNmig1NVV9+vTR66+/rs2bN+vixYt51guh8l+CH28u37iZmca9Ts3QM51b2aEjAMioVavumj69aKbxGTNKqFWrJ+zQEQB78fDw0MSJE7Vjxw5FRkaqatWq+uCDD9SpUyd9+umnioiI0C+//KJXX31VQUFB6tSpU571kmcXCo4dO1Zt2rTRqVOn9OCDD0qSvvjiC7Vt21ZJSUnat2+fnn/+eZ07dy6vWsiRuHPnddnBW4X+vcGluGLjztujJQDIID4+Rt7emceLF7+i+Piztm8IgN1s3rxZ9evXzzQeExOTaXz69OnpP5crVy7Xe8mzI5UTJkxQq1YZj+yFhISoWrVqqlGjhqKiojRo0KC8Wj7H5s77RbG+z0pO1z3PyeKgM/e8pW9+nGy/xgDgH1On/qCBA0/p+vsH3d2lPn1iNHv2VPs1BuCulmdHKlevXq0yZcpkGAsJCUn/ed26dercuXNeLZ9j8fHx6vnKuxo/apm8YubL2SQo1ruzvvhumiIjI+3dHgAoKipK06a9r5UrP9Ts2UXl4pKqTp3O6eOPX1ZMTIy92wNwl7Lbc3J69eqlmTMzX7t4Ve/evdWnTx9Jko+Pj63akiQtXbpcFR5srJYtW8rV1VUhIR119iynlADkH5Mm/aSFC2eqefPmSk5O1qOPLsnTC/ABIDt2CZWDBw9WcnKypk7N+jTN6NGjNXr0aElSeHi4rVpLd+nSJS1YsMDm6wLArYqLi9Ps2bPt3QYASLJDqHz22WfVpk0bNWvWzNZLAwAAII/YNFS2bNlSb7/9tho3bqzExERbLg0AAIA8lGd3f0+bNk1r165V5cqVFR0drV69eum7776Tp6enQkJCFBERoR9++CGvlgcAALjjJScnKyIiQlu2bNGmTZtUt25du/WSZ0cqu3fvnmls3LhxebUcAADAXScxMVG1atWSJLVo0UJDhgxRkyZN7NIL36gDAABgE90kHZCU8s+/3XJ1di8vL8XGxubqnLfDbo8UAgAAuHt0kzRaUuF/fi/7z++SNP1GO9wSNzc3RUREyNXVVSVLltSjjz5qVZfW4EglAABAnvtM1wLlVYX/Gc+5q6e/77//frVq1UqTJk2yaj5rECoBAADy3L23OX771q1bJx8fH5UoUSLX5rwdhEoAAIA8d/g2x29f5cqV5ejoaLeva+WaSgAAgDw3WBmvqZSkhH/Gc+7qNZWSZLFY1LNnT6Wmplo1Z04RKgEAAPLc1ZtxPlPaKe/DSguUOb9JR5KcnPJPlMs/nQAAANzRpsvaEJmfcU0lAAAArEaoBAAAgNUIlQAAALAaoRIAAABWI1QCAADAaoRKAACAAio5OVkRERHasmWLNm3apLp160qSypQpo4sXL6ZvCwsLU6VKlSRJjRs3VlxcnCIiIhQZGamQkJBc+RYeQiUAAEABdfW7v2vWrKlBgwZpyJAh6dv27duXvm3ixIkaPPjag9ZXr16tWrVqqUaNGgoPD1e/fv2s7oVQCQAAYAPd6kkHRkgpU9L+7VYvd+f38vJSbGzsbW/z9PTMctvt4OHnAAAAeaxbPWn0i1LhQmm/ly2R9rskTf8r5/Ne/ZpGV1dXlSxZUo8++mj6tgoVKigiIkKenp5yd3fXI488kr6tYcOGioiIkLe3txISEjIcxcwpjlQCAADksc+6XguUVxUulDZujaunv++//361atVKkyZNSt929fT3fffdpwEDBujnn39O33b19Pe9996r8ePH64svvrCuEREqAQAA8ty9PlmMe+feGuvWrZOPj88Nb7pZuHChGjVqdMP9brbtdhAqAQAA8tjhM1mMx+TeGpUrV5ajo6NiYjJP2qBBA+3bt++G+91s2+3gmkoAAIA8NnhWxmsqJSnhctq4Na5eUylJFotFPXv2VGpqqqRr11RaLBYlJSXpxRdfTN/v6jWVFotF586dy7AtpwiVAAAAeezqzTifdU075X04Ji1QWnOTjiQ5Od04yh06dEju7u433LZq1SoVLVrUuoVv1EuuzwgAAIBMpv9lfYjMz7imEgAAAFYjVAIAAOSAMUaOjo72biPPODo6yhhzy68nVAIAAOTAwYMHFRwcfEcGS0dHRwUHB+vgwYO3vA/XVAIAAOTAiBEjNGDAAHXq1EkWi8Xe7eQqY4wOHjyoESNG3PI+hEoAAIAciI2N1QcffGDvNvINTn8DAADAaoRKAAAAWI1QiTtCmzbB+m3OOP02Z5zatAm2dzsAANx1uKYSBd7MyT+qRdVEFT32uSSp/kd9taRrGz317Mt27gwAgLsHRypRoAUFBalZNScV3f2GFL9Hit+jorvf0GPVC+nhhx+2d3sAANw1CJUo0Lp1bi3vmKmZxr3PTFH3LpwGBwDAVgiVKNDOnU9QiqNXpvEUpyI6F59gh44AALg7ESpRoI2dMEMxAf0ly3WXBzs4KybgNY2dOMN+jQEAcJchVKJAO3TokN4dOk4nAlcoqdzLSir/ik7U+VODPhujw4cP27s9AADuGtz9jQJvzPipmvvL7woObi1JWrSonWJjY+3cFQAAdxdCJe4IsbGxmjIl8w07AADANjj9DQAAAKsRKgEAAGA1QiUAAACsRqgEAACA1QiVAAAAsBqhEgAAAFYjVAIAAMBqhEoAAABYjVAJAAAAq+VZqBw7dqxOnjypbdu2pY8VK1ZMS5cuVVRUlJYuXaqiRYvm1fIAAACwoTwLlRMmTFCrVq0yjL3zzjtavny5KlWqpOXLl+udd97Jq+UBAABgQ3kWKlevXq2zZ89mGGvfvr0mTpwoSZo4caI6dOiQV8sDAADAhpxsuZifn59OnDghSTpx4oR8fX2zfG3v3r3Vp08fSZKPj49N+gMAAEDO5NsbdUaPHq3AwEAFBgbqzJkz9m4HAAAAN2HTUHny5En5+/tLkvz9/XXq1ClbLg8AAIA8YtNQuXDhQvXs2VOS1LNnTy1YsMCWywMAACCP5FmonDZtmtauXavKlSsrOjpavXr10tChQ9W8eXNFRUWpefPmGjp0aF4tDwAAABvKsxt1unfvfsPxxx57LK+WBAAAgJ3k2xt1AAAAUHAQKgEAAGA1QiUAAACsRqgEAACA1QiVAAAAsBqhEgAAAFYjVAIAAMBqhEoAAABYjVAJAAAAqxEqAQAAYDVCJQAAAKxGqAQAAIDVCJUAAACwGqESAAAAViNUAgAAwGqESgAAAFiNUAkAAACrESoBAABgNUIlAAAArEaoBAAAgNUIlQAAALAaoRIAAABWI1QCAADAaoRKAAAAWI1QCQAAAKsRKgEAAGA1QiUAAACsRqgEAACA1QiVAAAAsBqhEgAAAFYjVAIAAMBqhEoAAABYjVAJAAAAqxEqAQAAYDVCJQAAAKxGqAQAAIDVCJUAAACwGqESAAAAViNUAgAAwGqESgAAAFiNUAkAAACrESoBAABgNUIlAAAArEaoBAAAgNUIlQAAALAaoRIAAABWI1SiwClVqpS+G/6pNoQu1Lgfv1aFChXs3RIAAHc9QiUKlKpVq2rDitnqW321Ak88o+crLNSaxeNUv349e7cGAMBdzS6hcsCAAdq+fbu2bdumadOmqVChQvZoI1sPP/ywXn65v4KDg+Xo6GjvdiDp55GfKGB3Tzme+EO6Ei+dWiX/rZ3187f/s3drAADc1WweKgMCAtS/f3/VqVNHDz74oBwdHfXUU0/Zuo2bKlSokObNC1WvXosUE/ONAgOnKTR0j8qUKWPv1u565UqXkM7vzTh4+bSKFUqUl5eXfZoCAAByssuiTk5yc3PTlStX5O7urmPHjtmjjSy9/fYn+vXXhzV+/NUjqF6aNctL338/R8HBgXbt7W6XKidJFkkm4wYnD12+fNkeLQEAANnhSOWxY8f01Vdf6fDhwzp+/LjOnTunkJCQTK/r3bu3wsPDFR4eLh8fH5v22KJFZ02alPGU/M6dUlJSafn5+dm0F2T0+9JQXS7VPcNYiu9j2rTjIKESAAA7snmoLFq0qNq3b69y5copICBAhQsX1tNPP53pdaNHj1ZgYKACAwN15swZG3fpoJSUzKMJCZKrq6uNe8H1Xv/PB1p7qYNOPTBRV8q9pNNVflSE20D1eGGAvVsDAOCuZvNQ+dhjj+nAgQM6c+aMkpOTNW/ePNWrl7/u3N26dZ0aN07NMFasmFSmTIIOHTpkp64gSZcuXVLTVl3U7Jkv9ey359T6pTEKbNBacXFx9m4NAIC7ms2vqTx8+LCCgoLk5uamxMRENWvWTBs3brR1Gzf18ceva968QI0ZE6DlywupatUUDRp0WoMHv2Dv1vCP7du3a/v27fZuAwAA/MPmRyo3bNigOXPmaPPmzdq2bZscHBz0888/27qNmzpx4oRatqwhd/f39NFHfygoaKSeeeYRrV69yt6tAQAA5Es3uI02/wkPD1dgIHddAwAA2FtWuYxv1AEAAIDVCJUAAACwGqESAAAAViNUAgAAwGqESgAAAFiNUAkAAACrESoBAABgNUIlAAAArEaoBAAAgNUIlQAAALAaoRIAAABWI1QCAADAaoRKAAAAWI1QCQAAAKsRKgEAAGA1QiUAAACsRqgEAACA1QiVAAAAsBqhEgAAAFZzupUXVa9eXQ0bNpQkrV69Wlu3bs3TpgAAAFCwZHuksn///po6dap8fX3l6+urKVOm6NVXX7VFbwAAAChAzM0qMjLSuLu7p//u7u5uIiMjb7pPbld4eLhN16MoiqIoiqJuXFnlsmyPVFosFqWkpKT/npKSIovFkt1uAAAAuItke03l+PHjtX79es2fP1+S1KFDB40dOzbPGwMAAEDBkW2oHD58uFauXKkGDRrIYrHo+eef15YtW2zRGwAAAAqILEOlp6enzp8/r2LFiungwYM6ePBg+rZixYopNjbWFv0BAACgAMgyVE6bNk1t27bVpk2bZIxJH7dYLDLGqEKFCjZpEAAAAPlflqGybdu2kqTy5cvbrBkAAAAUTNne/b1s2bJbGgMAAMDdK8sjlYUKFZK7u7t8fHxUtGjR9McIeXl5KSAgwGYNAgAAIP/LMlS+9NJLGjBggAICArRp06b0UBkfH69Ro0bZrEEAAADkfxalPQU9S6+++qq+++47G7VzY+Hh4QoMDLRrDwAAAMg6l2X7nMrvvvtODzzwgKpWrSpXV9f08cmTJ+duhwAAACiwsg2V77//vpo0aaKqVavq999/1+OPP641a9YQKgEAAJAu27u/O3furGbNmunEiRPq1auXatSooUKFCtmiNwAAABQQ2YbKxMREGWOUnJwsT09PnTp1imdXAgAAIINsT39v3LhRRYoU0ejRo7Vp0yZduHBBGzZssEVvAAAAKCCyvfu7dOnSOnLkiCSpTJky8vLy0rZt22zRWzru/gYAAMgfsspl2Z7+/uWXX9J/PnTokM0DJQAAAPK/bEPlunXrVKdOHVv0AgAAgAIq22sqmzZtqpdeekmHDh1SQkKCLBaLjDGqUaOGLfoDAABAAZBtqHz88cdt0QcAAAAKsGxD5eHDh23RBwAAAAqwbK+pBAAAALJDqAQAAIDVsg2VQ4cOvaUxAAAA3L2yDZXNmzfPNMbNOwAAALheljfq9O3bV6+88orKly+vyMjI9HFPT0+FhYXZpDkAAAAUDFmGymnTpmnx4sUaMmSI3nnnnfTx8+fPKzY21qpFixQpojFjxqhatWoyxqhXr15at26dVXMCAADAfrIMlfHx8YqPj1f37t3l4OAgPz8/OTk5ycPDQx4eHoqOjs7xot98843++OMPdenSRc7OznJ3d8/xXAAAALC/bJ9T2a9fP3344Yc6efKkUlNTJcmqb9Tx9PRUo0aN9Nxzz0mSrly5onPnzuVoLgAAAOQP2YbKAQMGqHLlyjp79myuLFi+fHmdPn1a48ePV40aNbRp0ya9/vrrunjxYobX9e7dW3369JEk+fj45Mraua148eLq0aOPypd/UFu2hGrGjElKTEy0d1sAAAA2l+3d39HR0bl6JNHJyUm1a9fWDz/8oNq1ayshISHDNZtXjR49WoGBgQoMDNSZM2dybf3cUr16dS1atFUxMR9p3Lju8vAYpmXLtsrPz8/erQEAANhctkcq9+/fr5UrV2rRokW6fPly+vjw4cNztOCRI0d05MgRbdiwQZI0Z86cG4bK/G7YsKnq2rWUrl5aGhnprq1by+vjj0fppZc627c5AAAAG8v2SOXhw4cVEhIiFxcXeXp6pldOnTx5UtHR0apUqZIkqVmzZtq5c2eO57MHHx8fJST46N/3Kq1a5aBq1R6xT1MAAAB2lO2Ryo8//liS5O7unum6x5x67bXXNHXqVLm4uGj//v16/vnnc2VeW0lJSZGjo7nhNovFxs0AAADkA9keqQwKCtKOHTu0a9cuSWnXEo4aNcqqRSMjIxUYGKgaNWqoY8eOiouLs2o+W4uNjZXFclRVqmQcb9s2WevXL7dPUwAAAHaU7ZHKESNGqGXLllq4cKEkaevWrWrUqFGeN5bfvfbak5o6dbnmzvXR1q0eatQoTnXrRqtjx/5Z7uPg4JD+WCYAAIA7SbZHKqW0m2uul5KSkifNFCT79+9XkyZVdORIXz300BCFhT2t5s1rKj4+PtNrK1asqHnz1mjlyqP6669jGjv2FxUvXtwOXQMAAOSNbI9URkdHq27dujLGyNnZWf37908/FX63u3z5smbMmHrT1xQvXlyTJi3X88/fo92708YefbSN5sxZpWbNqsuYG1+bCQAAUJBke6Syb9++6tevn0qVKqUjR46oZs2a6tevny16uyM899wr+u47v/RAKUl//umoDRtK6bHHHrNfYwAAALnopkcqHRwc1KNHDz3zzDO26ueOU7XqI1qwwCXT+Pr1xXT//bUUEhJih64AAABy102PVKampqp9+/a26uWOtHv3Rj388JVM44GBsdq9e4sdOgIAAMh92Z7+DgsL08iRI9WgQQPVqlUrvXBrxo//Tv37n9R9910ba9gwRXXrHucoJQAAuGNke6NOvXr1JF17CLokGWPUrFmzvOvqDhITE6Pnn2+ur7+eIC+vMnJ2Ntq3L0JduvTkJh0AAHDHuGmotFgs+uGHHzR79mxb9XNH2r17t9q3D5Kzs7NSU1N5JBMAALjj3PT0tzFGr776qq16ueNduXKFQAkAAO5I2V5TGRISojfffFOlS5dWsWLF0gsAAAC4KttrKnv16iVJGZ5NaYxRhQoV8q4rAAAAFCjZhsry5cvboo8Cx8Ul7dmTSUlJdu4EAADA/rINlT169Ljh+OTJk3O9mYKgXLlymjJmmMqVKiLJoqhDZ9TjxYGKjo62d2sAAAB2k22oDAwMTP/Z1dVVzZo10+bNm+/KUFm4cGGt+H2ayux7Qdq0U5JUslhNrfxjpqrWbqrLly/buUMAAAD7yDZU9u/fP8PvXl5ed2WglKSez3aT79lJ0rmd1wZjt8iv2Dx17fKEJk+Zbr/mAAAA7Cjbu7//7eLFi6pYsWJe9JLvPVS9ktzOb8w0XvjCRtWuXtkOHQEAAOQP2R6pXLhwYfo3vzg4OKhq1aqaNWtWnjeWH63buFNPVa8r95jwDOPnPYK0ftOOm+7bqFEjfTyon/xL+ils7SZ98OlwHTlyJC/bBQAAsJlsQ+VXX32V/nNycrIOHTqko0eP5mlT+dWUaTM1aOBylSseJp3dJElK9a6nE4XbaO68plnu17d3T33yRlt5731L2rFfFe9rppZ/zlGDFk/p4MGDNuoeAAAg72QZKitUqCA/Pz+FhoZmGG/QoIEKFSqk/fv353lz+U1iYqIatuii8T98oWqBZSRZFLH9b/Vq3klXrly54T4uLi56762X5R3eQDLJkiSHU8tVKjVBXw8ZrE7d+tjwHQAAAOSNLK+pHDFihM6fP59pPDExUSNGjMjTpvKzo0ePqkW7pxVQqYECKtVX8BM9dfLkySxfX6VKFTnFbUwPlOnOrFOtB6vkcbcAAAC2kWWoLFu2rLZt25ZpfNOmTSpbtmxe9nRHiYmJUaprQOYNTp66dPnGRzcBAAAKmixDpaura5Y7ubm55Ukzd6KjR4/qwBlHpRavm2E8vsK7+vanKXbqCgAAIHdlGSrDw8P14osvZhrv1auXNm3alKdN3Wnad31REV7v61TVCYov/65O1A7R1DWp+vHn8fZuDQAAIFdYJJkbbfD19dX8+fOVlJSUHiLr1KkjFxcXdezY8abXEea28PDwDN/sU1A98MADCggI0JYtW3T69Gl7twMAAHDbssplWd79ferUKdWvX19NmjRRtWrVJEmLFi3SihUr8q7LO9yOHTu0Y8fNn2cJAABQEGX7nMqVK1dq5cqVNmgFAAAABdVtf00jAAAA8G+ESgAAAFiNUAkAAACrESoBAABgNUIlAAAArEaoBAAAgNUIlQAAALAaoRIAAABWI1QCAADAaoRKAAAAWI1QCQAAAKsRKgEAAGA1QiUAAACsRqgEAACA1QiVAAAAsBqhEgAAAFYjVAIAAMBqTvZuAMgpi8WiZs2aKTAwSFu3RmjRokX2bgkAgLsWoRIFkq+vr5b8sVZl/ArJcmGvnN3a6YrzSD3SuJWioqLs3R4AAHcdQmUBUqpUKSUlJen06dP2bsXuxoyZp3uKJavYX4FS0tm0waI1tG7lb/IpXUWpqan2bRAAgLsM11QWAI88EqRVq/bo66/DNXp0pH7/faPKlStn77bsxtXVVbWqlVOxfa9fC5SSFBcpz7ilatasmf2aAwDgLmW3I5UODg7auHGjjh49qrZt29qrjXyvZMmSGjZsnjp0KKmrByirVCmpqVOXqVGjykpOTrZvg3bg7OwsV+crcji/PdM2p9i/VKF8WYXYoS8AAO5mdjtS+frrr2vXrl32Wr7A6NXrdX31la+uP+O9e7e0aFEJtWnTzn6N2dH58+cVdyFFSd7NM2275NtBGzdF2KErAADubnYJlaVKlVJwcLDGjBljj+ULlDJl7teOHY6Zxnfs8FSZMpXs0FH+8MJLz8s8+JHkE5Q2YHFQavk+2nbCQxs3brRvcwAA3IXsEipHjBiht95666Y3U/Tu3Vvh4eEKDw+Xj4+PDbvLXzZv/lNNm17KNN60aYw2bw6zQ0f5Q2hoqOo/1lG7fIcp4bFdim0UqZ/DK6jhYx3t3RoAAHctY8sKDg42o0aNMpJM48aNza+//prtPuHh4TbtMT+Vh4eHCQv72zRpkmIkYxwcjOne/bJZtGi93XujKIqiKOruq6xymc2PVNavX1/t2rXTgQMHNGPGDD366KOaPHmyrdsoMC5cuKAnnqivrl3naM2aaIWGHlLVqj+rc+cm9m4NAAAgA7slXY5UUhRFURRFFazKN0cqAQAAcOex6zfqrFq1SqtWrbJnCwAAAMgFHKkEAACA1QiVAAAAsBqhEgAAAFYjVAIAAMBqhEoAAABYjVAJAAAAqxEqAQAAYDVCZT5gsVhUpUoVlS1b1t6tAAAA5IhdH34O6bFmTTV65KdyS9wpORXWmSu+6titr/bu3Wvv1gAAAG4ZodJK5cqVk6urq3bv3i1jzG3te++992ryDx/Kf8vj0pVzkiQ/j/JaunCqKlVvpCtXruRFywAAALmO0985VLFiRS1fvl2ffPKX3nhjhcLC9qtZsxa3NceAfr1UInpoeqCUJF3YL+9zC9W2bZtc7hgAACDvcKQyB5ydnTVp0lI9/XRZ7d+fNublJS1cOEn79h8voLsAACAASURBVAXp4MGDtzRPxfKl5XhhcqZxz6QolS9bOhc7BgAAyFscqcyB4OA2+vVX7/RAKUnx8dLQoSXUq9cbtzzPkhXrleiT+ejmGY8WCl2zPjdavS0BAQHq1KmTGjZsKIvFYvP1AQBAwUWozIFSpcpq717PTONRUQ4qXfq+W55n3ISpOuLZXSklW6cNODjrUpmXtP20tzZs2JBb7d6Szz//SWPGbFKpUlPUocMvCg3do/Lly9u0BwAAUHARKnNg/frVatHidKbxFi0StX79klue5+LFi6rbtIPG726qAzVX6+8HlumrkKJq2bZ7brabre7de8rR8Sm1bu2vb7911ZtvFtcLL1TU2LG/2rQPAABQsJn8XuHh4Xbv4d81a9Zy88orF42LizEWizGtWyebNWuiTOHChe3e2+3W4sURpnhxY6SMNWbMSVOtWjW790dRFEVRVP6prHIZRypzYMBrL6lWFUd9OmiPTh4+qE2bjqpJk/Fq376uEhIS7N3ebXN3L6y4uMzjp087qWjRorZvCAAAFDiEyts08uv/6aNn79V9Ox9X0dBaKrqhhQI8D2j8+GGKiYmxd3s5smbNUgUHp2QYc3KSGjW6pI0bN9qpKwAAUJAQKm9D0aJF1Sm4vryi3pVSEtMGz++V397X9MXH/7Fvc1YYPvxDDRp0SN26XZGHh/TAA9KsWTEaM+YzXbp0yd7tAQCAAoDnVN6GKlWqyCXuBo/6id2iKg8W3Dulz5w5o9atH1Lfvm9q5szWOnnyuL788lOtXbvW3q0BAIACglB5G44cOaIrhatk3uBeWqfPxNq+oVwUFxenoUPf09Ch7932vrVq1VKVKlW0e/duRURE5EF3AAAgvyNU3oYjR45o28FEefu3lfOJfx634+Css5WG6f3Xv7Nvc3bg4eGhJQunqmKxMyqWuF6xrv309zlftWjbXRcuXLB3ewAAwIa4pvI2dXyqt/44+4SO1w7RifsnKLpWqN7+aoGWLVtu79Zs7ueRQxVoxqnEzhfkdOBnldj1ouqkjtHoUZ/buzUAAGBjHKm8TQkJCWrX5Xk9+OCDqlChgpYvX67z58/neD5/f3891+NJFS/mpdnz/1B4eHgudpt3LBaLGtevLefwVzOMO59YqMZ135HFYpExxk7dAQAAW+NI5W3y9vZW2J+/aOmU9zR6UD3t3vi73n379RzN1aVTe20JnaX/tTmp/zyyTr+P7qs500YXiO/ddnBwkIO5fOONqZfk6Oho24YAAIBdcaTyNi2cPVaPJH0lx+1r/hmx6K0e43T5ygANG/GtUlNTb2keDw8PfTP0HfltaiqlpD22x+dEiB6r/IWeeKKD5s6dn0fvIHekpKTo2JlE+bvfI12MvrbBvbROxFxScnKy/ZoDAAA2x5HK21C2bFmV974sx5g1140aee15W58N7qUDO8PUokWzW5qrefPmKnJmbnqgvKrIkVF6pVeXXOw677z46rs6/sB0pfo1l5yLKNWvuY4/MEMvvvZfe7cGAABsjFB5G/z9/eV86UDmDZdOydnZVfd6nNGUn4aoVKlS2c7l4OAgi1IybzApcnC4+Z/FQ1IPSf/551+PW2k+D0RERKhu86c1emczbfCbpNG7mqlu86e1efPmXJnfzc1NQUFBqlixYq7Ml52AgAD9952BGvb5B6pbt65N1gQA4E5i9y8mz66y+uJyW5eHh4c5tifUmKkWY6bqWi2pZ0zU98YsetCknt1ihvzvv9nO5eXlZY7vDTNmukuGuc5t+J/p9lTXG+5TrGhR876Li0mQTLxkkv75N0Eyb+eDzyc3a8BrfczRqDBzZv3n5sSWKWbzX3+YgICAPFvvqS4dzYm9oebKqq7GLGtmzkSMNr/MHGcsFovdPwuKoiiKyk+VVS7jSOVtuHDhgn6etEBxD/woFfJJG/QJkmp/Je38UorbJsvhWWrY4JFs54qPj9c7H32rU7UXKyWgrVSivs5WGamwo+U0c9acDK+tWbOmQkK2Kqzdy3rf4ih3SZ6SnP/5113Se5Lezt23azePPtpU773UVAEbG8r777flt+MZ1Yp9W4vnT8yT9Tw8PDTss7fkt7G5nI7Mkk4ul/fO3mpa4aS6dH4iT9YEAOBOQ6i8TR9++rVe+mSJztdfJbVYK5XrKYU9LSUcSHvB2c06ffrsLc01ccpMPdyil75Y/aB+3tNWTwyco9Ydn8lws4+vr6++/36R+j1bVmUmjZDj5cQbzlVYacGy8HX7ubm55fyN2tH7b/VV8b8HSea6m57iIuXvdEA1a9bM9fXSr29NzXg3u1f093q5gFzfCgCAvXH39y1ycnLSQw89pEuXLmnWnHny9fXWiOfc5bj3mwyvS/Fvpb9+3ypnZ2dduXJFklS9enV16PCsUlKSNXv2OEVFRaW//tChQxr8/mdZrvv8869q+HBfPXJ8mlJ088f0pEr6uGYdBY2apWPHXFWihLRnT5jeeKOnLl68mPM3b2N+vr7S7sOZxl2TDsjf3z/X10t7hJO5wRYjhwLweCcAAPIDjlTegrZtn9Dq1QfUpctv6tt3qdas+Vvhm7bqsMeTaae//2EC2ii+aFf5+Q9SaOgBderUTR9//I3++9/lWrfuTW3Z8raGDVuj/v0H3/LaFSpUV2Skk/x1Qq66dNPXukpqXau1mjcvpy5dSqpJk5L64492Gjt2QfprfHx89PTTT6tr167y9PS87c/ien5+fnJ3d7dqjhtZvuovpfi3yjReqPyTeu+9cVq1aq+effalXFsvJCRE8T6dJAeXDOPnS7+kH8fPyWIvAADwb3a/4DO7sueNOvfdd59ZvvykcXMzRkqrUqWMWb8+2pQrV878NneCORoVZi6f3WcWzDpjihZNe02hQsYsX37W/PZbbPp+kjEWizGLF5805cqVu6X1X331P6ZXr0umhyaaeHmYDJP9q5Jc3cz/+U3KtGnu3OOmTJkypk+fAWblyhPm5ZeTzIABiWbt2uOmbdsnbvsz6dihjTmw8y9zLHKWObZ7hfll5ljj4eGRa5+5n5+fObR7rTHLmqXdwDS7uEnaPdb8+G3aZ+nubsyoUbGmX7+3cm3NZ7p3MSejVpjklR2NWdrQxGweZRbNn2wcHBzs9n+PoiiKovJj3SSX2b85K5rP8/r00+/MY4+lGP0rqP3nPxdMly5PGkmmTZs25r334jO9pkEDY6ZMyZz/OnVKMQMHvntL63t5eZm1aw+axrXjTYLcbhoqkwu5msI6n2nThx+eNc8995z57bdTxsHh2ribmzFhYceNt7f3LX8eDz/8sDm9Z7ExMwun37GetLytWfHH7Fz93AMCAsz4n4aZvVtXmXMn95mXX7qc4T05Ohqzbt0R4+TklGtr3nPPPebjD94234/41DRq1Mhu/+coiqIoKj8Xd3/nkJ9fGR06lPljOniwsPz8SkuS/P0DdPBg5lPJBw9KxYpZt358fLy6dm2oXq+v0amXXleq241PN19xcdP2Dt1V5aHMT60MCrqsWrUa6+uvS+j6L/xJTJTGjPFWp07dbrmfT/7bXz5Rb0jJCeljzid+1f0BRhUqVLj1N5aNY8eO6fmXBqpi9caK2OWiH37KeGo6JUU6cMBBJUqUyLU1o6Oj9f5Hn+uVAe8qNDQ01+YFAOBuQKjMxqZNIXrqqcw3ubRpc1pr1iyXJO3cuV0dO57O9Jp27S7L2zvjdZAWi/Tii2c0f/60W+4hOjpaPXu2Vrmfhmpbu25KtLjpvDyUJCedl4cuyk3HevVXjx0bNHz4SZUpk7afk5P0f/+XoKioZZJcFBeXee64OGd5eBS55V7K3Ftait+dadw1YavKlSt3y/PcnosqXDjz6L33Gp09e2t32gMAgLxFqPyXihUrqnHjxqpUqZJmz16pDh0GqUkTZ0VEGDVpIhUuLL39doIslg0yxmhb+DLN+ek/ahkYpSN/H9ODD0qOjlLnzsnq2zdeycnS7NlSixZScLC0alWq9u0L0YEDB3LUX/dtaxW5JFJflfte/9Wneq/49/pj4i69lxCrbdu3a8CA1vr22/UKDT2qVasOyWL5WgMG9NTixVPUvXvmVNmt2yktXjzvlteP3L5L8s78HM5Er7rasWNHjt5TdkaP/lxffx0rx+tufn/zzQT9+edcXb58OesdAQCATdn93Hx2ZYtrKosXL27WrlxoTmyZas6u/chcOrXVTJt47Sab4sWN2bYt2URFnTBDhw4zJUqUMEej1hozr9S1b8T5tYq5GHPIhIbuNR9+OMxs2HDEODgYU726MR98YMy77xrz8MPGhIRss6rXihUrmp9/nmtWrtxr5s0LM48+2izbfSwWi5k+fYn55JN4U66cMVWqGPPDD2fNl1+Ovq21K1WqZI7vXWPMgvJp73mak7nw10AzfcKoPP379O37plm3LtrMmHHMhIUdNR9//A030VAURVGUHSqrXJbVA/rylfDwcAUGBubpGqtD5qluyjA5xqxJHztXZbQGjuyhcRMKSZKaNTPq18+i+PiLCqoTrXJn/yeX6KkZ5rlc+V2NWukl32Kuql2ni1q3K6lDhzKutXLlUTVpUjpP38+NODg46Iknuqh9+xd05UqSZsz4VkuXLr3teWrUqKEfhn+oewO8lZzqqMkzFuiDT77K8ND2vODo6CgfHx/FxsYqKSkpT9cCAAA3llUu4+HnkgICAnSfv+S4dU2G8SL73tQbr7TWuAkBkqTISItSUqTnnnPX2hXFVPni1kxzFYrfpNefeU+OW9+SiVupDSH/0/99VEGTp7pK0j/XBiZk2s8WUlNTNXfuLMXEnFLFilWUkJCzPiIjI1Xv0Y653F32UlJSdPLkSZuvCwAAssc1lZJKlCghh8QjmTdciVdh9+T0Xxs3lrZsSft54owiSvFrmWkXU6qNHF08pPK9ZDm3Q76bauuLj47LwyPtxplhw2I1evTnefVWbsrb21vLlm1VcPAcnT//vZ56aoEWLw63+iHoAAAAUj44N59d5fU1lS4uLmnXR05zvHZ95FQZ80eg+WXmaSMZU7OmMWvXGlOiRNo1lu7uxlyKO2ZSQxqnvz511RPGnFhpTEgTY06GGhO73ZgzG0zK4YUmLOysWbv2sOnTZ0D6ul5eXqZ792fMCy/0MaVKlcrzz3Hy5MWmYcNko+ue99i2bZIZOXKq3f/GFEVRFEUVjOI5lTeRlJSkocPH6Gz1yZL7PWmDJRrqfI0JqlzdWXv2GA0aJHXvLp3+58lBFStKW3YnKub+STpa54BSgvfL4ttA2v6RVO1daU1n6fdq0tJ6ssRull/xQ+rWrZF+/nmEJOnxx9tpyZI98vYeoypVvtfvv0dpwYLVKnP1eUC5zMXFRffeW0OrV2f8/vBff3VWnTpN8mRNAABw9yBU/mPkD2P11BvjFOY5QnurrdLUI130YFBr1a1bVklJMSpdWrr/fikgQHrySWnevBT169dVP47/Rd+OLaWYvRukzQOliq9IG16SLp1Km9gky7L9QxV3c9XkyRvUseOT8vLy0vvv/6SWLf3VqFEhWSyO6tPHXePG1dfkyZtv62Hkt8rJyUmXL1tuuC0l5cbjAAAAt4obda4TErJMISHLMo337t1O3303Q4MG+cjV1UkeHhf12ms9tGnTJu3evVuLFjWVu29ZKUpSoRLShf2Z5rDEbtQnnzyjDz8cpmLFPDV5cjF17Cht3iwNGZL+Kv3xR3GtXPm1Fi9eoIsXMz90PacuXrwoY07qnnv8FR19bfz++6UTJ/7OtXUAAMDdiVB5A66urhrxxYdq06qJHHRFR07E6cUX2ys1NVUWi0Vbt26VMUaSlJCQoEcframobWEq7N9SlivnJPfS0sWMN/44etfQ4MFSXJy3atSoqY0bndW5s/TCCxnXvnxZWrjQQ02bNtWiRYty9X29/fZzmjFjkT7/3E+bNzuqbt1kDRx4Qj17vpir6wAAgLsPp79v4Le5E/RcjR0qFR6kkuENFXj2Nf0+e5Ti4+MVGRmZHiivSk1N1dSZC2R54G3Juaj0yFjJ8dp3dCdX6KfFqwLUuLH0998ucnQspG7dTislRRm+JeYqJyeTJ8983LJlizp3rqOaNUdoyJBlqlDhc7VrV1tRUVG5vhYAALj72PSOodKlS5s///zT7Ny502zfvt30798/x3cZ5UXVqFHDnNk+M+2O7rn+xuyfZMzpv0xqzEZzOGqD8ff3v+F+bdoEm7j1Hxkzv7Qxm//PmNN/GRP9i0mN2Ww2hZ00zs5pd1sXKWJMSMh2M3jwULNyZbz59NNrd2JLxhQubMy6dUdNoUKF7H53F0VRFEVR1L/rJrnMto34+/ubWrVqGUnGw8PD7Nmzx9x///05bT5Xa9CgIWb37hiTvOFNY6YXMuZUmDFLgq49MmhJPbN32xrj4uKSaV9HR0ezJ3K1Sfk98NojiRY9aI5EHTI+PhmDY2joPiPJ1K9f32zceMRMn37ZtGxpTI8el01Y2HHTsmVwlj3ec889ZtSoGSY0dL9ZtmyHeeGFV6x6z25ubmbI/941e7euMn9vCzXDv/jIeHh42P0/LEVRFEVR+bPyzSOFTpw4oYiICEnShQsXtGvXLpUqVcrWbWTyyiv/kZfXK+rSpbhinJtK93aSoudJZ9alv8Zy5i/5n/9FT3btlGn/lJQUNW7ZRWtdBiup+TbF149QwiNLFdzlXp05c+119epJ27dvlCQdOXJEEeunqdb9azXko1Ddd9/Xat/+QS1ZcuNrKf39/TVrVpimT39SjRqVU4cOVVW27FB9+eXoHL1ni8WilUvm6I3GR3Xf9maqsK2J+j2yS2F//iInJ+svt/X09NTU8SN1dO9aHYtarbA/56tKlSpWzwsAAPInuyXdMmXKmEOHDhlPT89M23r37m3Cw8NNeHi4OXDgQJ73EhZ2wLi4pB1J/OvPUyZ53zRjltTN+DD0qTJmaX0TtmKJWbkyyoSG7jNDh/5oihUrlj7PuHELTNOmaaexe/UyZuZMY8qWNcZiMeaxx1LM2rXRpkyZMqZGjRrm2N4wkxLSzJgZbsYsbWBORK0y9erVzbLHTz/9zrRunfHh5ZIxixcfNyVLlrzt99yiRQtzdsPnmd7juXXvmS6dn7D6M92wepFJ+rPdtbkXVjRHotYaPz8/u/2foyiKoijKuso3RyqvKly4sObOnasBAwbo/PnzmbaPHj1agYGBCgwM1JnrD/XlkeTkQkpKSvu5ZfsSijzVUqk+9TO/rng97Y+urxYtKqpx4/IKC3tRS5Zs1H333SdJqlz5Ia1YISUkSOPGSYsXS/PnXtaxo0nq1GmWOncO0qFDhzR65CcqueNpOZxaLqUkSqfXyG9bF/387f+y7DEoqKmWLs18Z8/y5Z566KGHbvs9t3w0SMXil2Qa94r7Q483q3vb810vKChI5dwPyvn4wmuD5/fK78jnGvhab6vmBgAA+Y9dQqWTk5Pmzp2rqVOnav78+fZoIZPk5FgVL5728/nzUoNHi+tI4YFSkQeuvahINSXe0199XiqspCQpMFD6z38cdfRoWY0YsVHLlm2Ts/O108ZTxp3V5wP/VM2Lz6rEsXfVoUUFlS9XVpJ0j39RKeFgxiYunVJx92S5u7vrRo4dO6J/smsGFSte1NGjR2/7Pe87eEyXXCtmGr/iVlF/H7j9+a5XrdoD8rm0NtO4U+w6PVz7gRvsAQAACjK7PKdy7Nix2rVrl4YPH26P5W/oiy/e0sSJE9S7t49OnJDc3KSI3W66VO5ned53SRZZdDGlsL78oLQSEyVfX2nECKlDB+nUKQdJRVS+fBEtXpygxx9PkZenUZvqs1VkW19JkqMkf5exmjp2sco/0ECpFucbN+LkoaSrh0z/5fvvP9SQIbXVtauPrlxJG3voIal8+ePp16nejslTZ2rwwBCVOrlAunQibbCQt84EvKqfx7W77fmut3v3HsUU6ixvTckwnlL0IW3ZxCOMAAC409g8VNavX1/PPvustm7dmh6EBg8erMWLF9u6lQyWLFmkpKRuGjv2c7m7e+vKlfP67rsPtXDhXLm5uSk1NVVt27ZXhQpjJXno2Welb76RTp26Nsf+/dKkSRZ98slxlfCUimz7MOMiSbHyjAtR48aN9XvIavWo2k2Fjk5P33zFL1h/he9QcnLyDXtcu3at5sx5R6GhH2rjRhf5+6fK1fWwevRon6P3fP78ebV98mXNmjhbnsl7JZOiBNeq6tHzTasvOVizZo2OpHygoiWayvH0irRB99I6dc9gffVsV6vmBgAA+Y/NQ2VYWJgslvz5XdMrVizTihXXrk2sXLmytqxbqnKliivV4qg16yLlXyZWM2d66N57paVLM8+xaZO7jBmh/n3aSimZv2bR0VyUq6urXhv4nirMn6QHHghWkYtrdc7tIe2L9dbzfZ+5aY9Tp47VrFmTVLVqVZ09e1bR13/nYg5ERESoYvWGqly5shwcHLRr1y6r5rte01ZdNfHnYapT5yMp9ZJOxqbo+a79cnSqHgAA5G8Wpd2xk6+Fh4crMDDQpmuWKFFC+7evlsf6ttL5vZIk499Kh0t/ogPH3OXoGKDffvPUF19kvCz1yy/PqkaNg7pyqYIe9flUrge+vLbRwVnxjcJVqnIDXbhwQZJUtWpV1a5dW56entq1a5dWr16tlJQUm71PW3B2dpaTk5MSExPt3QoAALBSVrmMr2nMwo/fDZN71MfpgVKSLCf+UClF6pNPXlPfvvXUqdNhPf54WgB0cJC6d09So0antXNnOT3RpYi2pfxHF+4bInlVkXyb6HzdvxR3qYLeffda0Ax6uKa+eP9lDe3prXmft9CBnWGqV+/anddubm66//77VaRIEdu9+Vx25coVAiUAAHc4jlRm4eTBXfKNaCldPJxxw71d9V1EkF7rP1DFixfXe+8NU2BgE0lGK1b8qkKF3LRw4Ytas0ZycpK6dk5W1w4xcnJx1qHjxVWunOTmdlJduz4oHx8frZw/TL4R7aTUf+68KeStYzV+V8UaTfXft/urZ7c2cjy3TakeFRUaHqVnXxyQ5Y0813N2dtYTT3RV48YddObMUU2Y8K3279+f658TAAC4u3Ck8jbFJzoquVjmZzVeLNpcR4+dkqOjo9q376KKFaspLu60xoz5TB9++IZOnz4qP7+0o5fJydK0GU7q8JSfpswqrqgo6fJlad06N1WvXl1v9HtOvtFDrwVKSboco2Knp+mH777WK218FBDeQH5RL6vk5sfUrky4Ro/6Itve3dzc9Ntv61Shwo8aNaqz/vrrNY0Zs1bt23fOtc8HAADgeoTKf3FycpKDg4N+HjdJCRWHSh7l07el+DSTCWitkSNHavr0pfL3/1o9ejykZ5+to1KlhmvKlMWaNm20+vc/Ize3a3O6u0uvviqtWCF5eUmlSyfq6NGj8vMtLiUez9SDW8pxtX6srorsfS/j+JHxat6ottyun/wGXn75Tc2e/YA++8xDO3ZIf/zhoOBgX73zzgi5uLhY9wEBAADcgF2eU5kfValSRV98MUFeXmVUpIiTXF0L6Wicq1wahMkkxepSkotSHNz0/cgJaty4sY4erakhQwqn7//pp4U1cuRDqlChgr7+up9WrRqlZctKKCXFoscft+iPP6Qff5TGjElRx44HtXv3bs3+Zbma9u8kz/NDMvRyqkhHpV5OSPumnX+7GK1ixYrd9BrF4OBuat26UIaxxERpxQp3BQUFKTQ01LoPCwAA4F84UinJ29tb48eHaODAR/Tyy/6Ki/NR48aeatPGWdN/8VfUiSpyLuwlV0Wrb3ARzRjzmQJKZP66xLlzi+u11z7Q0qWL9MwzjVSt8nT17rFLAf4X1LDhBcXHn1RwcJieey5YkjRz9lztSW6kS2VfkZw8JFdfxVcequWbz+rYyTjJLSDjAhYnpbhX0MmTJ2/6fpKTk3WjA5Kurqny8fHRglljdXBHqKIiV+qtN1+Tg4ODAgMD1aFDB91zzz05/hxtxcHBQe3attHsKd9rzA9fqkaNGvZuCQAAKB98MXl2ldUXl+dW/d//fWC6dUsyFSoYs3atMX/9ZcyUKcaEhxtTp44xY3+IMRdD+xkzVemVEPGNeWvgBSOZ9HrqKWNmzbpstkbuMyf3rjIpyx835tfKJuGvN8zfO9aaihUrZlrb1dXVvPlGP7Nl3RKzbuUC83S3J40k07BBfXMqapkxv5RNW3OOt4nZNsn06/t8tu/nhRdeNoMHZ+zNx8eYjRujTfSetcYsrpM25wxXk7B+sDl+aJ8ZNeqUGTDgolm48Lj59tspxmKx2P3vfqNycHAwIYtmmrjwIcYsetCYpQ3M6R3zzVsD+9m9N4qiKIq6G+omucz+zVnRfK7UmDG/mjZtjFm92ph69YyxWIwZPdqY1q2NKVTImKNR+zIESjNVxkwvZA7sPGL0T2grXNiYNWuMKVnSmNOHjxgz0yPD66+s6moWzJlsmjRpYhwcHG6pr6CgR0zY8nnmwPaVJnLdH6ZTx3a3tJ+Dg4OZOPFXM27cKdO1qzE//HDJ7N59xsyfNcEkL2+V6b2c2bPB3HPPtQD63nvnTd++b9j9736jerJrZxO/4aOM72Gagzm+50/j6+tr9/4oiqIo6k6vrHIZp78l7doVrkGDUvXM/7d373E53v8fwF/dd4f77qTzQZEiVuQ055A5JTOHIZnzccOcGeO7zWYmmw2bsWE/h6FCzkQliU6iouisSeeTpFSq+/37o7lzu0Mkd837+Xi8H4+uz/W5rs/7vq57t8+uw+czEQgKAogAS8uqGXO0tQGlR+nyG0nKYG7yCK6uhDVrAD8/YN06wMQEoKzLQEWRTHXlNE/06tYPQ4YcRWBgEtq1ayezXltbG19+uQ4XLtzCsWNBGD58JEJCQmE/4GNYtuuHDj2GwPPYyVp9HolEgilTPkJ01Frs3HwLU7pugFnBJnw4uA+EWb5y9cV5J9GpU/Xy7E59UgAAIABJREFUzz9rYty4T2vV1ts2fcJwaKXvkS0kCfTzPODo6KiQnBhjjDHGz1QCAHbv3godHcLdu9VlKSnAe+8BublAucgSEDzzkKLIGCXlmujcWQlBQUDfvoCXF/D4MUBCDcgRqECgBIz7qBjN9IW4eO4MjI2NAQBaWlo4ffoq7t5dDicnW8yd2xNDhuzGmjWbXvszGRsb44u546Ad0A3iuG+gmbQOKnmXqwZif0ax6H2kPDUc56NHgLKymly9hqCs7DGgLP/2e6WSGGVlZQrIiDHGGGMAdyoBAPn5+SgpycHTU5Jv2wZs2ACoqQHfuuoh3+40IDKqWqnRAg/f98LOfYZQVQViY6vGnwSAW7cAJf0ugNhMpo1K64XQLvVHixsWMAtrDv3YWbge6AV1dXXMnLkAu3db4uBBFTx+DGRkAHPn6qBnTxeYmJi81meaNtkF+hnbZOcfj98Ken8TIBRJi8igJ9If90JkZHU1e3sgOjrstdqtb5v/OIj7zRbLFgrVcd9gHM6ePauYpBhjjDHGQwo9cfbsIcyYMQu7dlVdBbt2DYiIqEBk5GMkJQmhbNwJkuZXQZIKVJAIPn6mEGsIMHcucOgQcOQIkJgIfPQRUKqki9S2ntDNOwyN8jt4oD8JYqPWUPXtCJAEAKCU5Q0T7bY4deIshCoGGDFC/nXt06d10Lt3bxw5cqTGnNu3b482bdrg1q1buH37tsw6IwMdKD+Olt0g/xqUMi+g6INwFKcGQaJmhAflusjKFsLODoiPBwYPrsSqVelwdl76Bo7qm+fn54eDfgMwdtAxGOS7oVzQBPeNp2HOkrXS+dQZY4wx9vZxp/Jfa9cuw86dVnBy6oLgYE106lQMNbVYbN9+Et+vWgjNsFHA/XBAoIqKViswyGEBktP0sWOHEhwcgOHDgdatgQ4dgNjYWAwf3g+jRo3A3E8XoiKzO/rluQBUIdOmMOsslFVXoLxCFwsXAt99J5tT06YluHUrXy5XLS0tnD+xHy118tCk9BoKxCsRkyXG0FGTpeNXep70xeRBE6GfdUFm2/uVJnCesAApKSkoKChAdnY2unTpgkWLvoa5uQVCQy9i5Mj1Lx22SJE+X7wam1u1wsiPnPDgYREOHxmKgoICRafFGGOMvdN47u9nWFpawtbWFomJiYiLi0NSTAwsMpZDmHFapl5F/ytIuN8BSUmaqKwEiooAKyvA378CDx6sx4YNXwMAtm1zx8ABY9DsoStEcf+T2Udl09HYeGU3Vn2jhevXJRg0SIDc3Kp1FhaAu3sy7O1bQSKRyGx3+MCfGGFyCiqZ1Tk9NhuPv2Pex8w5y6RlZ479jb5mSdC8tx0gCYrMZyMkrz0GfTjuTR6yeiUUCiEWi/kqJGOMMfYMIyMj9O3bF/n5+fD395frL9QXnvu7lpKTk3HmzBmUlZVh8+Z9MDPRhjBb/o3pyrsnoaurAhWlPHRrl4pB719Dy6apGO+cgR07ql+wIRJgxkwhHplMB7Ssq3egZoAc8w34dbsWJBJg714JLl8uwOrVD7F5cy4OHkzC9Okfyn1BlJWVYd+tnUyHEgBU09zgNLC3TNlHo6dg3m/xCNb9A6EGu7Boxz0MGf7JGzhKgKGhITp37gxtbe03sr9nqaqq4q/tG3Ev5jLiQ9yRcDMAw4c51UtbjDHGWGOzevUG7N9/A02b/o0BAzxrHFnmbePb3zVo06YN9u27iJUrTdG3ew46adsA9yNk6ggMu+Hh/UI4WLhDdHUxQJWAkjIe2G7BBJePsXX7XwCA48d3YuzYgejmYIoj+y+jTYdEFBWW4AHaYupUY6T/O1qRWFyKb7+dg4KCAhQUFGDx4lAQyV9EVlFRgVJ5zVftBPRYZlkikWDf3wex7++Db+CoVFFTU4P73t/Rvb0ZlItiUKHdGUfPXsH8pV/VmO/r8ti3DUNML0MU9u+VV4PeOLJ3J/Lvf43C4sfYumM/fv195xtrjzHGGGsshgwZihYtZmPwYJ1/S0QwN9fBoUMn0bu3/B3Ot4WvVD5j+tRPcP3KWVg2ScX+HSl4VCZCcbudgFBdWkei1wtZkt5oblICUdS/HUoAoAo0iVmCL5d8BmvrqquSPj4+sLKKgqdnOcqUjBH2jz0ux/eHtZ0pAgOrDr+2NjByZCGOHz+Oc+fOISQk5LkdtJKSEuQ9UgZExrIrNCxwL/NBjdsoKSnBzs4Otra2dTw6wF/bf4KTiT9MI5xgmLAEptf7YXLvSqxY+nmd9/2EiYkJetiZQJS6t6qgSTug4w9QuTIMxqE9YR3jhLXTWuKXDd+8sTYbsxYtWqBz585QrWluTsYYY/8506Z9gd9+08GaNcDFi8CJE0CXLkBgYBP07t37pdvXF+5UPmXsmJH4aemH0PC1heH1bmh6tQW6av6CqGQr3O2QgEwbL2R0uIYrwmNY8IUxBOXZ1R3KJyRlaKKhjq++uowLF6KxZs1G5OXZYdgwFfTsCWzYIIGdXQlOnMjF+PESzJtXCm/vDKxcOQWlpaW1ynPW/NXIsjsMGPYBhOqQGPVHRtuDmL3gK7m6vXv3RWDgHcyb54slSy7i8uUEdO7cucb9qqqqYvq0SfA6tgd7dvyC9u3by6wXiUTob98Ramn7Zcq1ktZh9lTnWuVeG1ZWVlB5eKO6wPYLIGwuUJRUtVz5CNpxK+Eysn+93X5vDExNTXH27DW4ugZj8uRzuHTpDiZNmq3otBhjjNUzAwN9/PEHcOMGMHAgMHs2MGgQ0KaNJpo0aaLQ3BQ+3c/Lor6naXwS0WE+RId15aYxfJCWSOrqRJaWRPr6VVMZrlpVSQXpt4ncVGTru6tTYlQaAUTt2xPdvl1OSkrVUyACRIMHV9KuXYdo/fqfaOnS5fT+++/TUbcdFBfpT17H91Hnzp1fmmvXrl3pVvhFKsmLp+x/ImjunE/l6hgZGVFgYDrp6la3bWxMFBKSSlpaWjJ1xWIxhQd7U1HwMqITVkTe9pQdc5o+nTlZWsfY2JjSb3jIT1l5AJQa4//GzoOhoSFl3D5fvf9M/xrbzAndSF26dFH491NR4et7kzp2rD63yspEnp651KtXL4XnxsHBwcFRf3H8+CUaP15CgGz/4vr1CrK2tq739nmaxlrQ1lABJOWAUHbGFlF5AoYMAZKTgbw8oFs3YNYswm9/7sP9936tHkxcqI58Wzd8/5MeAKBJE8DLS4hn72Rrawvg4DASYvEUDBjwBQLP7cEonT/R+lY/DFF2xTm39RjqNPi5eero6MBt92a0efArROffg+F1R6yb3Q6bflwjU2/ixNn49VdD3L9fXZaVBezerQ9n54kydefPnQkbyVFo3NkIFN0BcgJhGDES33zxKTQ1NQEA2dnZKFdtDgiemW1HbIbM3Df3dnZOTg4uhMajuMVCQEkAVBQCYlO5ehUabZCamvrG2m1MOnfujIQEE5lB6ysqgFWr9DFnzjeKS4wxxli909DQw7FjSnLlhw9XwsbGRgEZVeFO5b/at28PA6OmQB9PwOE00P8C0MEVsJ4LiZYt1q4FgoOr5gb//HNg7VqgqFQdX24LwZ12vigZcBP/dEjA0p8GY8++qk5mbi5gZiZ70jt0AGbOBNq1U8GiRYYw0iqH2hUnIP96VYUHt2F4Yyw2b/jfsylKLV88BxZ5v0KYfgwgCVCaDZ3b8+HyUS8YGRlJ6zVt2hJJScrQ1KzqCJubV5UnJorQtKmVzD4/GfMhRKl/yzZEFdDMO4M+ffpULRLh63Wbkdd+f/WMQdptkN3ubyxcse5VD/kLTZm5CNv8tZD6fhDyJc1Q0WUnIFCRrn9sMgoRCfeRmZn5Rtt9WwYNcoSn5xX4+8dh48a/YGZm9vKNntK0aVMkJanLlScmAk2bvtq+GGOMNS7Z2Vmo6Z8NE5OHyMnJefsJPUXhl3FfFvV9+9vIyIjS4oOJjjUjOigkSj5IlLCD6MJAkgRPo9KcRBo9qpzU1KovMffpQ7Ru3TbpPubP/4JmzCiVuxQdG/uYOnSoXv79d6IuXaqX0+Lia7y1mx1zlrZs2Ut//+1Dc+cuIQ0NDWlbkcHniNxFctsUBy2hESNGSOuNHu1Ml3yzKT0unnJC/6KMqCDy88qmX3/NpwEDBsgcgyC/Y0SexnL7zL/qSv369ZOpO3jQQAq9dJKSovzJ76x7rW7X1zU+nTmZ7sWFUEb4HkqP8aVj7rtIXV1d4d/N14nPPltK+/fnkbl51XdgwIBKCg6+R82aNav1PkxMTMjLK0Pu+zZsWAWtXbtF4Z+Rg4ODg6P+ol+/fnTwYB4JBNW//9bWRAEBcW+l/ef1y3jwcwDfr1mJFf2SoJx2GLCaVnWr9dYP1RWUtVAy4DZiU8yRlATMmAH88EM+Dh0ahYCAAABVs9x4eYXD1dUSZ84IIRIBn39ejC5dAqGnZ4K7d01w964aJkwQo2dPVekt6ZS4VDS7boEn0zc+UeYYj2Eu1oiLA5ycSjFpUgpGjOiJ/Px8eJ/cj0H4FniYILNNXutNWL7tJnp1a49KiRLuptzDt9NtoXJthrROpfFQ5LfZAuPmrWXeMB/nPAY7VvSAdmz14OlQM0BKu9OwamuPyspnXkhSAKFQiGbNmiE/Px+FhYWKTue1iMVi+Pomok+fpnh6xIc+fQBn54OYP39Crfe1YcOfkEhcsH69NgoLAQcHwNU1BSNHdmvQMyIxxhiru3nzvoCLyyL4+qrDxOQxbGzyMGPGMCQlJdV728/rl3GnEsCpw7swTM0VeJgI9DsLBH4ClMtO+1fZ6Vc8UO4C5ZI7EDV3QHBkKvp90FOmjr6+PpYvX4devQahouIxPD3/gqfnfiyYOx0DHLrjXnou7twrQWTkLBw8WDX8y8b1DzCnz/dQv7tRuh9J8/HwvLsVzhP1pGXDh1eiR48/sWrVPDg4OODo759B7+aE6s6oljVKentDBaVQfhgFKskCmjpBKdMXCPtMJs/MjmfQ4YNpyM7Olinfu3MzhvQwh1HhMTwSmOK+/liMnjQfoaFXazxu5ubmWLZwNtrbtkJg2E1s2boLuU+mBHqKWCyGo6MjRCIRfHx8kJeX95Iz8t/VtWtXODufxfLlBnLrLl1KgoNDq1fa35QpszFhwnyIROqIiAjCjz+uRFpa2ptKlzHGWAOmqamJ7t27Iz8/HxERES/f4A15Ub9M4ZdxXxb1fft71ReLqCxgUtUt3/RzRB5a8reko9YS+Q749w1vMeUm+lGbNm1euN/WrVvTvbhgenxxNNHRplThN4wyEoMoMiKFhgypJICoSROi6PBMKk4JoILg/1FuzHG6G59KYrHsbU0lJaKAgEQaOXI0nTx5lRJj79DDjJtUGrmBKu4cJEnBbZI8iCc63bY6ZzcVoowLRBcGy3yWrLBt1LZt2xpztra2pnlzPyVn57EkEome+9m6du1K6fFXqMJvKNHRpvTY35lS4oLJyspKpt7AgUMoJCSNvviiiD7/vIz8/TPo008XK/w7paiwtLQkd3f529Z6ekReXhEKz4+Dg4ODg+Nl8YJ+meKTq0PybyR0dHTobkww0ZkORKGfEl1fIjdMEOWEELmpVZf59KOdv//4wv1e9vEkOvWe7L6OmVNS9BX68ccdFBCQRL6+t2jWrPlkbm5OAwYMoP79+9OePZmEZzodYjHRzZu59Mcf98nIqKqTuWVzBVVmXCQ625Ho3nGiuK3yneHTbYnSvauXDwooLT6Y1NTU6nTMoq/5EnmayLZ1xo58z7hJ62hra1NwcDppalZ/DoGA6MSJbGrfvr3Cv1eKilOnQqlr10qZ87tly30aN26CwnPj4ODg4OB4WTyvX8bTNAIoKCiAg9N47Pp9PWx0m0Pf0BRKohZQTT0IicgcAtvlQPR3gKSseqOiO7BoJjvMzaBBjpgz52vo6RkiOvo6bFqZA0Gxso09SoWFsQgbN/4P2dlVA1WLxWI4O09Aq1YdcOPGFbRocR+WlsZITq7ebPnyYpSWquCzz6oG++7ZU4JPJ6VAcHk6UJwMKGtU3b5/VtEdQM2w6m+RCe63/hE/b92DsrIy+bq1pKOjA31RCVD6zJvXBVGw6dJMujhq1Bjs3auHoqdGG5JIgJ9+MsSkSQuxfPkMvItmzPgIe/acRU6OOe7cUUO/fiW4cOEAPDwOKDo1xhhj7LVxp/Jf//zzDwZ+OB5A1bSGjo6DMXPydPSyHwFRbgx008/I1C8xHIozHoHS5Rkz5mPgwDVYsEAPqamAvb01PpuUjJoIlAhjPh6BbX/sRMuWLbF//wUcOGAIb2912NtPgYZGDtzdU3DmjA6SkrTh5JQNQ8M7OHWqeuyp/9uWDbXSOODxv2/8JO8DWs4C4jbLtEVmw/BPZhmo/SXk3y/E2tV/4ORJ2c/yqh4/fgx6ZizPJyQQSv/W0tJBTo6aXJ38fEBbW0+u/F2RnZ2NoUO7wMbGBqampvj11wjcf3owUcYYY6wR4k5lDYgI586dx7lz59Gly06c9nRDZds1EMb+CEhKUWk6Aiman2DnX0MAVE1vOHPmSvTurYcnL0kHBgJZ2WpoajYCSDtRvXOjvlAqy0Ezs6qrh1u2uGHqVAvExVWtvnxZC1evqsPF5TjCw/fA1NQcHh5p0NXVRb9+PwEA9PWBJsp3gfQzgIULUHgb0LIG1AyAzpuAqDVA+QOQqSPyW3yFrh0/eKMvxzx69Ai37+TCWK8nBPnB0vLHTcfi3IUr0mVv79NwdV0BDw8jme3Hjy+El9czY2K+g2JiYhATE1Mv+zYyMsJ3/1uC/g49UVz8CL9s24u/97vXS1uMMcbYEwq/N/+yeFvTND4vBAIBLVk4h25fv0AJNy/Rrz+vJV1dXel6Ozs72ro1i/DMc5CTJ5WTJP9G1bOOgROIYn4myvClvIgd1LdvX9LW1iYvr3S57QCioKBUatasGd0I9aHMiL2UG+pKpXnxtGFdEWlpEaXfvknkoUH0II4o8S8in35El51J8vAOleYn0v20m3Ro/59kYmJSL8fE0NCQoq/5UX7YT0SBEyjn+nYK9j8lN3akq+sftH17PllbE5mZEa1e/ZCOHr1EQqFQ4d8rFRUV2rj+a7obG0SpsZfp0vnDZGNjo/C86hr6+vqUfDu46iWqA0pEh/WoIPwX2rppncJz4+Dg4OBo/MHjVL4hVlZWcP12OTp1sEVu3n18t2E7Im/cxB9/hGPECBOZunp6wD9x9yBK3Q2VsjSg6A5KxG1w7dFA9B00Ctra2vDwiIOTk4lcO0FB6WiiFg/bjPnAg+iqQiUhHvc+Db9b3fCeZSksSv+EkkAIRH1TvaFQjIz3L6Jl+w9QUlJSn4cCSkpKcHBwQOvWrRAZeRNXr9Y89JCj4xB88slCiETqOHlyNzw89qOioqJec6uN00f3or9REMQpOwGSANrvIb3N/6HHgHG4d++eotN7bT+u+wqL7WOgnHZEpjyz83l0+mBKo52FiDHGWMPwvH4ZT9P4CqytrXH53H6MNdqHVlEO6HF/Lvb/NAnjRg9DeXk8+vaVHSB89epCLPnSFRtPlSFe9Ali9VZh3UlVDBjqDAAoLCyERJKGVs8MTejgIEFmZhwM6XZ1hxIAqBKqkfOhI7qMRSvmosRsApCwTXbjyhJo5Z3EgAED6uMQyCAi+Pv7Y8eOXc/tUALA+fPnMGWKE8aNc8CBA3saRIeyVatW6NJKHeK7f0I61mdhLEzufo3/rfhcscnVkePA3lDOPC1Xrn3/PLp3766AjBhjjL0L+JnKWtLV1cX543vRVFcAaH4LpHgAmRehl/kXli/cgC59R2D79iOYO7cl4uNV0bt3KS5dcseuXVWdvlVf/1DjfhctGo/9+y9gzx4DREaK0adPEUaMyMC2bbswaL65/AZF/0CrqRZOnDiBGwumoKd8DdBLLj4rKSlh9swpmDdzPMRiEc5fuIJvvv/lnRqU3M7ODtpFV+TKBbmX0aPLcgVk9OZkZmajvYYFUBgnU/5IxQJZWUEKyooxxth/HV+prAVNTU2E+J9Ei9yfAZ9ewOWPAc2WQN+jgEl/GOsIsPGHrzBypD1Wr7aHr+9IfPyxLb79dslL952QkIABA2xQUbEMI0bsQGrqXPTv3w7Xrl1DhelHcvUrTYfBx6+qM/TnXk8UNZOdLQdCMYr0R8DPz++5be7btQU/zW4Ju7tj0SqqHz7rGILQSyehra39agemEbtz5w4eitrLr9DtgLiE+p/iqj6t/elP5Fl9DyhVv4kPbRvkqXRESEiI4hJTgLZt22L69JlwdHSEQMA/d4wxVt8U/sDny0LRL+osW/w5lV6eKT+w+N3DRCdbEx0AFYb/SHNmT3sj7U2YMIMuX86gi9659Cj6L6LDekQHlKjS15H+iQkmQ0NDAqpeIPI6cYDywrcS+ThQhf8YykwIoLGjRxAAMjIyop3bfqKEm5foZuh5mjl9MllaWlJm9HG5z1IWMJm++nKpws/124yrl89QhfeA6uNwqAllxV147mxDjSkWzJ1JafFBlBe6nrIidlNU2AWysLBQeF5vK4RCIe3de5r278+iyZOJ1q4toMDARLK0tFR4bhwcHByNPXhGnTqE/zl3oqOm8p3K4KlEwdOq/vbQpJjwC3Vuq0WLFnThQhapqFS9BT5pYhlFhqRTce5dctu7vca3ufv27Uu/b/qevlm9jMzMzAgA6enp0Z3bQVR5YQjR0aZER5tR4TVX8vM5TeXBn8p/liP6FOR3VOHn+m2Gjo4OeR3/m9JjLlD6zSOUEHWZHB0HKjyvNxVisZjs7e3J1tZW4bm87Vi48EtasqSY8NSICq1bE/n43FB4bhwcHByNPXhGnTq4l5oJNGsBlGTIrtCwBPL+vZ1YUQSR2ssPZ4cOHbB8+Y8wN2+JvLxMbNmyGgEBl6TrXVxm4Lff9FFeXrX8935V/L3fFB9/XImWLbNqfHM3ICAAAQEBMmVfLJ6D5o99IbD7CniUCqjpQassFx2NTFCcbYUmz+5EowXS0rNemv9/SUFBAZxGToKGhgY0NDSQnZ2t6JTeqJKSEgQGBr684n/QyJFTMWSIukxZfDyQm2sMS0tLJD89XRVjjLE3gh8yqoUNm3chx+JrQPDU7DAaloDpICDDu2q51WcwMDBCWqw/7kRfwaLPZ8vtp0ePnti82Rs//DAY/fq1xJIl9liy5AhGjXKp3q2GDh48EMpt++CBEEOHOkNLS6tWOQ8f5gihsT3g7wQEjgP8BgEJf6CJuhJK9B0BradeOReoIrfFt/jh5x21OyD/McXFxf+5DuW7TihUQU0zkRYUKEFDQ+PtJ8QYY+8A7lTWQnR0NBat+Qtpnf3xsO1vKOtxHJX9fIDIVQBVAq3ng1p8As0AezS93g+WUQOwZmprrFm9VGY/X321FRMnGuH27arlu3eBxYsN8MMPO3DpUiK8vaOgpPQIn3wi/xb2hAnAmTPWOHzYv1Y562iJgRtfAuWF1YXZl4DCOGzafhAx5juRZfMX8qx/QlpnfyxffwARERGve4gYa1DCwvwxeLBEpkxdHejYsRS3n/wHyBhj7I1T+L35l4Win6l8EioqKuTrG079+xMNHFhJV3wzKOFmKt1Pu0d0xPCZ5xSVKC0+mFRVVaXbX7qUSnjqGS99faKgIKLBgyUEEGlrE61bV0jBwXdo69YSat266jmwTZuI/vijaptffsklBweHl+Yad+MSkbtY7tnJymtLafTo0QSAbG1tqUePHjI5cnD8F8LQ0JACAxNp6tRSMjUlcnAg8vXNoqFDRyg8Nw4ODo7GHvxM5RtQXl6O3NwHSEgA7t0TwNe3aiaclNtJ0CnLeaY2QVCUABMTE6SkpAAAVFQqoKIC6fOSc+YAP/8MeHsrAQAKC4HVq7Vw+nQx2rWLw3ffdUBJCXDkCHDmTNU2gYH6sLPrgkuXLuFF/PyD0KpdXwgyz8uU54l6ITLyOADwFRsGAwMDzJ4+Ea0szXDOLwRHj51oEIPT11VOTg6cnDpj2rS5+OUXR6Sl3cG8eT8iLi7u5Rszxhh7LXz7+xUdOfIH5s4tlCkrLhUDKnKvvoA0rWSe1fP03I1ly4qky/b2wNmz8m34+DRBamoiDh2qwLRp1R1KAOjUqQCJibdemuf3P25FZrM1QJO2VQVKQpRYzMXVuCIkJTXucRjZm9GrV0/cDD6JNR9mYZrlIexa8h7Cg85DU1NT0am9EYWFhdiyxRXjx3+AZctmcIeSMcbqGXcqX5Gn5yEYGV3Arl15GDgQcHGpgJKaMorstgMCFWm9YsulOHbmEkpLS6Vlv/zyHfT03OHrmwFX11yYmZXCykq+DSurYri57cayZdkwf2pSna5dJejbNwve3t4vzTMtLQ0fDJsCP6X/IfX9y7jbMQC/XtTFyHEz6vT52X/H3zs3wvTGR1BJdQPywqB1Zx3ee7QDa79u3DMKMcYYUwwlVN0Hb9CeN3G5InXr1g1DhjijsDAP7u678fGIIVix+FOolKWDxKY4fMIHS1Z8C4lEIretnp4erK2toa+vj9mz92LsWAPpLfG2bYHff49Fv3426NixIzZs2IuKCkOoqQH5+XFYsGB8jcMKMfYq3nvvPVw6uAxGMTNlVygJcMfOHy3t+iomMcYYYw3e8/pl/Ezla7p69SquXr0qXd725x5s37EXurq6KCwsfOFzafn5+QgNDQUA6OmtQkDANwgOVoORUQUMDTMxadJwAEBkZCQcHTtAW1sbFRUVePToUf1+KPbOkEgkIMgPXQUIGv7/ZTLGGGuQuFP5BhER8vPzX2mb/ft34tChvWjfvj0KCgqQmJgoV6ewsLCGLRl7ffHx8SgUtoSxyAQorb7yXWY+AUeOn3/BlowxxljNuFP5FJFIhF69eqG0tBQhISE13rquyXvvvYfmzZvjxo0byMp69VlpysvLoaKiAgsLC6SlpaGkpERmvVAoRI8ePaCqqoqgoCCU1TSq80soKyujZ8+eEAqFCAwMRPkTTEs4AAAOEUlEQVST++3snTVu6kKc8jgO/ezdEJUm4r72YCSW2WHNuo8VnRpjjLFG6q2Pb+To6EixsbGUkJBAK1aseO3xkN5kTPxkLKUlBNP9kO8oL2wj/RMTTN26dX3hNrq6uhRy6RRlRe6jB8FfUsZtL9r95y+kpKRU63Y7depEybeDKDfsF7ofsobS44No+tRPpOt79uxBd2OCKe/qj5Qf8h2lxQfTuLGjXumz9f/AgVLiQijvqivlh35PqXHBNHyYk0LHuOJoGKGpqUlzPp1BG9d/TYMHD36l7y4HBwcHx7sZL+iXvd1EBAIBJSYmkqWlJamoqFBkZCTZ2Ni8bvJvJNq0aUNZcd5EbqrVA4UfMaTUhFBSV1d/7nZ+Zz2owttBZnDxwtCvadmiubVqV01Nje7FhxJ5mlTvw02FsmPOkJ2dHWlqalJaQijREf3q9e4iyoq7QC1btqxVG3p6epSREEx0qMlT+1CnzIQAMjMzU/gXk4ODg4ODg6NxxfP6ZW99SKFu3bohMTERycnJKC8vh7u7O0aMGPG205CxaN5UGN1zBSSPqwvLcqCX44ZRo2rOzcDAADYWmhDmyA5CrpX8E2ZPG1erdocOHQqd/GMyz7RBUg7DlHVYOn8anMd+DL3sfUDZU9M2VpbC4N6PWDBnSq3amPSJM/QydwDlD57axyMYpG7CZzMn1mofjDHGGGMv89Y7lWZmZrh37550OTU1FWZmZnL1Zs2ahbCwMISFhcHAwKBec2pqYgCUpMmViyvTYGpUc9s6OjpQKq1haJ/KEqipKNWqXWMjA2hWpsqvKElDU2MDmBobQFQhn5egNK0q51owMzWA6mP5NoRlaTCr5T4YY4wxxl7mrXcqlZTkO1xEJFe2c+dOdO3aFV27dkVubm695nT0tD+KDEbKlWdrj8R5X/8at0lOTsZjDVtAoCq7QqcDbsf/U6t2/S5eQra2/JXQR0YjcfSMP7y8/ZHbRD6vhwYjcfR0zXk966SXP/J05PdRoFfVBmOMMcbYm/DWO5Wpqalo1qyZdNnc3Bzp6elvOw0Zbu6HkYABKLOYBQhFgKouHlp/h4BbxYiKiqpxm8rKSqz67hfkdjwMaLWuKjTqh3Tr7ViwfG2t2o2Pj4dPWCYK2/wAqOkDAlU8bj4VSSrDsWffQYSHhyMogVBk/TWgogMIxSht8RniK3vj8JGjtWrjypUrCE/XQ3HLFYCyFiBUR4nlAsQUt8PZs1612gdjjDHGWG281Yc7hUIhJSUlUYsWLaQv6tja2r7WA6FvMsRiMa1esZiiw3zpeuBZmj5tUq3ehO3Zsyf5nDpAsRH+tGfHJmrevPkrtz1p4ni6duUM3bp2gb5etZQ0NDSqH3oVCGjWjKkUHuRF0WG+tHL5QhKJRK98zOfOmUmRweco6qoPLV08j1RVVRX2gC8HBwcHBwdH440G8/Y3AHJycqK4uDhKTEykVatW1SV5Dg4ODg4ODg6OtxjP65cpZPBzLy8veHnxrVfGGGOMsf+Kt/5MJWOMMcYY++/hTiVjjDHGGKsz7lQyxhhjjLE6404lY4wxxhirM+5UMsYYY4yxOuNOJWOMMcYYqzPuVDLGGGOMsTrjTiVjjDHGGKsz7lQyxhhjjLE6404lY4wxxhirM+5UMsYYY4yxOuNOJWOMMcYYqzMlAKToJF4mOzsbd+/erdc2DAwMkJubW69tsLrj89Q48HlqHPg8NQ58nhqHd+k8WVhYwMjIqMZ1xAEKCwtTeA4cfJ7+K8HnqXEEn6fGEXyeGkfweQLx7W/GGGOMMVZn3KlkjDHGGGN1JgSwRtFJNBTh4eGKToHVAp+nxoHPU+PA56lx4PPUOLzr56lRvKjDGGOMMcYaNr79zRhjjDHG6ow7lYwxxhhjrM64UwnA0dERsbGxSEhIwIoVKxSdDvvXX3/9haysLERFRUnLdHV14e3tjfj4eHh7e0NHR0eBGTIAMDc3h5+fH27fvo3o6GgsWLAAAJ+rhkZNTQ2hoaGIjIxEdHQ01qxZAwBo0aIFQkJCEB8fD3d3d6ioqCg2UQYAEAgECA8Px6lTpwDweWqIkpOTcfPmTURERCAsLAwA/+4BDWBcI0WGQCCgxMREsrS0JBUVFYqMjCQbGxuF58UB6tOnD3Xq1ImioqKkZRs2bKAVK1YQAFqxYgW5uroqPM93PUxMTKhTp04EgDQ1NSkuLo5sbGz4XDXA0NDQIACkrKxMISEh1L17d/Lw8KBx48YRANq+fTt99tlnCs+TA7R48WI6cOAAnTp1igDweWqAkZycTPr6+jJl/Lun+AQUGj169KBz585Jl1euXEkrV65UeF4cVWFhYSHTqYyNjSUTExMCqjozsbGxCs+RQzaOHz9OAwcO5HPVgEMsFtP169epW7dulJOTQ0KhkAD530MOxYSZmRn5+vrSBx98IO1U8nlqeFFTp/Jd/917529/m5mZ4d69e9Ll1NRUmJmZKTAj9iLGxsbIzMwEAGRmZj53miimGBYWFujUqRNCQ0P5XDVAAoEAERERyM7Oho+PD5KSklBQUIDKykoA/PvXUGzevBlffPEFJBIJAEBfX5/PUwNERPD29sa1a9cwa9YsAPxvlLKiE1A0JSUluTIiUkAmjDVuGhoa8PT0xKJFi/Dw4UNFp8NqIJFI0KlTJzRp0gTHjh2DjY2NXB3+/VOsDz/8ENnZ2QgPD4eDgwMA/neqobK3t0dGRgYMDQ3h4+OD2NhYRaekcO98pzI1NRXNmjWTLpubmyM9PV2BGbEXycrKgomJCTIzM2FiYoLs7GxFp8QAKCsrw9PTEwcOHMCxY8cA8LlqyB48eAB/f3/06NEDOjo6EAqFqKys5N+/BsDe3h7Dhw/H0KFDIRKJoK2tjc2bN/N5aoAyMjIAADk5OTh27Bi6dev2zv/uvfO3v8PCwmBtbY0WLVpARUUFLi4uOHnypKLTYs9x8uRJTJkyBQAwZcoUnDhxQsEZMaDqTf2YmBhs2rRJWsbnqmExMDBAkyZNAAAikQgDBw5ETEwMLl68iDFjxgDg89QQrFq1Cs2aNYOlpSVcXFzg5+eHiRMn8nlqYNTV1aGpqSn9e/DgwYiOjubfPTSABzsVHU5OThQXF0eJiYm0atUqhefDURUHDx6k9PR0evz4Md27d4+mT59Oenp65OvrS/Hx8eTr60u6uroKz/NdD3t7eyIiunHjBkVERFBERAQ5OTnxuWpgYWdnR+Hh4XTjxg2Kioqir776igCQpaUlhYaGUkJCAh06dIhUVVUVnitHVTg4OEhf1OHz1LDC0tKSIiMjKTIykqKjo6V9h3f9d4+naWSMMcYYY3X2zt/+ZowxxhhjdcedSsYYY4wxVmfcqWSMMcYYY3XGnUrGGGOMMVZn3KlkjDHGGGN19s4Pfs4YezdVVFQgKipKuuzu7g6RSAQ1NTWsWrVKWt6hQwe4ubnB1tYWALBy5UqkpKTA2toas2bNQk5ODlRVVbF27Vq4u7u/9c/BGGMNBQ8pxBh7Jz18+BBaWloyZa1bt4aXlxdatmwpLVu/fj2Ki4vx/fffAwD8/Pzg7OyMefPmoaioCD///DNatWqF69evQ19fHxUVFW/1czDGWEPBt78ZY+xf8fHxKCgoQLdu3aRlzs7O0iuQWlpaUFVVRW5ursx2iYmJePToEXR1dQEAVlZW8PLywrVr1xAQEIA2bdpAW1sbycnJ0nmcxWIxUlJSoKysXGN9ANi9eze2bNmCwMBAJCUlYfTo0QAABwcHnDp1Str+b7/9Jp3Fo3PnzvD398e1a9dw7tw5mJiY1NPRYowxWdypZIy9k8RiMSIiIqTh7OwMAHBzc4OLiwsAoHv37sjLy0NiYiIAYODAgbhw4YLcvjp16oSEhATk5OQAAHbs2IH58+ejS5cuWLZsGbZt24bCwkLcuHEDDg4OAICPPvoI58+fR0VFRY31nzA1NUXv3r0xbNgwuLq6vvAzKSsr47fffsOYMWPQpUsX/N///R/WrVtX94PFGGO1wM9UMsbeSSUlJejUqZNcubu7O4KCgrB06VK4uLjAzc1Num7IkCHYvXu3dHnx4sWYNWsWrKysMGTIEACAhoYGevXqhcOHD0vrqampAQA8PDwwbtw4+Pv7w8XFBdu2bXthfQA4fvw4iAgxMTEwNjZ+4Wdq06YN2rVrBx8fHwCAUChERkbGqxwWxhh7bdypZIyxp6SmpuKff/6Bg4MDRo8ejZ49e0rXdevWDXPmzJEub9q0CT///DNGjRqFffv2oWXLlhAIBCgoKKixw3ry5EmsX78eurq6eP/99+Hn5wcNDY3n1geAsrIy6d9Pbp1XVFRAIKi+0SQSiaTrb926hV69etXtIDDG2Gvg29+MMfYMNzc3bNq0CUlJSUhLSwMA2NraIjY2FhKJRK7+sWPHcO3aNUyZMgUPHz5EcnIyxowZI13fvn17AEBxcTGuXr2KLVu24PTp05BIJC+s/zx3796Fra0tVFVVoa2tjQEDBgAA4uLiYGhoiB49egCouh3+5K11xhirb9ypZIy9k559pnL9+vXSdYcPH0bbtm1lhghycnLCuXPnnru/7777DkuWLIGSkhImTJiAGTNmIDIyErdu3cKIESOk9Tw8PDBp0iR4eHhIy15Uvyapqak4dOgQbt68iQMHDiAiIgIAUF5ejjFjxmDDhg2IjIxEZGQkX7VkjL01PKQQY4zVgre3NyZPnozMzExFp8IYYw0SdyoZY4wxxlid8e1vxhhjjDFWZ9ypZIwxxhhjdcadSsYYY4wxVmfcqWSMMcYYY3XGnUrGGGOMMVZn3KlkjDHGGGN19v/xmMl2H+KxWAAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 792x504 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Visualize scatterplot\n",
    "plt.figure(figsize=(11,7))\n",
    "plt.style.use(\"dark_background\")\n",
    "\n",
    "g = sns.scatterplot(x='EV/Revenue', y='Current ratio', hue='S&P', \n",
    "                    data=df_BBBandB, s=40, palette=['blue','orange'])\n",
    "\n",
    "# Some random point we want to classify\n",
    "plt.scatter(4.2, 2.66, marker='o', s=80, color='red')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "To build this model we are going to use sklearn which is a popular machine learning software.  Let's begin by importing KNeighborsClassifier, train_test_split, and accuracy_score libraries."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Scikit learn library - k-NN\n",
    "#### sklearn.neighbors.KNeighborsClassifier"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 494,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.neighbors import KNeighborsClassifier\n",
    "# Split arrays or matrices into random train and test subsets\n",
    "from sklearn.model_selection import train_test_split\n",
    "# Computes accuracy of the algorithm on the test data \n",
    "from sklearn.metrics import accuracy_score"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Use EV/Revenue and the Current Ratio to predict Bond S&P Ratings \n",
    "Here is a list of steps we will follow. \n",
    "\n",
    "#### 1. Define attributes (independent) and labels (dependent)\n",
    "We will first define dependent and independent variables. Independent variables are called features and are sometimes referred to as attributes. The dependent variable is the output; or in other words, what we are attempting to predict. In our example, the independent variables are EV/Revenue and the Current Ratio while the dependent variable, or the target, is the S&P rating.\n",
    "\n",
    "#### 2. Split data into train and test\n",
    "Then, we split the data into train and test. This is absolutely necessary to avoid overfitting. It allows you to see how good the model is and how well it performs on the new test data we feed into it.\n",
    "\n",
    "#### 3. Train the model\n",
    "In part three, we train our model. \n",
    "\n",
    "#### 4. Make a prediction\n",
    "Then make the prediction using the model we learned in the train phase.  The prediction is done on the unlabeled test data.\n",
    "\n",
    "#### 5. Evaluate accuracy of the prediction\n",
    "After we made the prediction, we must evaluate the accuracy of the algorithm. In the classification setting of k-NN, we are going to use the accuracy metric."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Let's define our independent variables, or features, by the name X and the target variable by the name Y.  We pass X and Y into the train_test_split in order to split this data randomly 70/30. This means 70% of the data goes to the training phase and 30% of the data goes to the testing phase.\n",
    "\n",
    "We can visualize the size of the data as well as the splits between X_train, X_test, y_train, and y_test."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 495,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Create features or independent variables\n",
    "X = df_BBBandB[['EV/Revenue','Current ratio']]\n",
    "# Our target or dependent variable\n",
    "y = df_BBBandB['S&P']\n",
    "# Create test and train data sets, split data randomly into 30% test and 70% train\n",
    "X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3, random_state = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 496,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>EV/Revenue</th>\n",
       "      <th>Current ratio</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1240</th>\n",
       "      <td>2.00</td>\n",
       "      <td>2.20</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1958</th>\n",
       "      <td>5.12</td>\n",
       "      <td>1.59</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4754</th>\n",
       "      <td>0.94</td>\n",
       "      <td>2.32</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      EV/Revenue  Current ratio\n",
       "1240        2.00           2.20\n",
       "1958        5.12           1.59\n",
       "4754        0.94           2.32"
      ]
     },
     "execution_count": 496,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_train.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 497,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "5555      B\n",
       "1155      B\n",
       "3296    BBB\n",
       "Name: S&P, dtype: object"
      ]
     },
     "execution_count": 497,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y_test.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 498,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "X_train size = 105\n",
      "X_test size  =  45\n",
      "y_test size  =  45\n",
      "y_train size =  105\n"
     ]
    }
   ],
   "source": [
    "# 70% train, 30% test\n",
    "print(\"X_train size =\",X_train.shape[0])\n",
    "print(\"X_test size  = \",X_test.shape[0])\n",
    "print(\"y_test size  = \",y_test.shape[0])\n",
    "print(\"y_train size = \",y_train.shape[0])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Then, we follow our steps.\n",
    "\n",
    "We first initialize the algorithm k-NN. Next, we fit, or train, the algorithm. Then we make the prediction. Finally, we calculate the accuracy score by using the accuracy_score function from scikit-learn."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 499,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Accuracy: 0.69\n"
     ]
    }
   ],
   "source": [
    "# Initialize knn model\n",
    "knn = KNeighborsClassifier()\n",
    "# train knn algorithm on training data\n",
    "knn.fit(X_train, y_train)\n",
    "# Predict dependent variable,Rating using test data\n",
    "predictions = knn.predict(X_test)\n",
    "# Compute accuracy \n",
    "accuracy = accuracy_score(y_test, predictions)\n",
    "\n",
    "print('Accuracy: {:.2f}'.format(accuracy))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 500,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>S&amp;P</th>\n",
       "      <th>Predicted</th>\n",
       "      <th>Misclassified</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>3296</th>\n",
       "      <td>BBB</td>\n",
       "      <td>B</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3383</th>\n",
       "      <td>B</td>\n",
       "      <td>BBB</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4022</th>\n",
       "      <td>B</td>\n",
       "      <td>BBB</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5855</th>\n",
       "      <td>B</td>\n",
       "      <td>BBB</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>825</th>\n",
       "      <td>BBB</td>\n",
       "      <td>B</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      S&P Predicted  Misclassified\n",
       "3296  BBB         B           True\n",
       "3383    B       BBB           True\n",
       "4022    B       BBB           True\n",
       "5855    B       BBB           True\n",
       "825   BBB         B           True"
      ]
     },
     "execution_count": 500,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Visualize misclassified data\n",
    "pred = pd.Series(predictions, index = y_test.index, name = 'Predicted')\n",
    "pred_and_actual = pd.concat([y_test, pred], axis = 1)\n",
    "pred_and_actual['Misclassified'] = pred_and_actual['S&P'] != pred_and_actual['Predicted']\n",
    "pred_and_actual[pred_and_actual['Misclassified'] == True].head(5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Accuracy is easy to calculate : number of ratings classified correctly / length of test data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 501,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.69\n"
     ]
    }
   ],
   "source": [
    "correctly_predicted = pred_and_actual[pred_and_actual['Misclassified'] != True].shape[0]\n",
    "#Accuracy\n",
    "print(round((correctly_predicted / len(y_test)), 2))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 502,
   "metadata": {},
   "outputs": [],
   "source": [
    "# First misclassified bond\n",
    "misclassified_bond = pred_and_actual[pred_and_actual['Misclassified'] == True].index[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 503,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "EV/Revenue       2.06\n",
       "Current ratio    1.45\n",
       "Name: 3296, dtype: object"
      ]
     },
     "execution_count": 503,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Fundamentals of the misclassified bond\n",
    "df_ratings.loc[misclassified_bond][['EV/Revenue','Current ratio']]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "We can see that the accuracy score here seems ok, at least for the out of the box method.  But as you recall parameter k, which is the number of nearest points we're going to take into consideration when making our prediction, is crucial.  Whatever k that we pick is going to have a huge influence on the accuracy and the predictive power of k-NN.\n",
    "\n",
    "The method of finding k is pretty simple.  We train our model with different k values.  We calculate the accuracy for each number of neighbors and then see which k yields the highest accuracy.  This is best visualized in a plot."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Finding optimal k\n",
    "\n",
    "Here we create two lists for train accuracy and test accuracy.  We then split our data into train and test.  Then, we train our k-NN classifier for our range of values of k.  Next, we plot train accuracy and test accuracy for each number of nearest neighbors.  In this example, we will plot for our range of k's 1 through 15.  The default value for k in k-NN is 5.\n",
    "\n",
    "One thing to remember is that when you select a small value for k, like 1 in the train data, it will severely overfit the data as you can see in the graph.  The accuracy is very high in the train data when k is equal to 1.  However, the algorithm performs poorly on the test data as defined by the blue line when k is equal to 1.  This is because the model captures all the nuances in the train data when k is equal to 1, but the model fails to generalize to the new data.  We call this low bias and high variance.\n",
    "\n",
    "A large value for k will over simplify the model or underfit.  This is an example of high bias and low variance."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### In k-NN Classifier, default number of neighbors = 5\n",
    "#### Strategy for finding k: try different values for k and plot k vs the results of the performance metric"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 504,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.plotly.v1+json": {
       "config": {
        "plotlyServerURL": "https://plot.ly"
       },
       "data": [
        {
         "name": "Test Accuracy",
         "type": "scatter",
         "x": [
          1,
          2,
          3,
          4,
          5,
          6,
          7,
          8,
          9,
          10,
          11,
          12,
          13,
          14,
          15
         ],
         "y": [
          0.5555555555555556,
          0.6,
          0.5777777777777777,
          0.6444444444444445,
          0.6888888888888889,
          0.5777777777777777,
          0.6,
          0.5333333333333333,
          0.4888888888888889,
          0.5777777777777777,
          0.5111111111111111,
          0.5333333333333333,
          0.5111111111111111,
          0.5111111111111111,
          0.4888888888888889
         ]
        },
        {
         "name": "Train Accuracy",
         "type": "scatter",
         "x": [
          1,
          2,
          3,
          4,
          5,
          6,
          7,
          8,
          9,
          10,
          11,
          12,
          13,
          14,
          15
         ],
         "y": [
          1,
          0.780952380952381,
          0.8285714285714286,
          0.7428571428571429,
          0.7238095238095238,
          0.6952380952380952,
          0.6952380952380952,
          0.6666666666666666,
          0.6476190476190476,
          0.6666666666666666,
          0.6952380952380952,
          0.6571428571428571,
          0.6761904761904762,
          0.638095238095238,
          0.638095238095238
         ]
        }
       ],
       "layout": {
        "template": {
         "data": {
          "bar": [
           {
            "error_x": {
             "color": "#f2f5fa"
            },
            "error_y": {
             "color": "#f2f5fa"
            },
            "marker": {
             "line": {
              "color": "rgb(17,17,17)",
              "width": 0.5
             }
            },
            "type": "bar"
           }
          ],
          "barpolar": [
           {
            "marker": {
             "line": {
              "color": "rgb(17,17,17)",
              "width": 0.5
             }
            },
            "type": "barpolar"
           }
          ],
          "carpet": [
           {
            "aaxis": {
             "endlinecolor": "#A2B1C6",
             "gridcolor": "#506784",
             "linecolor": "#506784",
             "minorgridcolor": "#506784",
             "startlinecolor": "#A2B1C6"
            },
            "baxis": {
             "endlinecolor": "#A2B1C6",
             "gridcolor": "#506784",
             "linecolor": "#506784",
             "minorgridcolor": "#506784",
             "startlinecolor": "#A2B1C6"
            },
            "type": "carpet"
           }
          ],
          "choropleth": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "choropleth"
           }
          ],
          "contour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "contour"
           }
          ],
          "contourcarpet": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "contourcarpet"
           }
          ],
          "heatmap": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmap"
           }
          ],
          "heatmapgl": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmapgl"
           }
          ],
          "histogram": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "histogram"
           }
          ],
          "histogram2d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2d"
           }
          ],
          "histogram2dcontour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2dcontour"
           }
          ],
          "mesh3d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "mesh3d"
           }
          ],
          "parcoords": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "parcoords"
           }
          ],
          "pie": [
           {
            "automargin": true,
            "type": "pie"
           }
          ],
          "scatter": [
           {
            "marker": {
             "line": {
              "color": "#283442"
             }
            },
            "type": "scatter"
           }
          ],
          "scatter3d": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatter3d"
           }
          ],
          "scattercarpet": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattercarpet"
           }
          ],
          "scattergeo": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattergeo"
           }
          ],
          "scattergl": [
           {
            "marker": {
             "line": {
              "color": "#283442"
             }
            },
            "type": "scattergl"
           }
          ],
          "scattermapbox": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattermapbox"
           }
          ],
          "scatterpolar": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolar"
           }
          ],
          "scatterpolargl": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolargl"
           }
          ],
          "scatterternary": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterternary"
           }
          ],
          "surface": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "surface"
           }
          ],
          "table": [
           {
            "cells": {
             "fill": {
              "color": "#506784"
             },
             "line": {
              "color": "rgb(17,17,17)"
             }
            },
            "header": {
             "fill": {
              "color": "#2a3f5f"
             },
             "line": {
              "color": "rgb(17,17,17)"
             }
            },
            "type": "table"
           }
          ]
         },
         "layout": {
          "annotationdefaults": {
           "arrowcolor": "#f2f5fa",
           "arrowhead": 0,
           "arrowwidth": 1
          },
          "coloraxis": {
           "colorbar": {
            "outlinewidth": 0,
            "ticks": ""
           }
          },
          "colorscale": {
           "diverging": [
            [
             0,
             "#8e0152"
            ],
            [
             0.1,
             "#c51b7d"
            ],
            [
             0.2,
             "#de77ae"
            ],
            [
             0.3,
             "#f1b6da"
            ],
            [
             0.4,
             "#fde0ef"
            ],
            [
             0.5,
             "#f7f7f7"
            ],
            [
             0.6,
             "#e6f5d0"
            ],
            [
             0.7,
             "#b8e186"
            ],
            [
             0.8,
             "#7fbc41"
            ],
            [
             0.9,
             "#4d9221"
            ],
            [
             1,
             "#276419"
            ]
           ],
           "sequential": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ],
           "sequentialminus": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ]
          },
          "colorway": [
           "#636efa",
           "#EF553B",
           "#00cc96",
           "#ab63fa",
           "#FFA15A",
           "#19d3f3",
           "#FF6692",
           "#B6E880",
           "#FF97FF",
           "#FECB52"
          ],
          "font": {
           "color": "#f2f5fa"
          },
          "geo": {
           "bgcolor": "rgb(17,17,17)",
           "lakecolor": "rgb(17,17,17)",
           "landcolor": "rgb(17,17,17)",
           "showlakes": true,
           "showland": true,
           "subunitcolor": "#506784"
          },
          "hoverlabel": {
           "align": "left"
          },
          "hovermode": "closest",
          "mapbox": {
           "style": "dark"
          },
          "paper_bgcolor": "rgb(17,17,17)",
          "plot_bgcolor": "rgb(17,17,17)",
          "polar": {
           "angularaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "bgcolor": "rgb(17,17,17)",
           "radialaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           }
          },
          "scene": {
           "xaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           },
           "yaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           },
           "zaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           }
          },
          "shapedefaults": {
           "line": {
            "color": "#f2f5fa"
           }
          },
          "sliderdefaults": {
           "bgcolor": "#C8D4E3",
           "bordercolor": "rgb(17,17,17)",
           "borderwidth": 1,
           "tickwidth": 0
          },
          "ternary": {
           "aaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "baxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "bgcolor": "rgb(17,17,17)",
           "caxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           }
          },
          "title": {
           "x": 0.05
          },
          "updatemenudefaults": {
           "bgcolor": "#506784",
           "borderwidth": 0
          },
          "xaxis": {
           "automargin": true,
           "gridcolor": "#283442",
           "linecolor": "#506784",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "#283442",
           "zerolinewidth": 2
          },
          "yaxis": {
           "automargin": true,
           "gridcolor": "#283442",
           "linecolor": "#506784",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "#283442",
           "zerolinewidth": 2
          }
         }
        },
        "title": {
         "text": "Accuracy for different k values"
        },
        "xaxis": {
         "title": {
          "text": "K neighbors"
         }
        },
        "yaxis": {
         "title": {
          "text": "Accuracy"
         }
        }
       }
      },
      "text/html": [
       "<div>\n",
       "        \n",
       "        \n",
       "            <div id=\"f72ddff6-f126-40be-8a11-ec3bc7c612bb\" class=\"plotly-graph-div\" style=\"height:525px; width:100%;\"></div>\n",
       "            <script type=\"text/javascript\">\n",
       "                require([\"plotly\"], function(Plotly) {\n",
       "                    window.PLOTLYENV=window.PLOTLYENV || {};\n",
       "                    \n",
       "                if (document.getElementById(\"f72ddff6-f126-40be-8a11-ec3bc7c612bb\")) {\n",
       "                    Plotly.newPlot(\n",
       "                        'f72ddff6-f126-40be-8a11-ec3bc7c612bb',\n",
       "                        [{\"name\": \"Test Accuracy\", \"type\": \"scatter\", \"x\": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15], \"y\": [0.5555555555555556, 0.6, 0.5777777777777777, 0.6444444444444445, 0.6888888888888889, 0.5777777777777777, 0.6, 0.5333333333333333, 0.4888888888888889, 0.5777777777777777, 0.5111111111111111, 0.5333333333333333, 0.5111111111111111, 0.5111111111111111, 0.4888888888888889]}, {\"name\": \"Train Accuracy\", \"type\": \"scatter\", \"x\": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15], \"y\": [1.0, 0.780952380952381, 0.8285714285714286, 0.7428571428571429, 0.7238095238095238, 0.6952380952380952, 0.6952380952380952, 0.6666666666666666, 0.6476190476190476, 0.6666666666666666, 0.6952380952380952, 0.6571428571428571, 0.6761904761904762, 0.638095238095238, 0.638095238095238]}],\n",
       "                        {\"template\": {\"data\": {\"bar\": [{\"error_x\": {\"color\": \"#f2f5fa\"}, \"error_y\": {\"color\": \"#f2f5fa\"}, \"marker\": {\"line\": {\"color\": \"rgb(17,17,17)\", \"width\": 0.5}}, \"type\": \"bar\"}], \"barpolar\": [{\"marker\": {\"line\": {\"color\": \"rgb(17,17,17)\", \"width\": 0.5}}, \"type\": \"barpolar\"}], \"carpet\": [{\"aaxis\": {\"endlinecolor\": \"#A2B1C6\", \"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"minorgridcolor\": \"#506784\", \"startlinecolor\": \"#A2B1C6\"}, \"baxis\": {\"endlinecolor\": \"#A2B1C6\", \"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"minorgridcolor\": \"#506784\", \"startlinecolor\": \"#A2B1C6\"}, \"type\": \"carpet\"}], \"choropleth\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"choropleth\"}], \"contour\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"contour\"}], \"contourcarpet\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"contourcarpet\"}], \"heatmap\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"heatmap\"}], \"heatmapgl\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"heatmapgl\"}], \"histogram\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"histogram\"}], \"histogram2d\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"histogram2d\"}], \"histogram2dcontour\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"histogram2dcontour\"}], \"mesh3d\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"mesh3d\"}], \"parcoords\": [{\"line\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"parcoords\"}], \"pie\": [{\"automargin\": true, \"type\": \"pie\"}], \"scatter\": [{\"marker\": {\"line\": {\"color\": \"#283442\"}}, \"type\": \"scatter\"}], \"scatter3d\": [{\"line\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatter3d\"}], \"scattercarpet\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattercarpet\"}], \"scattergeo\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattergeo\"}], \"scattergl\": [{\"marker\": {\"line\": {\"color\": \"#283442\"}}, \"type\": \"scattergl\"}], \"scattermapbox\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattermapbox\"}], \"scatterpolar\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterpolar\"}], \"scatterpolargl\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterpolargl\"}], \"scatterternary\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterternary\"}], \"surface\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"surface\"}], \"table\": [{\"cells\": {\"fill\": {\"color\": \"#506784\"}, \"line\": {\"color\": \"rgb(17,17,17)\"}}, \"header\": {\"fill\": {\"color\": \"#2a3f5f\"}, \"line\": {\"color\": \"rgb(17,17,17)\"}}, \"type\": \"table\"}]}, \"layout\": {\"annotationdefaults\": {\"arrowcolor\": \"#f2f5fa\", \"arrowhead\": 0, \"arrowwidth\": 1}, \"coloraxis\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"colorscale\": {\"diverging\": [[0, \"#8e0152\"], [0.1, \"#c51b7d\"], [0.2, \"#de77ae\"], [0.3, \"#f1b6da\"], [0.4, \"#fde0ef\"], [0.5, \"#f7f7f7\"], [0.6, \"#e6f5d0\"], [0.7, \"#b8e186\"], [0.8, \"#7fbc41\"], [0.9, \"#4d9221\"], [1, \"#276419\"]], \"sequential\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"sequentialminus\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]]}, \"colorway\": [\"#636efa\", \"#EF553B\", \"#00cc96\", \"#ab63fa\", \"#FFA15A\", \"#19d3f3\", \"#FF6692\", \"#B6E880\", \"#FF97FF\", \"#FECB52\"], \"font\": {\"color\": \"#f2f5fa\"}, \"geo\": {\"bgcolor\": \"rgb(17,17,17)\", \"lakecolor\": \"rgb(17,17,17)\", \"landcolor\": \"rgb(17,17,17)\", \"showlakes\": true, \"showland\": true, \"subunitcolor\": \"#506784\"}, \"hoverlabel\": {\"align\": \"left\"}, \"hovermode\": \"closest\", \"mapbox\": {\"style\": \"dark\"}, \"paper_bgcolor\": \"rgb(17,17,17)\", \"plot_bgcolor\": \"rgb(17,17,17)\", \"polar\": {\"angularaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"bgcolor\": \"rgb(17,17,17)\", \"radialaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}}, \"scene\": {\"xaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}, \"yaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}, \"zaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}}, \"shapedefaults\": {\"line\": {\"color\": \"#f2f5fa\"}}, \"sliderdefaults\": {\"bgcolor\": \"#C8D4E3\", \"bordercolor\": \"rgb(17,17,17)\", \"borderwidth\": 1, \"tickwidth\": 0}, \"ternary\": {\"aaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"baxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"bgcolor\": \"rgb(17,17,17)\", \"caxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}}, \"title\": {\"x\": 0.05}, \"updatemenudefaults\": {\"bgcolor\": \"#506784\", \"borderwidth\": 0}, \"xaxis\": {\"automargin\": true, \"gridcolor\": \"#283442\", \"linecolor\": \"#506784\", \"ticks\": \"\", \"title\": {\"standoff\": 15}, \"zerolinecolor\": \"#283442\", \"zerolinewidth\": 2}, \"yaxis\": {\"automargin\": true, \"gridcolor\": \"#283442\", \"linecolor\": \"#506784\", \"ticks\": \"\", \"title\": {\"standoff\": 15}, \"zerolinecolor\": \"#283442\", \"zerolinewidth\": 2}}}, \"title\": {\"text\": \"Accuracy for different k values\"}, \"xaxis\": {\"title\": {\"text\": \"K neighbors\"}}, \"yaxis\": {\"title\": {\"text\": \"Accuracy\"}}},\n",
       "                        {\"responsive\": true}\n",
       "                    ).then(function(){\n",
       "                            \n",
       "var gd = document.getElementById('f72ddff6-f126-40be-8a11-ec3bc7c612bb');\n",
       "var x = new MutationObserver(function (mutations, observer) {{\n",
       "        var display = window.getComputedStyle(gd).display;\n",
       "        if (!display || display === 'none') {{\n",
       "            console.log([gd, 'removed!']);\n",
       "            Plotly.purge(gd);\n",
       "            observer.disconnect();\n",
       "        }}\n",
       "}});\n",
       "\n",
       "// Listen for the removal of the full notebook cells\n",
       "var notebookContainer = gd.closest('#notebook-container');\n",
       "if (notebookContainer) {{\n",
       "    x.observe(notebookContainer, {childList: true});\n",
       "}}\n",
       "\n",
       "// Listen for the clearing of the current output cell\n",
       "var outputEl = gd.closest('.output');\n",
       "if (outputEl) {{\n",
       "    x.observe(outputEl, {childList: true});\n",
       "}}\n",
       "\n",
       "                        })\n",
       "                };\n",
       "                });\n",
       "            </script>\n",
       "        </div>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Create lists to capture train and test accuracy values\n",
    "train_accuracy = []\n",
    "test_accuracy = []\n",
    "\n",
    "# Split date into train and test, set random_state = 2 so test/train data is same as above \n",
    "X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3, random_state = 2)\n",
    "\n",
    "# Loop over values of k\n",
    "for k in np.arange(1, 16):\n",
    "    knn = KNeighborsClassifier(n_neighbors = k)\n",
    "    knn.fit(X_train, y_train)\n",
    "    train_accuracy.append(knn.score(X_train, y_train))\n",
    "    test_accuracy.append(knn.score(X_test, y_test))\n",
    "    \n",
    "#Plot\n",
    "fig = go.Figure()\n",
    "fig.add_trace(go.Scatter(x=np.arange(1,16), y=test_accuracy, name='Test Accuracy'))\n",
    "fig.add_trace(go.Scatter(x=np.arange(1,16), y=train_accuracy, name='Train Accuracy'))\n",
    "\n",
    "fig.update_layout(template='plotly_dark', xaxis_title=\"K neighbors\",\n",
    "                  title='Accuracy for different k values',\n",
    "                  yaxis_title='Accuracy')\n",
    "fig.show(width=600, height=600)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Improving performance of k-NN - Feature Scaling\n",
    "#### Optimal k = 5, which gives an accuracy of 0.69, but can we do better ?\n",
    "\n",
    "Can we do better than this? Since we are just looking around for the most similar points in the neighborhood, defined by k, and are using Euclidean distance, the magnitude of features, or the variables, that we feed into the model will have an impact on performance. So if features vary by magnitude, then the algorithm will be bias toward variables with higher magnitude. To remedy this issue, we need to transform our data.\n",
    "\n",
    "There are two common transformation methods. The first is normalization, which rescales values so they are in a range from 0 to 1. Standardization is another method that subtracts the mean from each value and divides this by the standard deviation of values. Normalization is also called Min-Max scaling, which is what we will use in this example."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### In k-NN, numerical features should have the same scale."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 505,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>EV/Revenue</th>\n",
       "      <th>Current ratio</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>count</th>\n",
       "      <td>150.000000</td>\n",
       "      <td>150.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>mean</th>\n",
       "      <td>4.640067</td>\n",
       "      <td>1.913800</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>std</th>\n",
       "      <td>7.115433</td>\n",
       "      <td>1.902742</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>min</th>\n",
       "      <td>0.230000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25%</th>\n",
       "      <td>1.325000</td>\n",
       "      <td>0.912500</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>50%</th>\n",
       "      <td>2.420000</td>\n",
       "      <td>1.450000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75%</th>\n",
       "      <td>5.220000</td>\n",
       "      <td>2.297500</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>max</th>\n",
       "      <td>52.860000</td>\n",
       "      <td>12.120000</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       EV/Revenue  Current ratio\n",
       "count  150.000000     150.000000\n",
       "mean     4.640067       1.913800\n",
       "std      7.115433       1.902742\n",
       "min      0.230000       0.000000\n",
       "25%      1.325000       0.912500\n",
       "50%      2.420000       1.450000\n",
       "75%      5.220000       2.297500\n",
       "max     52.860000      12.120000"
      ]
     },
     "execution_count": 505,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Generate descriptive statistics\n",
    "df_BBBandB[['EV/Revenue','Current ratio']].describe()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "As you can see, EV/Revenue and the Current Ratio have somewhat different scales.  This can be seen by looking at the max, min, and standard deviation values.  Let's try to even out their magnitude.  We subtract the min from each value and then divide each value by the difference between max and min.\n",
    "\n",
    "Alternatively, scikit-learn has a function that takes in a dataframe of features X and returns a normalized array which can then be used in our algorithm."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Normalization - rescaling values in data into [0,1] range"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 506,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Normalize by hand \n",
    "X = df_BBBandB[['EV/Revenue','Current ratio']]\n",
    "y = df_BBBandB[['S&P']]\n",
    "\n",
    "X_norm = (X - X.min()) / (X.max() - X.min())\n",
    "\n",
    "df_norm = pd.concat([X_norm, y], axis = 1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Let's plot our newly normalized data in a scatter plot format.  We can see that the values of the normalized data are slightly more even and not as spread out in terms of scale."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 507,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(0, 0.3)"
      ]
     },
     "execution_count": 507,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAqQAAAG5CAYAAABY5iZxAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nOzdd1yVZf8H8M9hgxyQ5UAQHKhgOVKcODHNrY9Zao5c6C/JUZqmuTNLSy0zM0vNiVtx5QREBEXFhTgwRJAlS5Yyr98f5LHTAVE559yMz/v1+r4ez3Xf93V/D1J9nnvKAAgQEREREUlER+oGiIiIiKhyYyAlIiIiIkkxkBIRERGRpBhIiYiIiEhSDKREREREJCkGUiIiIiKSFAMpEZEazZ8/H1u2bAEA2NvbIz09HTo66v1XbUREBNzd3dU6JxGRlBhIiahciYiIQFxcHExMTBRjY8eOhY+Pj4RdFS0qKgpyuRwFBQVa2+fGjRuRnZ2NtLQ0pKWl4caNG/jmm29gZmb2ynMw8BKRtjGQElG5o6enhylTpqhlLplMppZ5ypJly5bBzMwMNjY2GD16NNq0aYOAgAClEE9EVJYwkBJRubN8+XJMnz4d5ubmRS5v27YtLl68iNTUVFy8eBFt27ZVLPPx8cHXX3+Nc+fOISsrC3Xr1oWPjw8WL16MgIAApKenw9vbG5aWlti6dSuePHmCixcvwsHBQTHHqlWr8PDhQzx58gSXLl2Cm5tbkX04ODhACAFdXV20adMG6enpinr69CkiIiIAFIbimTNnIjw8HImJidi5cycsLCwU8wwfPhwPHjxAYmIiZs+e/co/p+zsbFy6dAn9+vWDlZUVRo8eDQCoW7cuTp8+jcTERDx+/Bhbt25V/Cw3b96M2rVr49ChQ0hPT8eMGTMAALt27UJsbCxSU1Ph5+cHFxeXV+6DiKgkDKREVO5cunQJvr6+mD59usoyCwsLHDlyBD/99BOsrKywYsUKHDlyBJaWlop1RowYAQ8PD8jlckRGRgIAhgwZghEjRqBWrVqoV68eAgMDsXHjRlhaWiIsLAzz589XbB8cHIxmzZrB0tIS27dvx+7du2FoaPjSnoOCgiCXyyGXy2FhYYGgoCDs2LEDADB58mQMGDAAnTp1gq2tLVJSUrBmzRoAgLOzM9auXYsRI0bA1tYWVlZWsLOze62fV0ZGBk6ePIkOHToAKAzAS5cuha2tLZydnWFvb48FCxYAAEaOHImHDx+ib9++kMvlWL58OQDg2LFjcHJyQrVq1XDlyhVs27bttXogIiqJYLFYrPJSERERwt3dXTRu3FikpqYKa2trMXbsWOHj4yMAiOHDh4sLFy4obXP+/HkxatQoAUD4+PiIhQsXKi338fERs2fPVnz+/vvvxdGjRxWf+/TpI0JCQortKTk5WTRp0kQAEPPnzxdbtmwRAISDg4MQQghdXV2l9X/55Rdx+PBhIZPJBABx69Yt0bVrV8XyGjVqiJycHKGrqyvmzp0rduzYoVhmYmIisrOzhbu7e5G9bNy4USxevFhlfOnSpeLEiRNFbtO/f39x5coVlZ9xcd/X3NxcCCGEmZmZ5L8PLBarYpQeiIjKodDQUBw+fBizZs1CWFiYYtzW1lZx1PO5yMhI1KpVS/E5KipKZb74+HjFn58+fary2dTUVPH5s88+w7hx42BrawshBMzMzGBtbf1KfXt4eKBz585o06YNhBAACk/t79+/X+nmp/z8fFSvXh22trZK/WZlZSEpKemV9vVvtWrVQnJyMgDAxsYGP/30Ezp06AC5XA4dHR2kpKQUu62Ojg6WLFmCwYMHw8bGRtGntbU10tLSXrsXIqL/4il7Iiq35s+fj/HjxyuFzZiYGKXrPQGgdu3aePTokeLz8yD4Jtzc3DBz5kx88MEHsLCwgIWFBZ48efJKN0e5ublh8eLF6N+/v1KQi4qKQs+ePRXzWVhYwNjYGDExMYiNjYW9vb1iXWNjY1hZWb1Wz1WqVEG3bt3g7+8PAFi6dCmEEGjSpAnMzc0xfPhwpf7/+/MZNmwY+vfvj27dusHc3ByOjo4AKuYNYUQkDQZSIiq37t+/j507d2Ly5MmKsaNHj6JBgwYYOnQodHV18cEHH8DFxQWHDx9Wyz7lcjny8vLw+PFj6OnpYe7cua/0SCU7Ozvs3LkTI0eOxL1795SW/frrr1iyZAlq164NoPDIY79+/QAAe/bsQZ8+fdC+fXvo6+tj0aJFr/xcUwMDA7zzzjs4cOAAUlJSsHHjRsV3yMjIQGpqKmxtbRU3Lj0XHx+PunXrKn3n7OxsJCUlwcTEBN98880r7Z+I6FUxkBJRubZo0SJUqVJF8Tk5ORl9+vTB559/jqSkJHzxxRfo06fPG53mLsrx48dx7Ngx3L17F5GRkXj27FmRlwD8l7u7O2rUqIE9e/Yo7rS/efMmAODHH3+Et7c3Tpw4gbS0NAQFBaF169YAgFu3bmHSpEnYvn07YmNjkZKSgujo6Jfu64svvkBaWhqSk5OxefNmXL58Ge3atUNWVhYAYOHChXjnnXfw5MkTHDlyBPv27VPafunSpfjqq6+QkpKCzz//HJs3b0ZkZCQePXqEW7duISgo6E1+dERExZKh8GJSIiIiIiJJ8AgpEREREUmKgZSIiIiIJMVASkRERESSYiAlIiIiIkmVuwfjJyQkqDz0moiIiIi0z8HBAdWqVSv1POUukEZGRsLV1VXqNoiIiIgqveDgYLXMw1P2RERERCQpBlIiIiIikhQDKRERERFJqtxdQ0pERERU1lhYWGDq1KlwdHSETCaTuh21EkLgwYMHWLVqFVJSUjSyDwZSIiIiolKaOnUqLl26hEWLFiE/P1/qdtRKV1cXvXv3xtSpUzF//nyN7IOn7ImIiIhKydHREUePHq1wYRQA8vPzceTIETg6OmpsHwykRERERKUkk8kqZBh9Lj8/X6OXIjCQEhEREZGkGEiJiIiIKojZs2fj5s2buHbtGkJCQtCqVSsAwLp16xAaGorr16+jTZs2SttERETg+vXruHr1Ko4fP47q1atrvW/e1ERERERUAbRp0wZ9+vTBO++8g5ycHFhZWcHAwABubm5wcnJC48aNYWxsDLlcrrJtly5dkJSUhCVLlmD27NmYMmWKVnvnEVIiIiKiCqBmzZpITExETk4OACApKQmxsbHIyclB9erVoa+vj6dPnyIhIaHYOc6ePYv69etrq2UFBlIiIiKiCuDEiROwt7fHnTt3sGbNGnTs2BEAEB8fDzMzM2zatKnEOfr06YMbN25ouFNVDKREREREFUBmZiZatGgBDw8PPH78GDt37sSoUaOwZ88euLu7IysrCytXrgQArFmzBr169VJs6+Pjg5CQEJiZmWHp0qVa753XkBIRERFVEAUFBfDz84Ofnx9u3LiBsWPHwtraGnfv3sWECROwd+9ezJs3Dy1btsSMGTMU2z2/hlQqPEJKREREVAE0aNBA6frPZs2a4e+//4ZMJkPnzp1RUFAADw8PTJkyBVeuXEFWVpaE3SqrkIHUwcEBu7asxf0bfrh+4Tg+HjlM6paIiIiINMrU1BR//vknQkNDce3aNbi4uGD+/PkYNGgQlixZgpCQEBw4cACenp5o06YNBg0aJHXLSoQm6o8//hDx8fHixo0bxa7z448/inv37olr166J5s2bv9K8wcHBL11ub28vou4ECnG8rRDbIMSuqiL1ykrxw7fzNPI9WSwWi8VisTZv3ix5D1J8x5Jy2auWxo6Qbtq0Ce+9916xy3v27AknJyc4OTnBw8MDa9euVct+F8/9DHZRs4HEwMKB3FSYh03D0AGdYWFhoZZ9EBEREZH6aCyQ+vv7Izk5udjl/fv3x+bNmwEAFy5cQNWqVVGjRo1S77dtq+ZAvI/KuHGqH5o1a1bq+YmIiIhIvSS7hrRWrVqIiopSfI6OjkatWrWKXHf8+PEIDg5GcHAwrK2tXzrv48QkwMReZTzbsB5iYmJK1zQRERERqZ1kgVQmk6mMCSGKXHf9+vVwdXWFq6srEhMTXzrvwu/WIrn+t4DsxVcrsGyDqAwr3Llzp3RNExEREZHaSfYc0ujoaNjbvziSaWdnp5YjmCdPnsLidXUwY/I56KdeQL6RHR4kGaDf/z4u9dxEREREpH6SBVJvb294enrCy8sLrVu3xpMnTxAXF6eWuVf9vB6//r4FLi4uSExMxMOHD9UyLxERERGpn8YC6fbt29G5c2dYW1sjKioK8+fPh76+PgBg3bp1OHr0KHr16oXw8HBkZWVh9OjRat3/s2fPcOXKFbXOSURERFRW5eXl4caNG5DJZMjPz4enpycCAwOlbuuVaCyQDhtW8sPoPT09NbV7IiIiokrl6dOnaN68OQCge/fuWLp0KTp37ixtU6+oQr6piYiIiKhsGwogAkD+P/87VK2zm5mZISUlRa1zapJk15ASERERVU5DAawHUOWfz47/fAaAHW88q7GxMUJCQmBkZISaNWuia9eupepSm3iElIiIiEirvsGLMPpclX/G39zzU/bOzs547733FC8gKg8YSImIiIi0qvZrjr++oKAgWFtbw8bGRm1zahIDKREREZFWFfc4SvU9prJhw4bQ1dVFUlKS2ubUJF5DSkRERKRVs6F8DSkAZP4z/uaeX0MKFL4Rc9SoUSgoKCjVnNrCQEpERESkVc9vXPoGhafpH6IwjL75DU0AoKdXfmNd+e2ciIiIqNzagdIG0IqE15ASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIqALIy8tDSEgIrl69isuXL6Nt27YAAAcHB2RlZSmWBQQEoEGDBgCATp06ITU1FSEhIbh27RpOnjwpydudGEiJiIiIKoDn77Jv1qwZvvzySyxdulSx7P79+4plf/75J2bPfvEQfn9/fzRv3hxNmzZFcHAwJk2apPXeGUiJiIiItGxoOyBiFZC/tfB/h7ZT7/xmZmZISUl57WVyubzYZZrEB+MTERERadHQdsD6cUAVw8LPjjaFnwFgx/k3n/f5q0ONjIxQs2ZNdO3aVbGsXr16CAkJgVwuh4mJCVq3bq1Y1qFDB4SEhMDKygqZmZlKR0+1hUdIiYiIiLTomw9ehNHnqhgWjpfG81P2zs7OeO+997B582bFsuen7OvXr4+pU6fit99+Uyx7fsq+du3a2LhxI5YtW1a6Rt4AAykRERGRFtW2LmbcSn37CAoKgrW1dZE3KHl7e6Njx45FbveyZZrEQEpERESkRQ8TixlPUt8+GjZsCF1dXSQlqU7q5uaG+/fvF7ndy5ZpEq8hJSIiItKi2buUryEFgMzswvHSeH4NKQDIZDKMGjUKBQUFAF5cQyqTyZCTk4Nx48Yptnt+DalMJsOTJ0+UlmkLAykRERGRFj2/cembDwpP0z9MKgyjpbmhCQD09IqOdZGRkTAxMSlymZ+fH6pWrVq6HasBAykRERGRlu04X/oAWpHwGlIiIiIikhQDKREREVEpCSGgq6srdRsao6urCyGExuZnICUiIiIqpQcPHqB3794VMpTq6uqid+/eePDggcb2wWtIiYiIiEpp1apVmDp1KgYNGgSZTCZ1O2olhMCDBw+watUqje2DgZSIiIiolFJSUjB//nyp2yi3eMqeiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaR4UxMREVVaRkZGGDrkfbRs2ggXrtzCzl17kZ2dLXVbRJUOj5ASEVGlZG9vj1uXz2D1eGt80vgY1vxfTYRePoOaNWtK3RpRpcMjpEREVCltXv8D6jz4PyD1GgDA9HEATK3OYtO65ejRb7jE3RFVLjxCSkRElY6enh4a1qmmCKMKScF4u5FjhXuwOVFZx0BKRESVDgMnUdnCQEpERJVObm4u7j54DFRtorzAsiVu3o6EEEKaxogqKV5DSkREldLI8Z/D9y8vVE/ZAZOMS8g0bY34qh9gdPfBUrdGVOkwkBIRUaX08OFDNG7hjo+GfoCWzfriwpVb2OHVFc+ePZO6NaJKh4GUiIgqradPn+L3DX/id6kbIarkeA0pEREREUmKgZSIiIiIJMVASkRERESSYiAlIiIiIkkxkBIRERGRpBhIiYiIiEhSDKREREREJCkGUiIiIiKSFAMpEREREUmKgZSIiIiIJMVASkRERESSYiAlIiIiIkkxkBIRERGRpBhIiYiIiEhSDKREREREJCkGUiIiIiKSFAMpEREREUmKgZSIiIiIJKXRQNqjRw/cvn0b9+7dw8yZM1WW29vb48yZM7hy5QquXbuGnj17arIdIiIiIiqjhCZKR0dHhIeHizp16gh9fX1x9epV4ezsrLTOunXrxMSJEwUA4ezsLCIiIkqcNzg4WCP9slgsFovFYrFer9SVyzR2hLRVq1YIDw9HREQEcnNz4eXlhf79+yutI4SAmZkZAMDc3BwxMTGaaoeIiIiIyig9TU1cq1YtREVFKT5HR0ejdevWSussWLAAJ06cwKeffooqVaqgW7duRc41fvx4eHh4AACsra011TIRERERSUBjR0hlMpnKmBBC6fPQoUOxadMm2Nvbo1evXtiyZUuR261fvx6urq5wdXVFYmKiplomIiIiIgloLJBGR0fD3t5e8dnOzk7llPzYsWOxa9cuAEBQUBCMjIx4BJSIiIioktFYIA0ODoaTkxMcHR2hr6+PIUOGwNvbW2mdhw8fwt3dHQDQqFEjGBkZ4fHjx5pqiYiIiIjKII0F0vz8fHh6euL48eMICwvDrl27cOvWLSxcuBB9+/YFAHz++ecYP348rl69ih07duDjjz/WVDtEREREVEbJUHi7fbkRHBwMV1dXqdsgIiIiqvTUlcv4piYiIiIikhQDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSKicmvIB+/jgp83Qi+dxuIFsyCXy6VuiYjegJ7UDRAREb2JX3/6FkPcDGEeMQ6ISYFT1w8xqP9huLr1QmZmptTtEdFrqNBHSHV0dNC7dx8sXvwzPvnkM1hYWEjdEhERqUHt2rUxwL0xzMOmAc8SgIJc6EdtRZ3MbZjo8bHU7RHRa6qwgdTY2BhHj15E+/ZbcOLEJGRlLcWxY6Fo3bqN1K0REVEpdejQAVZPDqmMG8Xtx8DeXSToiIhKo8Kesv/ss/nw8nobmzYZAAD8/Q1w+HBNHDy4De3b15O4OyIiKo2kpCRk6jaA+X8XmNRCfEKSFC0RUSlU2COk3bsPwtatBkpjiYlAaGgVNG7cWKKuiIhIHU6dOoVUs+6Aid2LQZkuEh3m4btVf0jXGBG9kQp7hLQ4QsikboGIiEopLy8PfQaPx0GvnTB7Ggz9/GRkWfXAtys34uLFi1K3R0SvqcIG0hMn9mLYsGnYvPnFUVJra+CttzIQGhoqYWdERKQON2/eRP233dC6dWvI5XIEBq5ARkaG1G0R0RuosIF05cpF2L//XTRoUA/Hjpmjfv0cTJyYhGnThkvdGhERqYkQAkFBQVK3QUSlVGEDaVZWFnr2dEWvXn3Qq9d7iI39G717b0BycrLUrRERERHRv1TYQAoABQUFOHzYG4cPe0vdChEREREVo8LeZU9ERERE5QMDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIiCSl0UDao0cP3L59G/fu3cPMmTOLXGfw4MEIDQ3FzZs3sW3bNk22Q0RERERllNBE6ejoiPDwcFGnTh2hr68vrl69KpydnZXWqV+/vrhy5YqoWrWqACBsbGxKnDc4OFgj/bJYLBaLxWKxXq/Ulcs0doS0VatWCA8PR0REBHJzc+Hl5YX+/fsrrTN+/HisWbMGqampAIDHjx9rqh0iIiIiKqM0Fkhr1aqFqKgoxefo6GjUqlVLaZ0GDRqgQYMGOHfuHAIDA9GjRw9NtUNEREREZZSepiaWyWQqY0II5Z3r6cHJyQmdO3eGnZ0d/P398dZbb+HJkydK640fPx4eHh4AAGtra021TEREREQS0NgR0ujoaNjb2ys+29nZISYmRmWdgwcPIi8vDw8ePMCdO3fg5OSkMtf69evh6uoKV1dXJCYmaqplIiIiIpKAxgJpcHAwnJyc4OjoCH19fQwZMgTe3t5K6xw4cABdunQBAFhZWaFBgwb4+++/NdUSEREREZVBr3TKvkmTJujQoQMAwN/fH9evXy9xm/z8fHh6euL48ePQ1dXFhg0bcOvWLSxcuBCXLl3CoUOHcPz4cXTv3h2hoaHIz8/HjBkzkJycXLpvRERERETligyFt9sXa/LkyRg/fjz27dsHABg4cCB+++03/Pzzz9roT0VwcDBcXV0l2TcRERERvaCuXFZiIL127Rratm2LrKwsAICJiQkCAwPRtGnTUu/8TTCQEhEREZUN6splJV5DKpPJkJ+fr/icn59f5B30RERERERvosRrSDdu3IgLFy5g//79AIABAwbgjz/+0HhjRERERFQ5lBhIV65cCV9fX7i5uUEmk2H06NG4evWqNnojIiIiokqg2EAql8uRnp4OCwsLPHjwAA8ePFAss7CwQEpKijb6IyIiIqIKrthAun37dvTt2xeXL19WesOSTCaDEAL16tXTSoNEREREVLEVG0j79u0LAKhbt67WmiEiIiKiyqfEu+xPnTr1SmNERERERG+i2COkhoaGMDExgbW1NapWrap41JOZmRlsbW211iARERERVWzFBtIJEyZg6tSpsLW1xeXLlxWBNC0tDWvWrNFag0RERERUsZX4piZPT0/JXhNaFL6piYiIiKhsUFcuK/E5pD///DMaN24MFxcXGBkZKca3bNlS6p0TEREREZUYSOfNm4fOnTvDxcUFR48eRc+ePXHu3DkGUiIiIiJSixLvsn///ffh7u6OuLg4jBkzBk2bNoWhoaE2eiMiIiKiSqDEQPr06VMIIZCXlwe5XI6EhAQ+m5SIiIiI1KbEU/aXLl2Cubk51q9fj8uXLyMjIwMXL17URm9EREREVAmUeJe9nZ0doqOjAQAODg4wMzPDjRs3tNFbkXiXPREREVHZoK5cVuIp+wMHDij+HBkZKWkYJSIiIqKKp8RAGhQUhJYtW2qjFyIiIiKqhEq8hrRLly6YMGECIiMjkZmZCZlMBiEEmjZtqo3+iIiIiKiCKzGQ9uzZUxt9EBEREVElVWIgffjwoTb6ICIiIqJKqsRrSImIiIiINImBlIiIiIgkVWIg/fbbb19pjIiIiIjoTZQYSN99912VMd7oRERERETqUuxNTRMnTsQnn3yCunXr4tq1a4pxuVyOgIAArTRHRERERBVfsYF0+/btOHbsGJYuXYpZs2YpxtPT05GSkqKV5oiIiIio4is2kKalpSEtLQ3Dhg2Djo4OqlevDj09PZiamsLU1BRRUVHa7JOIiIiIKqgSn0M6adIkLFiwAPHx8SgoKAAAvqmJiIiIiNSmxEA6depUNGzYEMnJydrop0LR0dFB//4DMWDAeOTl5WLnztU4ceKE1G0RERERlSklBtKoqCg8efJEG71UKDKZDJs3H0ZkZHssXGgGAwNg8uT26N59H6ZPHyd1e0RERERlRomB9O+//4avry+OHDmC7OxsxfjKlSs12lh5161bNyQktMGcOWaKsU8+scDOnf3g4uKCW7duSdgdERERUdnxSu+yf/jwIQwMDGBgYKCNniqEXr1GYNs2C5Xx7dtt0KvX+7h1a5EEXRERERGVPSUG0kWLCoOTiYkJsrKyNN5QRZGZ+QTm5qrj5ua5yMzkJRBEREREz5X4pqY2bdogNDQUYWFhAIAmTZpgzZo1Gm+svNu27Rd89tlj6Oq+GDMyAjw8krFnz3bpGiMiIiIqY0oMpKtWrUKPHj2QlJQEALh+/To6duyo8cbKu7CwMBw4sASnT8dh4sRcTJ6cjTNn4rB8+ad4/Pix1O0BAKpXrw5XV1dUrVpV6laIiIioEivxlD0AREdHK33Oz8/XSDMVzfr1P2L//m147733kJeXhx49jiA9PV3qtmBkZIRfftmJGjVaITRUDy1a5OLiRW98+eX/QQghdXtERERUybzSY5/atm0LIQT09fUxefJkxel7KlliYiK2bt0qdRtKli37HadPd8e2bUaKsblzh2HKlCisWrVEws6IiIioshIvKysrK7F161YRFxcn4uPjxZYtW4SlpeVLt9FkBQcHS7bvilBGRkbi7NkYAQil0tcXIiAgQvL+WCwWi8VilZ9SVy576RFSHR0djBgxAsOHD3/ZalSOyOVyxMerjufmAnl5+tpviIiIiCq9l97UVFBQgP79+2urF9KCxMRE1KqVAyMj5fFatYCMjDhpmiIiIqJKrcS77AMCArB69Wq4ubmhefPmiqLySQiBFSvmYMeOJNjbF441agRs2ZKAxYs/lbY5IiIiqpRKvKmpXbt2AF48IB8oDDXu7u6a64o0as+ebUhKisVPP30NC4tqiIl5gM8/n4GQkBCpWyMiIqJK6KWBVCaTYe3atdi9e7e2+iEt8fE5Ax+fdlK3QURERPTyU/ZCCHh6emqrFyIiIiKqhEq8hvTkyZP4/PPPYWdnBwsLC0UREREREalDideQjhkzBgAwadIkxZgQAvXq1dNcV0RERERUaZQYSOvWrauNPsqlmjVrYtDAfpDJZNiz7yBiY2OlbomIiIio3CkxkI4YMaLI8S1btqi9mfJk8ifjMHvKMFglbAIAzDnO0QMAACAASURBVJmyDd+u9sKq1b9J2xgRERFROVNiIHV1dVX82cjICO7u7rhy5UqlDqR16tTBnCkfoNrldwGRDwCoHrUVX046ikNHT+P+/fsSd0hERERUfpQYSCdPnqz02czMrFKHUQAYPfIDWMesUYRRAIAogHXMzxj38Yf4cu430jVHREREVM6UGEj/KysrC05OTpropdyoYmwEnYIslXGdgiwYGxlK0NGb09HRUbx5KyQkBAUFBRJ3RERERJVNiYHU29sbQggAheHFxcUFu3bt0nhjZdnWnd4Y2Ws6rONOKo0n2nyMrTt/kqir19elc0dsXPsdqmQEQ8hkyKryM4aP+xznAs5L3RoRERFVIiUG0u+//17x57y8PERGRuLRo0cabaqsCwkJwcGAWAxs9zssY9YCQiDZdiIOBSbi0qVLUrf3SmxsbLB9/beoEdITyE0tHDSwxK5NR9C4VS+kpKRI2yARERFVGsUG0nr16qF69eo4e/as0ribmxsMDQ3x999/a7y5smzc/03H5o4dMXH0KADAuu+2wc/PT+KuXt3Yj4fBKmb1izAKADnJsIpbh49HDsXKH3+RrjkiIiKqVIp9U9OqVauQnp6uMv706VOsWrVKo02VF2fPnsWw0ZMxbPTkchVGAaBO7RrQfxapMm7wLAJ17GtI0BERERFVVsUGUkdHR9y4cUNl/PLly3B0dNRkT6QFh46fQ6pFb5XxlKp9cPjEOQk6IiIiosqq2EBqZGRU7EbGxsYaaYa05+jRY7iX3RzZDuMBHQNAxxDPHP8PtzMa4eTJkyVPQERERKQmxQbS4OBgjBs3TmV8zJgxuHz58itN3qNHD9y+fRv37t3DzJkzi11v0KBBEEKgRYsWrzQvlV5BQQE6vvs/LD1mjjuNjuN2o7+w5JAxOvcYpHiqAhEREZE2yAAUmT6qVauG/fv3IycnRxFAW7ZsCQMDAwwcOBDx8fEvnVhHRwd3797Fu+++i+joaAQHB2Po0KEICwtTWs/U1BRHjhyBgYEBPD09Swy7wcHBSm+PIiIiIiJpqCuXFXuXfUJCAtq3b4/OnTvjrbfeAgAcOXIEPj4+rzRxq1atEB4ejoiICACAl5cX+vfvrxJIFy9ejGXLlmH69Olv+h2IiIiIqBwr8Tmkvr6+8PX1fe2Ja9WqhaioKMXn6OhotG7dWmmdZs2awd7eHkeOHGEgJSIiIqqkXvvVoa9KJpOpjP372kSZTIaVK1fi448/LnGu8ePHw8PDAwBgbW2tth6JiIiISHrF3tRUWtHR0bC3t1d8trOzQ0xMjOKzXC7HW2+9BV9fX0RERKBNmzbw9vYu8sam9evXw9XVFa6urkhMTNRUy0REREQkAY0F0uDgYDg5OcHR0RH6+voYMmQIvL29FcvT0tJgY2ODOnXqoE6dOggKCkK/fv1e+Q5+IiIiIqoYNBZI8/Pz4enpiePHjyMsLAy7du3CrVu3sHDhQvTt21dTuyUiIiKicqbYxz6VVXzsExEREVHZoK5cprEjpEREREREr4KBlIiIiIgkxUBKRERERJJiICUiIiIiSTGQEhEREZGkGEiJiIiISFIMpEREREQkKQZSIiIiIpIUAykRERERSYqBlIiIiIgkxUBKRERERJLSk7oBIiIiTdDV1UXnzp0hl8sRHByM2NhYFBQUSN0WERWBgZSIiCqcd955B7/8sh8Rf5vB3S0TZgbxeJavj90H/sKkaV8hJydH6haJ6F94yp4qhSpVqsDCwkLqNohIC/T19bF27QEsWGCPbi3uwyaoMQxPt4C5bxOMaHIbXn+ukbpFIvoPBlKq0GxsbODldQoHD97Dn3+G4syZW2jduo3UbRGRBnXv3h1HjlTFjE8TYH1nKJD7RLHM8OEGtG1SEzVr1pSwQyL6L56ypwpt584zmDPHBYGBhf/fq1q1mti7dx8++qgNHj58KHF3RKQJVatWRXy8MWrbPQFu3lNZbpB+FXXr1kVsbKwE3RFRUXiElCqsTp06ISTEVhFGASAhAViypBo8PGZI2BkRaZKvry8GDkxCRKQBYOassjzbrAXu3VMNqkQkHQZSqrDq12+Aq1ctVcavXtVFvXpvSdAREWnDo0ePEBS0A2k5Rkhy9gIMbQoXyHSQ5TAJfsF/IyEhQdomiUgJAylVWNeuhcDN7bHKuJtbLq5fPy9BR0SkLQsWTMMffwzFtYgcpHUIQlrHYMS4BmKtvxWGj5ksdXtEVARRnio4OFjyHljlpw4eDBAffpgtACEAId5+W4jAwChhbW0teW8sFkt7JZPJJO+BxaqIpa5cxiOkVKENHfouWrT4E+fPR8Pf/xFmzz6D4cM7IzExUerWiEiLhBBSt0BEL8G77KlCy8rKwhdfeEjdBhEREb0Ej5ASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaT4pibSKAsLCwwc0A/GxkbwPnQUUVFRUrdEREREZQyPkJLGDB7UH2HBR7B2vBF+GpaFSyfXY/H8L6Rui4iIiMoYHiHVoObNm8PdvS+Sk+Oxd68Xnjx5InVLWmNhYYGfvv0C1S91BfKfAQCqRW7BxME7cehYK1y8eFHiDomIiKis4BFSDZDJZPj9932YMuUE7txZCD29H3H8eBg6duwidWtaM+h/A2CZsEkRRp+zjl6BTz2GSdMUERERlUk8QqoBw4aNRGxsN8ydK/9nxBC7dtXE8eOb0b59HeTl5UnanzaYGBtBr6CII8J5GTAxMdJ+Q0RERFRm8QipBnz44Sf48Ue50lhqKnDypCk6duwoUVfadfDQUTy2+khlPLX6KGzY5i1BR6QNXbp0wfr1B7F160kMGTIcurq6UrdERETlAI+QaoC+vgGys1XHs7N1oK+vr/2GJBAZGYmNe85h/MDtsHq0EsjLwpMaoxAYbYujR49J3R5pwIIFK+HgMBI//GCJjAxg5MjW2LVrHD74wB35+flSt0dERGWcKE8VHBwseQ8l1cSJU8SUKVkCEIoyNBQiMDBGGBsbS96fNqtNmzZi64Yfxf4d60S/vn2ETCaTvCeW+svR0VEcOhQn8K/feUCIRYueiP/9733J+2OxWCyWZkpduYxHSEtJJpOhXbt2kMvlOH/+PNLS0rBhw1rs3TsElpYu2LfPDDVrFmD69ET88MMMPH36VOqWtSooKAhBQUFSt0Ea1qNHb3h52aiMb9tmhhkzRmLfvj0SdEVEROUFA2kpNG7cGId2rYdZViAM8pKQaTUHP/yyHd+vWosBA9zQp08/jBv3IZKTYzFhws+4f/++1C0TaURmZjqqVs0FYKg0bm4OZGamSdMUERGVK5If7n2dKiun7HV1dUVEWKAQ++2F2IbC2q4jEkN3ifbt20veH4ulzTIzMxNBQbHC1PTF6XqZTIjdux+Lli1bSt4fi8VisTRT6splvMv+DXXt2hUW6aeBrH+9ClMUwCpiEWZNHSNdY0QSSEtLw9y5Y3D6dCw+++wpPDzycOpUPAICfsSlS5ekbo+IiMo4nrJ/Q5aWljDOi1Fd8DQGNjZW2m+ISGInTx7D+fNO6NWrF4yNjTFs2HHEx8dL3RYREZUDPEL6hvz9/ZFSta/KeHaNgdh36LQEHRFJLzMzE7t378bmzZvLdRh1cnLC3u3rcO+6HwLP7EeP7u9K3RIRUYXGQPqGYmJisPNoMFJd1gDGtoCOIXLsR+Bv05FY8+sGqdsjojfUqFEjnD36J/5n+Qfq3+iENqme2L5iDCZNHC11a0REFRYDaSlMmT4Poxcex3nzn3Gz/hEsPVEDrTv2QWZmptStlQk6Ovz1ovLnx2VfocbdCUDSxcKBp49geX0EvvxsQqV5sQURkbYxMZRSbk4ucnNzkZebi5ycXBQUFEjdkqRkMhkWzZ2BqDtBiL51Cneu+WFA/95St0X0yhrWswdSbygPijzopV1DvXr1pGmKiKiC401NpbD8m7kY28seFhEzgCdJcO77IYZ9eBitOvRGVlaW1O1JYtXyhRjtlgP55faAyEdNfTOs/3YLsrKe4cRJXltLZd/T7HxAzxTIy1AaLzC2Q2JiokRdERFVbDxC+oZq1qyJ4QPdYBHqAWQ9BPIyYfhwA+o99cL/TVC91qx793fhf3IPwkJ88PPKJahevboEXWuWiYkJBvftAvn9rwHxz7vLc9NgfWsCvpk3TdrmiF7RT79uQVq9eUpjeTbdEBqRxkBKRKQhDKRvqGPHjrBM9VYZN4rbg/f7dVMamzX9U+z57Uu4OeWhUZU7mNgxFRd8D6BGjRraalcr7OzsIEu/pbrgWRysLU213xDRG1j720ZsOJOF2Ja+SK63BHFv78F5TMT7H02UujUitdPT04ONjQ10dXWlboUqOQbSN5SSkoKnOkUc5TSqjqSkFMVHuVyOBbOnQJ7mD1ybA4T/Cl2Lt2GvewOL532uxY4179GjRxByZ9UFRtWR/KRyXsJA5dO0LxbApfUA9P3sCNr0/Rydur+PJ0+eSN1WuTNwQD8Enz2Ee9f9sOm3lbCzs5O6JfqHTCbD0kVf4kHoWVw7uQYPbp3DlzM+lbotqsQYSN/Q6dOnkWr2buEjnxRkSHL4Ct/9uFExMnXKpzCI2QvcmA9k3AdSrgKBI6FTxQ7dunTQfuMalJmZiYPHA5BRdwYAWeGgXhUkOf+Cr77+UbK+3N3dsWnTUeze7Y/RoyfAwMBAsl6o/EhNTcX58+cRGRkpdSvl0oI5n2PDwr5o+Xgc6t/ohFF1vXH+9G6G0jLi6/lfYNJ7hqh1qT1qhn4Au8tu+GJofXz6yTipW6NKioH0DeXn56PfhxPwwHkvkp2+RWbd6Yht6YMVW4Lg7++vWK9r+6aQ/f2H6gSRXtDRNdRix9oxaeocrD1jiEeugYhtdgz3Xf6C5/ytOHr0uCT9zJ27HMOH78a33/bE5MlusLRcgQMHzvHxPUQaJJfL4TGyP6re9ACe/fOChHgf1Ho4B19XsDND5ZGOjg5GDRsIefgiFL5GHIDIR9U7X2DapI+lbI0qMd5lXwrXr19Hvcbt0aFDB5ibm8PffyBSUlKU1omLTwCqm6lsK/Qt4X3MV0udvlCvXj3k5ubi4cOHGpm/oKAAX8z5GjO/WgJDQ0M8e/ZMI/t5FXZ2dmjXbgR69rRQjP3wgwn09Fzw4YfDsXXrxpdsrR1yuRzjx09Bt27/Q3JyEjZsWIozZ85I3RZRqTRr1gyGKWehCDv/0Ek4g3at5xW9EWmNqakpdHISAPGfxxQWZMNIN0+apqjS4xHSf2nQoAH+/PMo/PwicOZMGMaOnVTiNgUFBfDz84O3t7dKGAWAVWu3IsXhCyhOYQOAXhVk2o/B7K+K/hdz+/ZuOHAgEL6+ETh69Ap69uzzpl9JoV279jh3Lhzz5p3D8uUXcOrUDTRs2LDU8xZHCCFpGAWAbt3exZ491irjO3ZUQc+ew1+6rZOTEzZtOvLP78JtjB+v/mur5HI5Dh++iKSkufjgg+aYP78bPv54Nz77THP/wdbR0YGhYcU7Mk9lS3x8PHKNHFQXGNVAampaidvXqVMHCxeuwq+/7sOwYSN5mY2apaenI1fPBtD5z5kiPTkysmVFb0SkBaI8VXBwsEbmrVOnjjh//pFo2lQIQIgqVYT45psnYsmSNaWee+FX00Xc7RMi7/wYkX1hqoi7f0H07tWjyHW7dOkm/vrrsbC3L+zDxkYIL68kMWTIx2+8/5o1a4qAgFhhZVU4JyBEnTpCBAVFCkNDQ8n/TjVVgwYNEjNmZCq+8/Nq1kyItWv3FLudo6OjCAx8JJo1K1zfxESIJUvSxNKla9Xa34wZC8SIEdlKvclkQvj6xgoLCwu17svY2Fj89NNWcf58jDhxIlacORMq3Nw6Sv53pO1q2LCh2Ln5FxEW4isO7PxdvP3225L3VFHr0rmjIv9oSyG24Z+SieRrv4v+/fu+dLs+fQYKH5940aNHvnB2FuKLL9LFqVPXRJUqVST/ThWpPCeOEcnXfhdiZ5XCv59d5iIxdKf4cPBAyXtjla9SYy6T/stI9MWV6ueft4v27ZWDCyDEqVMxwsrKqtTz29rairFjR4uhQ4cIU1PTYtc7ceK6sLFR7sHQUIjz5x8ImUz2RvueNetr8b//5ap8t+nTM8SHHw6T/O9UU2VsbCwuXHgkLCyUA5+XV6Jo27Ztsdv99NNW0bGj6u/CyZMxwsbGRm39HT9+TRgbq+7niy8yRJ8+fdT6s9i587QYPPhF+LWxEcLHJ044OztL/vekrWrZsqWIvXtWiL9aF/4H+GgzEX/nlOjm3kXy3ipiVa9eXVw6d1TEXd0qkoKWiJi7/mLe7M9euo2+vr4ICooWJibK/0yMGpUjZs1aLPl3qmg1etQwcfean4gO8xW3rpwR7w/qL3lPrPJXDKRqLl/fOwJQDQcLFqSIzp07a+37+fk9KrKPfftihKWl5RvN+csvu4WLi+qcffoIMX36fMn/TjVZbm4dxYUL0WL27HQxaVK2OHMmTkybNveNfhfmzUsRXbt2VVtvO3f6CgcH1f18/32ScHNzU9t+nJycxI4dcSr7adVKiLVrd0n+d6StunTuiBD77f51xA5C7LYQt6/6St5bRa4GDRoINzc3IZfLS1y3bdu2YtmyRIH//K7q6wvh43Nb8u/CYrFUS125TKPXkPbo0QO3b9/GvXv3MHPmTJXl06ZNQ2hoKK5du4ZTp06hdu3ammznpR4/joeDg+p4w4bZiI6O1lofeno5KOpyqerVBdLT0197PplMhtzcJPTqla+yrFu3JFy86PMmbZYb586dRceO9XDjxjAkJY3Chx++jZUrF790m4SEONStqzqu7t+FjRu/w9y5ytcd164NtG2bioCAALXtp2HDhrh0SfXFBJcuAQ0bNlbbfso6Wxs5kPWfv7+cFJjpZ8LUlC9u0JS7d+/i3Llzr/Tvr5ycHBgbF6iMGxoCeXm5mmiPiMoIjQVSHR0drFmzBj179oSLiwuGDh0KZ2flh6aHhISgZcuWaNq0Kfbs2YNly5ZppBcXFxds2nQEvr7h8Pa+iPfe662yzi+/LMD33ydD71/PHejcOR/GxvcRHh5eqv1bWFhg9Yqvce+6H8KunMGMzzyLfSuGl9c6zJ2rfNH/xIlZ8Pc/hNzc1/8X8h9/7Edu7lC8/74uevUqHNPVBUaNykb9+uE4e/bsa89Z3mRnZ+PQoUPw8vLC48ePS1x/zZp5WL48Cf9+MlTHjvmQyyNw9+5dtfX111/HEB6+FqdPx2HatCx8910yvLwiMG5cHwgh1LafsLAwtG6doTLeujVw69Z1te2nrMuHPpRuLnxO31zyG/Co0JUrV/DOOxn475uVJ03KxJ4966Vpioi0RiOHcNu0aSP++usvxedZs2aJWbNmFbt+s2bNxLlz50qcNyvziYi54ysibweKuV9OK/G6yiZNmohz5+JEkyaFp35q1hRi+/YkMXr0JJV1R4zwEIGBUeLXX+PE4cMx4ujRQOHo6Fiqn4OJiYm4ffWsyPMZIMR2HSG8jEVm4Ofi6P4txW4zb94Pwt//kfjllzhx+nSMWLXqT6Gnp/fa+3ZzcxO//lp4+svSUogffhDC31+IsLA8sXbtVmFkZKSVw/nlsYYPHy8CA6PEunVx4tChGLFrl4/abzR6XtbW1mLgwIGiU6dOQkdHRyP72Lr1LzFixDOBf06B2toKcfZsnGjQoIHkP2tt1eoVX4ss/3FKp+yzzwwS2zf9LHlvrBf1zjvviAsXosXUqVli4EAh/vgjQWzZckTo6upK3huLxVKtMn8N6aBBg8T69esVn4cPHy5Wr15d7PqrV68Wc+bMKXLZ+PHjRXBwsAgODhYiI7LwPybb9UTahfli5bIFL+1j1y5f0aCB8vVIenpCBAVFFxny3nnnHXHq1BURFpYlNm1KFsePx4hNmw698R2en07yEFkB/6d83do2iISrf4qmTZsKPT090bVrV9G7d2+la6xMTEyEs7OzMDMzU5rP2tpa9O3bV7Rv377EMP7112tEp06q1yi6uwuxYMFKyX+Jy3rp6emJRo0aiWrVqkneS2nL0NBQfPfdOhEU9Ej4+cWKY8dCRKtWrSXvS5ulr68vvHdvFLE39om08zNF7DUvceqIlzAxMZG8N5ZymZiYiGHDRoipU78ULVq0kLwfFotVfKkrkGrswfgymeqpseJOQ3700Udo2bIlOnXqVOTy9evXY/36wtM1IjH4n8nyIA9fiA8HnMOcBcuQlVX0u9KrV6+D/55lzcsDbt7UhaOjo9LpeE/PmRg6dDYiI83QoweQn28MAOjbtwfWrduL4cPfe+l3Lkqvbu1g/HiByrhNxjGMHD4M7TsMxenTcmRk6GL27EysX78ImzatRVZWFsLCwpS2+WbhLIz+8F3IU47hmV5NpBh9h96DxhR7GjkjIxkWFvkAlC8PsLTMR3p68mt/l8omLy8Pt2/flroNtcjOzsbMmRMAFP6z6eDgALlcDl1dXeTnq15fXBHl5uai3+DRcHBwgLOzM8LD95b6chzSjKysLGzfvkXqNohIizQWSKOjo2Fvb6/4bGdnh5iYGJX13N3dMWfOHHTq1Ak5OTmvvR9ZWijs7OyKDWUFBU9RpQqQmak8Xru2QFJSkuJzjRo1MHDgNKSmmmHqVODf/40+dEgfEyY0RY0aNRAXF/da/T2IigVc6gGZD5TGM/TqoU+/MWjf3hqJiYVjy5fLsX//Qly5EoDMzExM8xyDeo618NeZIDyKScDEAfVhcdkdAFAFgFWVOjiydwsaNOlQZNjfseN3bNzogSNHquH55aeGhoCnZxKGDdvwWt+DKobatWtj/fqDSEmpgaQkHbRokYPvvpuO/ft3St2a1kRGRvL99EREZZBGDuHq6uqK+/fvC0dHR6Gvry+uXr0qXFxclNZp1qyZCA8PF/Xr13/leUVisNKp75g7fi99rueYMZ+I5ctTBZQed5QjNm06pLTe6NFjxdixucLPT/UUNyDEypUJonnz5q/9c6hfv76Iv3NaCC+TF30fcBAJkdeKfGh7u3ZC7N97TMTd9RH5J7sJccBRPD03QWQlhQtx5O0Xc+yUC3F1tshNDhX3rvsLj3EfF3kKf8iQj0VAQKyYMuWpmDr1qTh/PlYMHjxc7X/f1atXF+3atVPrczpZ6i2ZTCbOnr0tGjd+8ftmZCTEX38liCZNmkjeH4vFYrHKX5X5U/b5+fnw9PTE8ePHoauriw0bNuDWrVtYuHAhLl26hEOHDmH58uUwNTXF7t27AQAPHz5E//79Xz6x7PmDAWTIdJyKQyeDkJGhegfxcxs2/IK5c+vg7NmPcOGCPho2zEN6+nVMmDBUab2cnGxUrZqPhw/18NZbwM2byvO0bJmHr756/Tusw8PD4TH9B6xefhpG6ZdQoGuKFFkdeG04iJiYOSrrJyQA3To4wdSnGZBX+L2MMtdB5MUCdUYCITMAXSOgkzdwfz30/mqK+npV8IPHVLzb5VcM/miCYq7GjRvDxEQXP/wwCQYGBsjPz8d77x1HWlrJr+57Vfr6+lizxgu1arXD1av6aNEiF+HhPpgyZQTy8/PRsGFDtG/vhri4WJw4cQJ5eXxPslQ6duyICxdsEBr6YuzZM2DePBt4eHwJT8+hxW9MRESkYZKn69epZ1npIubmYRF9N1CsXLbgle+8lMvlwtXVVdja2ha53NzcXJw/HytatCi8E/35jVByuRCrV2eIL79cWqq+dXV1RfPmzUWjRo0EUPiw8r17VR9WvmJFpki9uUnlJiixTSYKkq4U/jlorBDBn6qsE3/dSzg7OwtdXV2xefMRsWVLvBg5UojFi1NFQEB4qZ8YUFR99906MXZsltJ38PTMFAsWrBS//bZHeHnFiZEj88X8+U9EYGCEaNiwoeS/Q5W1hg0bJjw8VN/YZWEhxP79gZL3x2KxWKzyV2X+LntNfnFTU1ONPB6nf//BIiAgTsyblyNOnxYiNDRPXL+eLEaOHK+R77JixQaxYkWqsLUtDL6ffPJUnD17U8Rd3aoaSHcYCpEWLgoChgsRsVWIAw6q6wR8JP5vooeYNm2OmDr1xeUAhoZCdO8uxKlT19Xav46OjggMVH2zlI6OEGFhKeKrr9KVxuvUEcLPj29bkarq168v9uxR/T9BQ4bkiJkzF0neH4vFYrHKX5WLNzVpSkZGBgoKVN/m8Zyenh7mfvkZ7l7zRUSoPzauWwEbG5sS5z14cDf69WuM2NipOHToSwwc6IImTSyxebNmHsj82WdjcO7ceKxeHYBdu65CJvsK3bu3RGK+LWD6n1cFOU0A7v8BmUktFFi2AkxU32qVoVsbsXEJGDBgFNauNQEATJsG+PgAgwcDFhYu2LjxIAyKehXUGzA0NERqqurTFAoKAD29Kli1SvntNxERQHh4Vbi4uKhl//R6wsPDkZTkjy+/zIRx4QMk0K0bMGXKI/z220ppmyMiokpP8nT9OvUqSfzYga0iM2CyEDsMhNgGkX+quwi/GfBK71IuC+Xk5CQiwgLFsyuLhDj3oRDhG4R4sEOI7XqFR0L9/ieePjpXeNT0+dHRfbXEwztBwsDAQPj7/y0AIUaMEGL1aiFkshdHw8aMeSZ+/HGz2nr187sjzM2Vj7hZWwtx794zoaOjenPYihWPhaurq+Q/48paOjo64pNPPhNnztwW/v5/i5Ur/xQ1atSQvC8Wi8Vilc+q1KfsdXV1hbm5eZF3lb/99tsi4eqfKqezn50dLWZOnyycnZ3FqcPbRWSon7h33U9Mn/pJiQ+Yl6L09PTE6p9Wiux724U42lzpu+T5DBQH92wWj+4GiqQLS0XCpZ9F+I1z4u233xYAxMqVm8S77+YLHx8hTE1VQ6Gvb8wbP+j/v9W9ey9x7FiCcHIqnLtRIyFOnkwQGzfuEwMG5Cnt18hIr4edlAAAIABJREFUiMDAKKGvry/5z5fFYrFYLFbpq9IG0ujoWBEU9EgcPBgjAgMjxciRE5SWe3iMEyJguOr1lftqifNnDoqYuwFCHHYpHPMyEmkX5ovf1iyT/HsVVVWqVBHRdy8IsbfGi++xy0zE3vMXderUEcOHfyw2bNglZs2aIwwMDBTbVatWTQQE3BcXLxYIFPEIqz//jBUODg5q67N169bCy+uM8PW9J7ZtOylatPh/9s46rMqkDeM359CNAoKUWIiBrdjYndiNHZ+x9qq75qq7a6ydu6wJmJhIg6QignSK0tKN5PP9wQoeD+ohD+j8ruu+Lpl34pl33uN5zrwzz3QnJSUlcnEJpSVL8ql5c6J+/YisrZNoypSZQr+vX5Kuri6dPHmdnJxCycLCiQYMGCB0mxqiZGVlaf/ubRT0yoF83K1o8aL5DfJHHRMTExNT3euHdUhjYorLX0GLixNdvpxKxsazyq+PHj2aMp7v4XdI7QZTRIALkXUfvmvxwTYNNn5m165dKSLAjd57X6Ckl6foXYgnzZwxjdzcImjz5mwaNIhoy5ZscnMLJ3V19fJy8vLy9OJFDGlq8jqjXO6Xj02tqcaMGU2P75iS9f0rZGw8meTk5Gj16o1kZuZIx45dpg4dOgj9fn5Jbdu2JXf3OOrfv+w+tWxJdPduCs2aZSJ02xqSJCUlKcDbkQqc5xKZiRHdVKSsF3vI4spZodvWmDVo4AB65faEYoKdKcLfhdasWiJ0m5iYmJgE0Q/rkHp58TpYCgpE9vZB5de5XC5FBLgRPWj7SRB5WUoMtaeoILdKwimB0j130eDBg6tsy9Chw+nePXdycgonU9NHfIH/a1MdO3akrl27EofDIXNze+renfc+9OpFdP26NU+Zvn37k61tEmlrl+VRVCS6dCmNVqzYWOv2Xb74F6W/Okn0UI/ofivK8DpID+9cFvrzIqiuXn1KnTrx3lNxcSIPj2iBQ4v9CFq5YnHZ+my+kGMW5SHNmKqmfv36UlKoDdFd9f/e3EhRhvcR2r9ri9BtY2JiYvqWfuhd9p+SmQlwuRW7uUtKSjB8/Fy8Vj2FxI7meN/uAt4Z2GLxT3/gXXQs/+51AB+k9BEdHV2ldmfPXoQVK8ywdm0fGBm1xvHjY3H+vAM6d+78xTLa2tpQVVWtUjsfCQgIgI+PD0RERKCh0R7e3rzXX7wAdHQMICJSseu9oCAfAX7/4qZFMJyd3+HWrUBYW6/BuXNHqmXDl+jcuTNG91aBYvAaICsUyImEQtjP6NciE4MHD67VtuoKHR19+PvzphUWAoGB4mjZkv+Z+VGZNGogpJPv86WrZj/EYKOBQrCo8XN4/xaoBC0G8hPKEkryoRCyESZzJkJSUlK4xjEYDEY9UWcnNdUXyspAYWEGT1pUVBS6GI6Ajo4OZGRkEBwcDCJCVnYe7p0/gqavZwClhQCAYpVhCH8vhsjISIHb5HA4WLNmNwYNaorCsmrg6wuYmDTDoUMnMXUq7xfzgAGDcODAJURHy0JGhiAmFoeVK42r7AR/pJJj68vTRUREICoqCivLazBQz4ZKrg2yRbKQqjIWwyfMQ0RERLXa/BpTJ4+GSuoNvnSllBuYN90Yjo6Otd5mbVNa+gFSUkB+Pm+6unop0tLShGNUAyQuMRloqQXk8p4Fn8vVQuL7ECFZ1bhRV1UE4mP40jlZAdDW1kZYWNVPiGMwGIzGRqNzSDU1iyEhIYqCAkBBAbh4MRVHjvxcad5373i/NF1cXLDxQHPs2+kMsdxgkFRz+EekYvq8RVWyQUtLC2FhYuXO6EciIgAVlRY8adra2jhwwBwTJqghPb0srX17ddy4YY9Bg9qhpKSkSm2XlJTg/fswdOqkxjOj16ULEBcXhNLSUvy6fSP6KjpDKvgMAEAOgJysGe6ZnUennsOq1J4gZGXlopiryP8wiSkiPfPLx7o2JMzMzmLbtr3YtUuuPG3w4BJkZwchNTVViJY1LI6cNMW4O0egkjqh/EcdpJojTWkSHj8eIFzjGilZOQWAeBOgkPeHD8m0RmJiopCsYjAYjPpH6OsPqqK3b6PJzS2KnJziyNExmMaOnVTlOsTFxcnAwICUlJSqZYO8vDzZ2cUTPtu9LiVF5OwczpN3z56/aPToYr68e/Zk0JgxY6rVvo6ODnl4RNGqVbnUsyfR6tW55OERRVpaWgSAwv2cy2OwfqoE3xt1cnxos2bNKDHchTcu6g0uvQ95Sm3atBH6MyOofv/9PNnYJNCvv6bTjRuJZGnpRoqKikK3q6Fp/twZFBfmTmme+ynZ6wRFBriRgYGB0O1qrJpqPIlS/S5XxBm+DspzWULX/jkhdNuYmJiYvqUfeFNT9TsuKipK10xPU2Z8AGVGOVJ06HOaOX1Kter655/7NGFCIeETJ3PfvkxaseInnnz//vuUdHT4Qy/NmEG0cuXaavdFWlqalixZRY8eudOLFzHk4BBE69ZtI0lJSXoT6FLp5q1E7wukr69fJ+Myc9pkSgh3pw8ea6nQYxUlhj2j1Ssa3w51FRUVGjJkSKNypIUhCQkJGjhwIPXo0YOFfKoFrV5hQtGhHhTva0Zxoc/on3NHWLxeJiamRqHackhF/vtHo8HLyws9e/asVtlXns9gwLEEN/xoWQJXGjk9b8F4xVHY2NpXqS4ZGRlcvHgP0tKdEBwsBkPDQri738WOHf/jybdmzRbk5OyFqakET/r58yn4+++xePHiRbX6AgDXr1vB338ATp+WQVERsHDhB0yY4A8tNUL7zL3gxD+uyCwqh4LhAfAK5ODduyD88ssKREVFVbvtypCXl8fo0aPL1rBaWSEtLQ3S0tIYNWoUJCUlYWNjg5SUlFptk8H4XuBwOGjWrBnS09Px4cMHYZvDYDAYAlETv+xzhO5dV0XV9cQHDBhAeYn+lQTMV6fXnk+rbY+mpiYZGhp+8fW/vLw8ubu/oYEDK+KALlz4ge7efVaj+2BoaEgXLqQQPpt53b8/h+zssincP5HyXdcSWepSid0oKkwJomlTiwgg6tKlLJyRqqpqnY7V6FHDKT7ck3I9N5XNmoY60uafVtV6OyoqKmRkZFSrwf6ZmJiYmJiYvi0W9qmKLFiwBh8Sg/gv5CdAo3mzatcbGxsLT09PpH/csfQZWVlZMDbuh5kzb8LFJRrOzm+ho3Mas2YNr3abADBo0Bjcv9+UL/3OHRnExsqii2EzbLP4HVal7jj92gx7/9KHpFTZtiNfX+CPP9SxbNnGGtnwNeTl5fHPyb1QfzUM0pGHIfbmDJp5D8WWpSPQpUuXWmmDw+Hg3wvH8Nr5Ku4dMsLzR0dg99gcMjIytVJ/Q8DIyAimpo9x544bli9fy8IAMRgMBuO7pNHtsq8u2dl5KJHvw39BWhvZuYX86TVkzJjxWLVqF2RllRAfH4Xff9+I169f11r9KSnx0NT8AIDXQdHSIqSliSA3Fzh+UhLHT6oBAJYuBTif/PxwdhbF3Ln9a82ezzGeMglKSVeA4k922VMplGP/xLqV82Cy3LfGbezcth7GBu8h6/NTeVoTtfG49vdxTJ65pMb1C5vNm/fCwGA1DhxogpQUYMaMrnj4cBHGjzdkr3QZDAaD8V3R6GZIJSQkvplHWloaHTp0gKKiYnmahcU5pObIIafVQUDkPz9cvAkKe9/Ctt2Ha9XGhQtXYc6cf7F4cXcYGbXEvn1DceKEDbp3715rbdy6dQMmJulo0qQiTVoa2LYtE7KymTx5uVxgzhzgyZOKtE6dgKiouosbqSAvC7HSSmaNC9KgKC/Ln14NTOZMgWwUb5B/scSH6N2lVaOfJVVVVcXIkUsxb14TBAcDycnAqVNSsLTUw4IFy4RtHoPBYDAYtUqjc0jV1dvB1TUSAwYMqvT6zp1/wto6HKtW2ePWrSCcPm0GMTExeHp64sHTR3gjaoKkPlFI6xeCrAG+uPIwBBYWt/jq0dLSwpQpU9CnTyWzql+By+Vi+fKfsWBBE7x/X5YWHAwsXKiKHTtOVLm/XyIrKwsbNkzHkyfROHw4FQcOpMPBIQ4HDiyCiIg9zp5NQ79+wOjRpXB1LYaLSymSk8vKKikBu3e/x7lzB2vNns959MQGKU1m8qVnNpuNqzetaqUNUU4JUFrEf+HDe8jLy9dKG8LCyMgI9+8r8aVbWEhi1KhZtdIGh8Np9I47g8FgML4PGp1D+vatGMaPb4kDB8yhoaHBc23Fig2QkVmGAQOaY/XqZhg+XB3e3hNx6NB5AMDFi38iJTMZb5OUEJWiCVfvROzawxtUX0REBFcuHYfX0zO4vlkTD0/OQtArJ2hqagpkn5aWFkJDRVFczJseFQU0aVJRh4SEBNau3QpbW39YWflg0aIV4HCqNhzu7q7o21cXKUm/Y8KIV1AQD4dRfwNs3boU169PxPjxF9Cz5zGsX98fenrP8PRpAm7eTMD9+xHYvXt2nZza9JGIiAjcsglEeofzgHw7QFoLOa13wje9PSzvP6iVNmIS0viPguVKoVBCp9EHFM/KykLTpgV86U2aAFlZGZWUEBxRUVGcOvYbYkLcEP7iJiICXDF1yoQq16Ojo4MNG3Zgy5bd0NPTq5FNDEZNGDRoEBytzBHs44gLp//g+25gMBiNA6Hv0KqKIiOJHB2Jnj8vJW/vRBo0aEj5NReXSJKQ4I/56eISRyoqKuTpGU16ehXp3boRubqG88T7W7NqKWW/2M27E/+xAXm7WZGGhgZdunSPXF2jyd39Hf322ymSkpLisU9OTo7s7OL4bJCWJnJyCiMVFRWSlpamJ09e0MqV+SQlRSQvT7RjRw5dvfq4yvfj9992ULrvOaK76kQ3uFTkOIUiAtwq3fWvoKBAampq9Tpew4cPp8d3TMnhiRnNmzOLREVFa63uLl26UEK4C5FVj7JxetCakoMf0PSpVT8soaFJTEyMPD2jSVWV9zm6fDmVBg8eXKO6r/1zgnJdVlY83xYylBxkSUMGGwlcx9Kl68nW9j1NnVpMEyYQ3b+fRDt2/C70+8b042nV8oWUEniTyFKX6LoIldgNp5hQDxZ1g4mpnvTDBsZPSiKSlS37clZTI7KySi53Sp2cYgngd0gtLOJpy5ZfafHiD3zXfv45i4yNp5XXH+RtT2Qhwxce6r2fBXl7x1CfPmXlRESIZs8uoAcP3PlsvHDhDhkb87Z17FgeBQam0O3b8RQQkEaHDhXy2XLpUjL16tVL4HuhrKxMCSH2fLYWOU+ng/t2fLVs27ZtaceOQ7Rr1xHq3Lmz0Me1utLT06O7Zhco7LUTOTwxp759+wrdptpSjx496PnzaNq1K5NWry4gO7tE2rr1N+rXrx+dPLKP9vyypfx0LkGlpKRE8cG2/OHP7mmSh6OlQHVoaWmRnd174nA+/5wlU7du3YR+35h+HImLi1NcmAfPKVd0HUTWfcni6lmh28fE9CPohw379O4dkPPfxu3ERMDERBnbtpVtSsrLS4KaGm9+cXFAW7sIGhp6ePmSf0OUt7cc9PS6lf8tISEGFOfy5ZPmZOP+fVV4eJT9TQTcuCGOmJg2fOtM162bi3HjbPDkSQKOHUvG8+dl6zm7d2+KqVPV4eCgBHNzMb42LC2VYWQ0VuB7YWhoCNn0p3zpovGWGDfS6Ivl1q7djqNHXeHjsxXu7huwfbsd9u8/CQ6HA21tbcjJyX2xbG0hJyeH48evwMMjFq6ucbh2zRra2tpVric0NBRTZi1D285GGDJmJtzd3evAWuHw8uVL9O/fCi9ezERKynzMmdMZfXs0x/1T8/A/AzvsGBqBl/ZXMHf2NIHr1NHRgWh2AP+FvFg0U1bkT6+EKVNm4+JFZZSW8qafPq2MadPYhitG/dG+fXuIZb4A6LM1Uinu6Nm1g3CMYjAY1aLRh31KTASkpJQBAAcP/oQrV25h2TIVvH0LqKgAx4+n4fTp/ZCSkkCfPpPx+rUUT3lDw0y8fl1xWpL7cx+01BkMvHesyMQRh4jqQJiZifO17+SkjK5de8Pjo6cKID8/HyYmE6CqqormzZtDT+9vLF7cDR8j9aSkABoaZfFAP0VT8wNSUuIF7ntKSgo+iGqAb8+6tCaSkis/EUlXVxejR6/DmDEqICpLs7VVhrvrDCyJ6AvKDAJJqsPLPxqzTdYgN5ffOa8Nbt92wunTnbBuXZlj3r17c1hYPMOoUZ2RmZn5jdI/DkVFRbCyKtsENn2aMYx0EyEfVLbumQtANeER/tzjhPsPnyI7O/ub9UVFRaFYvjP/BZkWiH+fKpBNXC7/GmkAKC4GREX5f2gxGHVFamoqSiSa818Qk0dePv8abAaD0XBpdDOknyMrCwD5AAAXF2f8+utEHDniBient7h82QfXrpng2rWLuHHDFAsWvEfXrhVlBw4swbBhiXj0qGyTTY8ePSCt2AkfupmiRHMqwJUGFA2Q0uU2bJ8FQU+vhK/9Tp0yERUVWqltSUlJ8PX1hZpaCyQkVKRfuQJs2gRIfeIbN2kCLFyYjtu3zQTuu6enJ9LEuwFybT5JFUFayz347cjFSstMmjQLly4plzujADB4cCnaqwai2fM+UAuaB/VXwzC6qSUsLS4JbEtVGDx4MAICWuDBgwrnxdsbOH9eDQsWrKiTNr8Hli80hnzsOd7E0kIopNzCyJEjBaojMzMTj+xfIqflVkCEW5Yo3gTJ7c5i8y+ChT+7f98cJib8P3iWLEnFvXt/C1QHg1EbxMTE4G2aBEqVevGkZ7Xcib/OXhWSVQwGozo0uhlSFZUSlM0NlQV6/+OPDFy8+Hv5dU9PDxgb8wd8z83NxYwZg3Do0N/Q1u4ADgcIDvbClCmLUVJSgjlzFuHIgX3gFCQjOzoAMh2OQdTgCJxdXLF93l4kJibC3Lw3PD3V8PE49k6dgCFDkrB7t/VXbZaWlkTr1sDHTe1v3wLHjgEBAYSbN7PB5RZh4MBcbNw4F1lZWVW6H2OmmODxnX/QpDgQ4sUJyFMajlN/34aDg8NXShHPX/t2JEEhcAFQWnFAgFjiA3Q0MIGWlhZiYmLK07W0tLBjx1F06NATpaVFuHv3H5w8+TtKP39/+xU6deoJN7cmfOmurhLYtq2fwPXUFxwOBxPGj8OcaaOQkZmDk+evwc/PT9hmVSAiUqXsK9ZsQ9KvmzF/litEUYD0nBL8tPYAzyz/14iMjISz83ncvbsSp08ro7AQWLw4Famp97+rJROMxsHE6Utgde8yNNUSIPEhAnlKg3HX6jku/XNF2KYxGIwqIvQFsVVRQkISPXsWT1euxJOHRyytXr21xnWKiopSWkIMFThMq1gUf4NDBRG3KTY6g06fNqc2bdqQoWEfcnYOpZs34+nRo3h68MCTNDU1v1m/t3cs2dkRqauXbf4QFyfavZvI1TWXTExMqH///sTlcmvUh+7du9Pw4cNJXl7+q/latGhBnp5FJCJSsRkl/HUM/yaX66AUz7INNB/LqqiokIfHO+rbt6ychATR5s05dOHC7SrZOnbsONq7N6O8/Y+aOrWQtm3bL/Rn7FNxuVxysLpFGV4HiR53IrIdSMnBD2jjuhX1bsu0acaU6XWId5zMJCgh3J3k5OTq3R4DAwPav/8UHTp0ngwNDYU+Vkw/tjp27EgjRowgZWVlodvCxPQj6YfdZe/l5UVSUlKkpaUlcAihpk2bkri4+BevDxgwgHJjvfmdsttN6fXzeOrdm8jFJaF8B7G6ujo1adJEYJv/+OMibdpUTFZWRO7uRKGhRH//TeTp+Y44HE693j9lZWXy9Mykx4+Jxo4lGjGCKO5NEtGTrnz9jw+x5wkf9euvf9LkycWEzxzJ27cTqWXLlgLbwOVyycUllLp3r6hDU5PI3T2OmjVrJvRn7FPNnT2Tsl/s4r03NziUGOZc7198IiIiZGnxD6W8Ok9kN5iKnYwpMcyJ5syaKvT7xMT0NYmKitKoUaNo1qxZAv2IZ2Jiajz6YXfZA2WbhmJiYlBc2c6KT5gyZSbc3aNw8aI/HBze4uhRU4iL829MkpCQACe3knWgBanQUC/E8+fAnDlq2LOnbP1eQkIC0tLSBLb3jz9+xqRJUSj5kIrWKv7QTV+P+T1/Ryv1DPTs2UPgemqDvLw85OXlYv16oHNnwNAQWL1BBe/bmAOyrcoycSWR3WY3Hth4IT294vjPXr0Gw9aWy1envb0SevQQvB8lJSWYPt0IP//8DHZ2CXj0KAGmpv5YtWos3n883qqBYDJnAmTjTHkTqRRKqRYYMWJEvdpCRJg0YxHGr/4XJ3wHY5+tLroPnoPrZrfr1Y7Giry8PNasXoZTR/dh8uSJ4HL5n2VG7WNgYIDIAFeY7+mDy2sU4GVzASeP7v9mOQUFBfTr1w+6urr1YCWDwWgICN27roo+98RFRUVp3LhxtGzZEtLX1y9PHzx4KN29m0JSUhWzcPPn59OFC3f46pSSkqL8lFCi6yK8M2EP9en9u/fUq1dZ+WfP4qtt9+jRoykn7OZnM7DKFBP2nCcwf33I3NyWpk8vKr8vANGePXn0LvQVRQc5U4T/M9q0fhWJiIjwlDt79hb16MEf5/X48WTq06dPtWyRkZEhRUVFoT9XX9LjO6ZED/X4Zo/zPDeRsbGx0O1jEkwGBgYUG+ZJH1yXEtn0p8znu8jvhb1Qljr8SOJwOBQV5EF0V4Pn85Puc5omT574xXJ/HviF4kOdKNXzN0r0syBXu3uVHvbBxMQkfP3Qr+w//rtdu3YUFexBWZ6/ELnNpfevb9Bd80vE4XDo3j0P0tTkd56srOJJRUWFr96Hd29QXtA1opsK/53605YSw0No1iyiU6eIOBwiD4/oattd5ti043NsMj1/oTFjxnyxXPPmzWnLlr105Mi/NHHi5BqtNdXS0qIHDzzpyZNEsrMroJCQIjpy5ANZWCTS1atPvukYGxgY0NOnSTxOfteuRA4OAUJ/LupKo0aNpDTfc7zjZiFD8eGeJCMjI3T7VFRUaMOGnXTkyGWaPn1Wvf+4aSwK9nHic4oKnabSmeMHhW7b96z+/ftTqtdh/uVQd5uTm/3dSsssWjiXMl4d48lfbG1ETk9vCb0/TExM/PqhX9l/xNL8PFqEzoRc5D7g7TWoBszGCN0orF6xGEpKqoiN5S8TGChaaQB2y8eOuP7MGIG6QXjbOQpOYs8wcqoenj8H5OSApUvzYW1d/VejigryQCH/a35JSoO8vHylZYYNGwkLC29ERv4MM7MF6NbNFI8eeUJSUrLK7XO5XJiZOWDnzt4YM6YZhg0Tx4ABohg0KA8nT07FvHljUFRU9NU6/Pz8cObMSjg4ROPSpfe4dy8Re/Y8x5w5wwWyQV5eHnp6etWyX1g8fWqNmy6ZSOp8F9CehkK9bUju7YLl63fXWYxWQenTpy/u33+N+PhfcePGfLRqdR7W1q/q5WADQVBXV8dTy6uID3NDfLg7Ht+9jGbNmtW7HTo6OlDkJAD5cTzpYnF3MHr4gHq350dCTk4OYsWVxLctTIP8F57TDasXQCFiF08aN8UJepriUFdXrwszGQxGA6DROqQdOnSAUkkYkPuOJ13m7XEsN5mOxMR3aNOGv1y3bsWI+Bh/6RPs7GzQpl0pOvZsDt2OLTB4dDO8fg3Mm0do2zYDvXrZYP/+LdW21+zuU+Srz+BLT1OaVGmIJi6Xi337LmLMGDXcuSOKly+BXbsUcPduJ6xevbnK7Y8aNQr29ir4NFpRcjKwd688hgyZJHA9jx7dw++//wRxcR+8e2eNrVtNkPBpkNVKEBMTw7V/TiD4+T04Xd+ASD97/LZnW5X7ICxWrNmKJT+b4r3WduTLGaI0MwR/7t+Grp8GtRUCf/55BePHq8PcXAze3sDBg3I4e7Ydtmz59vq8ukZSUhIutrcxUvIU1L36Qf1FX4ySPg8X2zuVruOucz4NvMuoN9zc3JDbdAwgwvtVU6gxEzct+U+ZAwBpKXGgiD/8HSc/GioqKnViJ4PBED6NziFVV2uGtm3bQkZGBpySSmJ2luRBQkIcf/65GefOJZcfJSomBuzYkYMXLx5UehIQl8uFnBzh0iWgbVtATQ3YsgWYPp1w69YhLF486ZubqL7Gxb+vIERkPPJ11wGSzQB5faQZXMUlM1skJSXx5e/Zsyfc3KTw+eE7V65IYOzYWVVuv0WLtggIUOBL9/fnokWL9gLVISoqijt3nNCjhykOHx6FBw8W4OhRZ8yfv/yr5c6dOIjJrf3R/NVQqIUuR3Ovflg9rinWrl5a5X4IA1lZWZw5vAPNfMZD4eUkNAuYDb03M/HI4gyUlJSEYlO7du0QEiKL1M8mn+7cEcWgQeOEYtOnzJ41DWqZt4HU5+VpnFR3qOc8wDTjyfVqy7t375BBzQEp3tm1ouaTYW3nWq+2/GhkZWXhyJkbSO1sASgaABIq+KCzHBEyC3HsxPlKywQGRwJK3XgTRbgoUuiOkJCQerCawRAe+vr6aNeunbDNEAqNziHVUCiA670/MWvqGHxQ6AtweV//luj/DDk5Wdy9cgS66hF4+iQMzs7xcHJ6h7y8P/DzzysrrXfIkGE4flwKFhbAjh3AyZNAUhIweTIHXboMqbHdBQUF6GM0Hpuv5sJN4TQeF2yG8Zq/8cuePyrNX1JSAtFKji3gcFClIPQf8fF5jkGD+F+dGRkVwNfXWaA65s41gadnN+zcKQ8/P8DBARg/XgXLlu3+4rIDSUlJjBrSG9IxvCdHKYT/irUr5lW5H0DZa0Bpaelqla0O8+bMQNPkf4G8T9aAfEiE8vtzWLRwdr3Z8SklJSVQVRXF1b9T8PhOIubMKoaoaNnzQVT156O2MezeATI5/IH2ZXM80Lt7/Z8xPstkPeI63kOB9mJAuS+yWv2CUNn/YcvOA/Vuy4/G4b/OYvySo7ifswbuSuew844oevYfg5ycnErz//TzAcS3PgUo9y1LkNJAusEVHD5hisLCwkrLMBiNHUNtSSOqAAAgAElEQVTDPnB1jcDGjY7YssUJLi7h6N69u7DNqneEviC2KqIUr7Kg7f7Xacf2rfQ+xJrIZgDRPU0q8DtMRYluRHfVyxbD31SkND9T+t+KRZXWJSkpSfPmLaK9e0/Q4cN/0datuYTPNkH16kV04sT1eu8nh8Mhd/coatqU15516/Lof//bVK06Hz70oNmzC8qD4vftS+ThEfXNYPofdfeuO6mo8G8U27gxlyZPnlxpGTU1NYr3Nas08H5MsFOV7O/UqRNZW/uSlVU82dvH061bTqSurl7nY/HXH7uJbI34+/C0N106/Xu9PxsAaNP6lVQY60j0tDfRg9aU7XmQPJySadGiD7Rzp3Bs+lTLl5pQnttqvnuW476eTBbOFYpNCgoKtG7NCjp34gAZG08WOI4xU/2rZcuWZHHlDIX7OZOHoyWNHjVS6DYxMdWVmjZtSh4e8aSsXPG92qwZkadnnMDfz8LUD7vL/qNDStaGdPnCUdLX1yfTc0fI/tF1iovwIrqt8lkQc1GKDvHgC0DfokUL8vCIonXrcmngQKKtW7Po7dsiGjiQ6NgfGeRiE08nj2bQ06ep1L17d6H0tU+fvuTpGU9Llnyg4cOJTpxIpdu3Hau1k1pKSopat25NBw+eITe3d+TqGkOXLlmShoaGwHWYmzuSlha/Q7pjRxaNHTu20jIcDoeiQzyIzMR4x+WOGvm4WwncdtkpUXGkrV3RbvfuRC4uoTU+5epbmjB+HGU838fnXGV5bqcZ06selL5PH0PydrOitDh/yksJocCXdjRgwACByzdp0oQSwpyJbnB4d417/0p+r0NJUlJSKM/rp5KWlqa3wR5EjzpU2Pi4E70Jcm8Q9lUmERERat68OcnKygrdFiYmph9Ha9dupblzCwiffbcuXZpPy5atEbp93xJzSJ90oxumJ3iuxQY7VToTF//agu8EIEtLd2rfnnfwFy4soaKMN1TiOJHotjKVOo6jjFhf6tKli9D6q6CgQEuXrqYdO36ngQMHVrm8mJgY/XPuCMWHuVC8z3WKCfWktauWVMuWSZOm0NGjvEd+yskReXrGkoSExBfLrVy2kFL9rxDdalI2Jve0KCnUmgYbCd6fLVv28sVOBYj27MmgcePG1/g+N2nShIYOHUrt27fnu8bhcMjH05YKHaf9F6tWhIocJlKAt2P5LNvwYUPJw9GSIvycyMryCnXs2LHSdrp160bvwx2JEmyJXm0qC0X0qCPlR96hPb8INvM9bdo0yvdYx/+s32lGbvb8cXaFJV1dXXKzv0cJIQ6UEOpIz2zvkLa2ttDtqkxTJo+nqCB3ivc1p/gQe3p451+hzUxwOBxasWI92dsH0bNnEXTgwOkqnQzHxMTUuPT77xfJ0JB/ssfIiGj37r+Ebt+39MM7pGk+Z2jIkCE81yL8nxGZS/E7pGFuPA6TtLQ02drG8w3+i2cJRJa6vOXvaZG362Oh97u6unzxL8pzWcYzY1z4xoKOHT5UrfpOnLhK5ubvacoUouXLP5CHRwINHTrim+WmTplIfs+t6W2gE3k4WlK/fn2r1O6FC/epbVv+D+ykSUTr1/9co3u0a9dRsrdPoF9+yaB//31PVlbepKqqypNHVlaWTh37jaICXSkqyJVMzx+jrl27kpiYGJksmEUpgTeJ7mmWzwQmhjmXHzX7qewfmxG92krkvZHvOX0faifQ0anjxo2jLM8d/A7p/VZk8/Ca0J+5zyUhIfHVHyzCVs+ePSk55AmRuXTFbLPdaHKxrTxOZl3r77/v0bZtOSQtTSQiQjRhQjG5uISxmVsmpu9UkyZNoV27Mgmffb8dOpROo0aNFrp939KP65BmBFGqz3kyv3KW79r/Vi6mDO+jPCcu5bquprMneINfy8jIkI0Nr0PK4RDFh4ZUPsMaYi+UgOPdunWj8ePHV3udpKysLMWHOPL36aYiFaf60XXTU9Wqt0OHDrR+/c9kYrKMFBQUBC7H4XCq/Xp97dqttHDhB54xA4j+/DONhg4dWu17PGvWAjp2jHfWt2fPEnr48Hml+aWkpOiu2UWKD7alhJcXKTbMg9Lj/IjMxHnvsaVupYG/I/2diN5aVKxz/vSVu+cqmj179jdtlpCQoNjw5xWHOPynNJ+zNGZMw//Pq6HJ+v5Voof6fOOR+NqM2rRpU6+26Ovr040b73meR/z36m716o1Cv1dMTEy1Ly6XS3Z2vjR7diFxuUSiokTz5xeQlZUX34mJDVE/bGD8lEIlTFl/AzPn8++WP3X2b/x1Nw7xPd2Q2O4fxPdwxg2/Fliz4ReefLm5ufjwIRp6ehVppaWAuIRE5Y1yJFFSUlKb3fgqampqsLPzw9KlT9G2rRkuXXqFI0f+gYiISJXrEcmN5L9QlAFuURqGd2+Cjh07Vtm+wMBA/PXXQZiaXqg0hFZldly/bgNn5zg4OMTi9u1naNGiRZXavHz5HJYvT8SnoT/Hji1Gly7RlcZxFZSFCzdizx7ecFheXhzk5+tUaqPZv6cwVs0G6q+GQy10KTSCZkK+5C1Q+tnu39woaKk35SufkpYJlBYD4vzhogpFlL648/hTCgoKMG/pZiR0s0F+y/Uo1ZmL913uw8w5HU+eWH2zPIMXHR0tICuYL10y17/ez1Hv27c/rKxU+dKfPJFEv35j69UWBoNRP5SUlGDixH5o0+YkHB0jYW8fAW3tvzBlykDQDxZDWejedVUkiCcuLi5Ourq6JC0t/cU8rVq1Ig+Pd7RyZR717k20YUMOJce+pUL7cTyzJEW2I+nOjQv12sdHj15Qt268MyT79mXR4sWrq1SPhIQExYW588wYly1D0CSKfUDkPIl2bNtQp30RExMjV9cw6tWroi8dOxJ5eLyt8itIHR0dun7dhlxd48jdPZZOnrxe43V+z55F8tznjzp6NJl69OjBk7dp06aUEGT92TGiskSJDv8th+AS3VQsu9/mkhTh/4yvvRHDh1FGlBPRm8u89dxSotiw51V6tS0jI0OzZ8+i1auWU8uWLev1Gf2eZPbvKSLrvnwzpAmBj6l58+b1asuYMWNo164svudxwACiI0dMhX6vmJiYmD7XD/vKvhY7TjIyMrR48Uo6dOgCzZmzkJSVlen5s8eU5H2WStwWUrL3aXrpalWl19I1lba2Nt26lUD47AtJVpbIzi6wyvXt3rGRPgSdq1gfd1edKN6ayKYffXBdSiuWLa7T/kydOoN+/pn/C3bFirxa3T0oLS1Nu3dupiBve/L1fEorli/ii6xQmU6fNqf+/Xlt43KJ3N3j+HaDd+jQgd57neZfAhF+kUrfXCNK9iCKsSRK9qC88Nu0cd3KSttcMHcGZcQHUXGSJ5U+X0mFPr9SXPgL6l/FdbVMtaNWrVpRQrgb0YM2ZeNpJkY5HpvI7N/T9W4Ll8sld/c3pKtb8TxKSRHZ2LwnfX19od8rpoYvLpdLU6ZMor/+2E2LF80nKSkpodvE9H2LOaR1qF69etGCBQuod+/eX8yjoaFB8+fPp8mTJ9dqGBsDAwM6dSqJUMms3bNnb6pV5+5ftlFRRjhRohNR3JOyuK0WcpQQ7lHnzvbOnX/Q0KH8fenWjejo0Su10oa4uDj5etpSgYtJ2VrOm/KU/Xwn3b/17RklbW1t8vCIoWHDSkhEhEhHh+jGjVRaunQ9X14pKSmKC3Pjd0hDz1LJ610VM9Fm4pQfcZNmTp/yxXZFRETIwMCATExMaOLEiQ1608+PoI4dO9Iz29sUE/KMooLcaM8vmwX6QVMXatu2LTk6BpGpaSL99VcSeXjE0MSJ04R+j5gavpSUlCjwlRNlev5KZGtEuW5r6F2IJ7Vu3VrotjF9v2IOqRD1x287KTHEmorcl1KOxxaKDX9OA/r3q5W6xcTEyNMzlsTE+F/ZnT5tXu16ly6aS/FhrpTrsYmyPHdSbJgnjRhR/c1AgsrYeDpt3175DOnSpf+rlTYWzJ9NOR5b+BzFJN/L1Llz52+W19DQoD//vEhOTiF0+7YLDR067It5d+/YSOmvThBZyJW181CfitODKtk4pkCBL+2E/qwyNV61a9eOunfvzgL4Mwms66YnqdhuFO//RQ/a0EvXJ0K3jen7FXNI60FSUlI0c8Z0Wvu/ldSuXTsCQEOGDKFUv38/W//XpMrr/76m2bMXkaVlMunrl+22Gzu2mDw8oklLS6tG9crJydGkSZNozJgx9TYj93ENqaFhCeE/Z7RTp+qtIf2S7pmdJ3qox+8UPjOmLRvX1nqfFpvMpeBXDvQu0JleuDyhZP/KT6KKDnSst2e1NsTlcmns2LG0fu0qMjQ0FLo9TExMVVNMSCVvcK6D4gMekZKSktDtY/o+VVt+WSWnpTMAoFevnrh77RSUUi0gXRKPpGW7Yf8qFQpy0mjy7hBv5sI0KKQ9wNixY9G9sx6mTx4FLocDKzsXbN/1u0A70T/lxo1/8OZNELZt2wUNDU14ejph0qT9eP/+fY36lJ2dDUtLyxrVUVWKioowdepAHD78Lw4fNkBpqQjevw/FrFkLBdpR/jlcLpcv4kFcQjLQWQvICuVJzxPVQlxize5ZZfxteg1/m14DAIiLi+NNgBMAEZR9pv5DQgVp2QW13nZdoaOjA/vHN6CSawP5wiCkLJiP0IxtGDZ2Jj58+CBs8xgMhiB8MRBLKTicRhdUh/GD8dm3aMPHy8sLPXv2rNM2OBwO3gS6QSdwAlCQXJ6epXcQCWIDoRdhDHxI5ClT2HIV3srMgU7Wv5CI+RcoLUZx80kIV1yProYjUFDQeJyTukJERAQiIiIoLS2tctl+/QZg167TEBVVgbR0KZydH+GXX9agsLAQrVu3htvjc1D1GQeU/Oc8SaoirtNDtOlshPz8/FruCS97f92MtRNUoBC+syz8k5giUjqaYsHGs3hiZVOrbampqWHm9CmQEBfDrbsP8ebNm1qp18vlMXpkbgYyg8rTCrQW4IyHLjZs3V0rbTAYjLrl5tWzmNLsJrjJjhWJMi3wWu08uhiOFJ5hjO+a2vLL2E+mSujXrx/ksl14nFEAkH97BJLiHOQ1n/1ZCRHkNF8M5WJvSLy7CJQWASCIxt+Ddv4DzJ41rd5sb8gQUbWc0Y4dO2L//tuYO7cThgxRg6FhcwQFzcfFi3cBABEREViz4xTiujkirfVBpLQ9jih9S0yctarOnVEA+HXvn9h79Q2iDBwQ390Jwa3vYsnWi7XujC5dNBe+z8zx57RsHJiQAI/HJ/Hb7q01rldVVRWaSsU8zigASMRew+Txw2pcP4PBqB9W/fQL3qjtQ47uJqBpL3zQXoJYfXPMXvSTsE1jML4Je2VfCZKSkuCWVvI6uTgXOTm5SCoehvYtRSGTaAaIN0Gqzjb4h7yFkbg1XxGZNGuMGrICpv9eqwfLax81NTXMmLEQsrKKePr0Fry9vevdhnXr9mHDBlUkJVWkXb4siYkTu0NbWxvR0dG4edsSlg+eoHfv3igoKICX1/p6DSh89Pg5HD1+rs7qV1dXx75tS9As7TrQag4gIgrV+MdYNq0f7jzohlevXlW7bklJSaA4l/8ClYBbtbMYGAyGEElJSUHHHkMwc8ZUDOo7FX5Bb2B6eQSysrKEbRqD8U3YDGkluLm5Ia/JKIAjxpNeoDkP124+RP+hk7DuYiIcxX/HvaxVWHvgIdQ0e6BYzoCvrmKZNoiIihOoXSUlJezasQkOT27g7ImDaNmyZa30p7pMnjwDt269RlLSPnh7b8XatU9x5oxZvdvRpo0+fHz401++lIKenh6kpKSwbNkamJpaYerU5SgoKPjuTreYOW0yVGRLAEkVwGUa4DwOKM6FsrIaVi39fMa+akRHRyOXqw2IN+G9oDoQni/9a1Q3g8GoXwoLC3Hl6g0sXrkFx0+eY84oo1Eh9B1aVVF97bJftHA2JYVYlcXsvN+Kcjw20ysPG74gw2JiYuTh8Zb09IhiQuOI7mnxnBmfEOYq0Fn0mpqa9DbYgwqcZxPdVacS22GUEOpEQwYPEsp9lpOTI3f3BJKU/PwEowwaP36iQHVwOBwaO3Y8HTx4ntat20bKysrVsuXSpfvUpQt/LNM7dxKoQ4cO5OgYQKtX55GmJlHv3kSPHiXR3LlLhP6s1qZOnThKpW+u8u+gfb2bnO0e1Lj+Af37UUKYCxU7jCWybEEfni2iN4HupKamJvS+MzExMTE1XLGwT/Wg9u3b06Wzf9LjO/+QycK5JC4uzpdnwoQJtHNnWZzNDh2IQnwTKNHHmtL87lNGQigZDRooUFv3zC8SWff5LJalIkUEuArlPk+bNo1++imf8JkT2KoV0ZUr1t8sLykpSVZWXrR/fwb16UM0e3Yhubsn0IABVXewO3bsSPb270lZucKOuXM/0JUrj2nbtn00d24hj41iYmUnLX1PJ5T8dfgAkdMEfof0sQE5WlnUShtaWlp09Pfd9OSuKW366X8kJycn9H4zMTExMTVssbBP9UBQUBCWrNz81Tzq6pp480YOABAYCLTroobWrdWgowMsWGALJ+dnArXVvXM74JUHb2JRBmSK35Wvk6xPOBwOSkr4FxCWlJSFXvoW69Ztx+3bnfD33xIAAA8PMVhZqeHJk8vo21e3Sq/UAwICsHv3dJibnwbQBLKygIvLYyxd+j9YWflg5EjepRVFRYCdnTQMDQ3h6OgocDsNmYDgMBQNaAGxz9JJSguvXgRVWqaqxMTEsB31DAaDwRAKbA1pDXF3d8Ho0Uk8aRERQJs2+XBzeyRwPSWlIoBIJY6eqDzy8vJqamaVsba2xvTp6RD7zANatiwL9+5d/Gb50aNn4MoVCZ609HTA21saXbp0qbI9Li7OGDasI0aP1kGfPhrYvHkpCgoK8OFDPuTk+PMrKBQjN7eSjTqNFIubd5DcZA4g0bQikSuFZM1NOHX+ivAMYzAYDAajFmAOaQ3x9/dHSckLbNmSC2lpgMMBJk8uwezZ0bh69ZLA9dy+b40PWgt5ExU7420KISUlpXaNFoCMjAycO/crnjxJwrhxpejbFzh5Mg2ami64c+fmN8sTEUQq2aEtIiL4zGhlFBUV8cyuXrt2Aps28S7ab94c6NEjC15eXjVqqyGRnZ2NqfPX4V2HR0htewTprQ8grpsjVm07hqioKGGbx2AwGAxGjWCB8WsBLpeL5cvXwdh4CURFxfDsmRWOHt2F9PR0gesQFxfH0/vX0FEtByr5jsgQ64D3Yn0xdOwsxMUJtku/LmjZsiVmz14OObkmsLK6DicnJ4HKbd68G5mZW3HhgmR5WtOmwKNHb9G3b8ta3QV//PgVaGqOwIMHKtDSysW4celYtmw8/Pz8aq2NhgKHw0Hv3r0hLi4ODw8PFBYWCtskBoPBYPzA1JZfxhzSBkbXrl3Ro3s3vIl6CwcHh0YbvkhCQgK3bzshOFgPjx8rQVe3AMuXp2HDhqnw8HCv9fZat26NgQONkJz8Hk+fPkVRUVGtt8FgMBgMBoMX5pAyGjwiIiIYPnw4+vcfh4SENzA3v1ylWWMGg8FgMBgNm9ryyxrdLnuxz3fZNDKkpKSgqqqKhISE7/51KxHBxsYGNjY20NTUBIdTv0uWVVVVweFwkJiYWK/tChtFRUXIyckhNja20c6wMxgMBuPHok49hJEjRyIkJATh4eHYupX/zG1xcXGYm5sjPDwcnp6e0NHR+Wad7dtoIcTHqdHNknK5XJw9cRCRr23heW8vogKcsOeXTcI2q84xGjQQEf6u8Hp8GAHPrsDd8T6aN29ep23q6enhtacNXtufh4/NaQS8tIeBAf8pWt8bSkpKsHl4A0HuFnjx4CCigtwxZfJ4YZvFYDAYDIZA1EmgVA6HQxEREaSrq0tiYmLk6+tL+vr6PHlWrlxJZ8+eJQA0Y8YMMjc3/2a9lOJFdEeV4sPcqFmzZkIPCCuojh/eSznuGz4Jai5CGd6Haf3/lgndtrqSrq4uJYQ5E91Squj3k64U7ONMImXb7Wtd0tLS9C7Ek+h+y4o272lSbJgnKSoqCv2e1KU8nR9Ssc3gin6bS1NyiBV1795d6LYxMTExMX2fqq3A+HU2Q9qrVy9EREQgKioKRUVFMDc3x8SJE3nyTJw4EZcvXwYA3L59G0OHDhWs8g9JUI47ijUrTWrb7DpBVFQUUycMg0zU0U9SCQphO7B2xXyh2VXXbFm/DKrv9gGFn6wbTfdBsyIPDBkypE7anD1zGpRTrwE5byoS82KhnHgOi03m1EmbDYGOHTtCVz4V3GTHisSSPChHbsHun1cLzzAGg8FgMASgzhxSDQ0NxMTElP8dGxsLDQ2NL+YpKSlBZmYmmjZtis9ZunQpvLy8yuJKSigDAMRyAtFer0VdmV+ryMvLQ+RDAv+F0gJIiBbXv0H1hF4bHXCyA/nSlYoC0FK3RZ20qd9WB9L5/G1K5AagQ9u6abMhoKOjA+n8AP4LmYFo2UKn/g1iMBgMBqMK1JlDKlJJVPTPN1gIkgcALl68iJ49e5atGy0oCxKfr2QER9dXtWRt3ZKeno4i8eYA57MNWeJNkJ7z/Tqkz9x9UNjEiC89WXowXnrXzdg9c/dBpix/mzmKg+Ho1jiel+rg5+eHHPkBfOmlKkbw9PIRgkUMBoPBYAhOnTmksbGx0NLSKv9bU1MT8fHxX8zD5XKhoKCAtLS0b9ZdqmKEeMV5+Off67VrdB1BRDh45BzSO14CxBTLEiWbIaXjv9j665/CNa4OOX76EhKarQWa9i5LEOHig9YiBCYpwMenbpykh48eI5rTH8XqFctDSpqNRJz0BFjcvFMnbTYEYmJi8MwnHrm6Gyt++Ch0QGKL37Dn4AnhGsdgMBgMhgDUySJXLpdLkZGR1KJFi/JNTe3bt+fJs2rVKp5NTRYWFt+styAvm25ePduoNjR91KwZxhT40o6ig5zIx8OKRowYKnSb6lpaWlp0/+bfFB3sSm+D3ejo77tJQkKiTtuUl5enS2cP07tgN4oOcaNr/5ygpk2bCv1e1LU4HA7t2rGRIgNcKDr4Gdk9ukF6enpCt4uJiYmJ6ftVbW1qQl0aOXr0aAoNDaWIiAjavn07AaA9e/bQ+PHjCQBJSEjQzZs3KTw8nJ4/f066urr12XEmJiYmJiYmJqYaqLb8MnZSE4PBYDAYDAajWtSWX1a/R+cwGAwGg8FgMBifwRxSBoPBYDAYDIZQYQ4pg8FgMBgMBkOoMIeUwWAwGAwGgyFUmEPKYDAYDAaDwRAqzCFlMBgMBoPBYAgV5pAyGAwGg8FgMIQKc0gZDAaDwWAwGEKFOaQMBoPBYDAYDKHCHFIGg8FgMBgMhlBhDimDwWAwGAwGQ6gwh5TBYDAYDAaDIVSYQ8pgMBgMBoPBECrMIWUwGAwGg8FgCBXmkDIYDAaDwWAwhIoIABK2EVUhKysLoaGhwjaD8RnKyspISUkRthmMSmBj0zBh49IwYePScGFj0zDR09ODvLx8rdRFjUleXl5Ct4GJjUtjEhubhik2Lg1TbFwartjYNEzV1riwV/YMBoPBYDAYDKHCHFIGg8FgMBgMhlDhAtgtbCOqyqtXr4RtAqMS2Lg0XNjYNEzYuDRM2Lg0XNjYNExqY1wa3aYmBoPBYDAYDMb3BXtlz2AwGAwGg8EQKswhZTAYDAaDwWAIlQblkI4cORIhISEIDw/H1q1b+a6Li4vD3Nwc4eHh8PT0hI6OTvm1bdu2ITw8HCEhIRgxYkR9mv3dU91x0dHRQV5eHnx8fODj44OzZ8/Wt+nfNd8alwEDBsDb2xtFRUUwNjbmuTZ//nyEhYUhLCwM8+fPry+TfwhqMi7FxcXln5f79+/Xl8k/DN8am59++gmBgYF4/fo17OzsoK2tXX6NfWbqjpqMC/vM1C3fGpvly5fDz88PPj4+cHFxgb6+fvm16vhlQo9hBYA4HA5FRESQrq4uiYmJka+vL+nr6/PkWblyJZ09e5YA0IwZM8jc3JwAkL6+Pvn6+pK4uDi1aNGCIiIiiMPhCL1P34NqMi46Ojrk7+8v9D58jxJkXHR0dKhTp050+fJlMjY2Lk9XUlKiyMhIUlJSIkVFRYqMjCRFRUWh9+l7UE3GBQBlZ2cLvQ/fqwQZGyMjI5KSkiIAtGLFivL/y9hnpmGOC8A+M8IeGzk5ufJ/jx8/nqysrAionl/WYGZIe/XqhYiICERFRaGoqAjm5uaYOHEiT56JEyfi8uXLAIDbt29j6NCh5enm5uYoLCzE27dvERERgV69etV7H75HajIujLpDkHF59+4d/P39UVpaypM+cuRI2NraIj09HRkZGbC1tcWoUaPq0/zvlpqMC6NuEWRsnJyckJ+fDwDw9PSEpqYmAPaZqUtqMi6MukWQscnOzi7/t4yMDIgIQPX8sgbjkGpoaCAmJqb879jYWGhoaHwxT0lJCTIzM9G0aVOByjKqR03GBQB0dXXx6tUrODk5oX///vVn+HdOTZ559nmpO2p6byUlJeHl5QUPDw++//gZNaOqY7N48WJYWVlVqyxDcGoyLgD7zNQlgo7NqlWrEBERgT/++ANr166tUtlPEa0lu2uMiIgIX9pHT/tbeQQpy6geNRmXhIQEaGtrIy0tDd26dYOlpSU6dOjA84uKUT1q8syzz0vdUdN7q62tjYSEBOjq6sLBwQH+/v548+ZNbZr4w1KVsZkzZw569OiBQYMGVbkso2rUZFwA9pmpSwQdmzNnzuDMmTOYNWsWdu7ciYULF1brM9NgZkhjY2OhpaVV/rempibi4+O/mIfL5UJBQQFpaWkClWVUj5qMS2FhIdLS0gCUBc2NjIxE27Zt68/475iaPPPs81J31PTeJiQkAACioqLg5OSErl271rqNPyqCjs3QoUOxY8cOTJgwAYWFhVUqy6g6NRkXgH1m6pKqPvfm5uaYNGlStcp+ROgLZwEQl8ulyMhIatGiRfni2fbt2/PkWbVqFc/mGQsLCwJA7du351k8G6wwU9sAAAXGSURBVBkZyTY1NYBxUVZWLh8HXV1dio2NJSUlJaH36XuQIOPyUaampnybmt68eUOKioqkqKhIb968YePSAMZFUVGRxMXFCQA1bdqUwsLC+DYQMNXt2HTp0oUiIiKodevWPOnsM9Mwx4V9ZoQ/Np+Oybhx48jLy4uAavtlwu/0R40ePZpCQ0MpIiKCtm/fTgBoz549NH78eAJAEhISdPPmTQoPD6fnz5+Trq5uednt27dTREQEhYSE0KhRo4Tel+9J1R2XKVOmUEBAAPn6+pK3tzeNGzdO6H35nvStcenRowfFxMRQTk4OpaSkUEBAQHlZExMTCg8Pp/DwcFq4cKHQ+/I9qbrj0qdPH/Lz8yNfX1/y8/OjRYsWCb0v35u+NTa2traUmJhIPj4+5OPjQ/fv3y8vyz4zDW9c2GdG+GPz119/UUBAAPn4+JCDgwOPw1pVv4wdHcpgMBgMBoPBECoNZg0pg8FgMBgMBuPHhDmkDAaDwWAwGAyhwhxSBoPBYDAYDIZQYQ4pg8FgMBgMBkOoMIeUwWAwGAwGgyFUGsxJTQwGgyEsiouL4e/vX/63ubk5JCUlISEhge3bt5end+7cGWZmZmjfvj0AYNu2bYiOjkabNm2wdOlSJCcnQ1xcHPv27YO5uXm994PBYDAaKyzsE4PB+OHJzs6GnJwcT1rbtm1hZWWFVq1alacdPHgQubm52L9/PwDAwcEB06dPx+rVq5GTk4MjR46gdevW8Pb2RtOmTVFcXFyv/WAwGIzGCntlz2AwGJUQFhaGjIwM9OrVqzxt+vTp5TOfcnJyEBcXR0pKCk+5iIgI5OXlQUlJCQDQsmVLWFlZ4eXLl3j27Bn09PQgLy+PqKio8vOepaSkEB0dDVFR0UrzA4CpqSmOHz8ONzc3REZGwtjYGAAwaNAgPHz4sLz9kydPYsGCBQCAbt26wcnJCS9fvsTTp0+hpqZWR3eLwWAwagZzSBkMxg+PlJQUfHx8yjV9+nQAgJmZGWbOnAkA6N27N1JTUxEREQEAGDZsGOzt7fnq6tq1K8LDw5GcnAwAuHDhAtasWYMePXpg06ZNOHPmDLKysvD69WsMGjQIADB+/HhYW1ujuLi40vwfUVdXR//+/TFu3DgcOnToq30SFRXFyZMnMXXqVPTo0QP//PMPfvvtt5rfLAaDwagD2BpSBoPxw5Ofn4+uXbvypZubm8Pd3R0bN27EzJkzYWZmVn5t1KhRMDU1Lf/7p59+wtKlS9GyZUuMGjUKACAjI4O+ffvi1q1b5fkkJCQAABYWFpgxYwacnJwwc+ZMnDlz5qv5AcDS0hJEhODgYDRr1uyrfdLT00PHjh1ha2sLAOByuUhISKjKbWEwGIx6gzmkDAaD8QViY2Px9u1bDBo0CMbGxujTp0/5tV69emHlypXlfx87dgxHjhzB5MmTceXKFbRq1QocDgcZGRmVOrsPHjzAwYMHoaSkhO7du8PBwQEyMjJfzA8ABQUF5f/++Lq/uLgYHE7Fyy5JScny64GBgejbt2/NbgKDwWDUA+yVPYPBYHwFMzMzHDt2DJGRkYiLiwMAtG/fHiEhISgtLeXLf+/ePbx8+RILFixAdnY2oqKiMHXq1PLrBgYGAIDc3Fy8ePECx48fx6NHj1BaWvrV/F/i3bt3aN++PcTFxSEvL4+hQ4cCAEJDQ6GiogJDQ0MAZa/wP0YHYDAYjIYGc0gZDMYPz+drSA8ePFh+7datW+jQoQNPGKfRo0fj6dOnX6xv79692LBhA0RERDBnzhwsXrwYvr6+CAwMxMSJE8vzWVhYYN68ebCwsChP+1r+yoiNjcXNmzfh5+eH69evw8fHBwBQVFSEqf9v545pAIZhKAoaZObwMaWgMIzAKIZOv6ruEHh8siWvVd1dM1MzY1sKfJa3TwAvnXNq71333vQoAL8gSAEAiHKyBwAgSpACABAlSAEAiBKkAABECVIAAKIEKQAAUQ+1n3yR+YPOIgAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 792x504 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Visualize scatter plot after normalization\n",
    "plt.figure(figsize = (11,7))\n",
    "plt.style.use(\"dark_background\")\n",
    "\n",
    "plt.title(\"Normalized Data\")\n",
    "\n",
    "g = sns.scatterplot(x='EV/Revenue', y='Current ratio', hue='S&P', \n",
    "                    data=df_norm, s=40,palette=['blue','orange'])\n",
    "\n",
    "plt.xlim(0,0.3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Let's train our model using new normalized data.  We use sklearn.preprocessing.MinMaxScaler to transform our data.  Then we train our model, make a prediction, and view the accuracy."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Use sklearn.preprocessing.MinMaxScaler to scale features to [0,1] range"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 508,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Recall our features and categorical value\n",
    "X = df_BBBandB[['EV/Revenue','Current ratio']]\n",
    "y = df_BBBandB['S&P']\n",
    "\n",
    "# Import Scaler\n",
    "from sklearn.preprocessing import MinMaxScaler\n",
    "scaler = MinMaxScaler()\n",
    "\n",
    "# Normalize all features\n",
    "X_normalized = scaler.fit_transform(X)\n",
    "# Split normalized data into train and test\n",
    "X_train, X_test, y_train, y_test = train_test_split(X_normalized, y, test_size = 0.3, \n",
    "                                            random_state = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 509,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Accuracy: 0.58\n"
     ]
    }
   ],
   "source": [
    "# Use previous optimal k or set n_neighbors to defualt for now\n",
    "knn = KNeighborsClassifier()\n",
    "\n",
    "knn.fit(X_train, y_train.values.ravel())\n",
    "\n",
    "predictions = knn.predict(X_test)\n",
    "\n",
    "accuracy = accuracy_score(y_test, predictions)\n",
    "\n",
    "print('Accuracy: {:.2f}'.format(accuracy))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "As you recall, the default value for k in k-NN is equal to 5, so let's see how the algorithm performs using the new normalized data for the range of k values 1 thourgh 15. To do this we plot the accuracy values for train and test for the range of k values 1 thourgh 15.\n",
    "\n",
    "With the higher number of neighbors, the model tends to be generalized, or more simplified. It is up to you to determine the optimal value for k. Keep in mind that we are taking a random sample of the data, so results may vary."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 510,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.plotly.v1+json": {
       "config": {
        "plotlyServerURL": "https://plot.ly"
       },
       "data": [
        {
         "name": "Test Accuracy",
         "type": "scatter",
         "x": [
          1,
          2,
          3,
          4,
          5,
          6,
          7,
          8,
          9,
          10,
          11,
          12,
          13,
          14,
          15
         ],
         "y": [
          0.5777777777777777,
          0.4888888888888889,
          0.6444444444444445,
          0.5555555555555556,
          0.5777777777777777,
          0.6,
          0.6222222222222222,
          0.6222222222222222,
          0.6,
          0.6222222222222222,
          0.6222222222222222,
          0.6222222222222222,
          0.6,
          0.5777777777777777,
          0.5333333333333333
         ]
        },
        {
         "name": "Train Accuracy",
         "type": "scatter",
         "x": [
          1,
          2,
          3,
          4,
          5,
          6,
          7,
          8,
          9,
          10,
          11,
          12,
          13,
          14,
          15,
          16,
          17,
          18,
          19
         ],
         "y": [
          1,
          0.7904761904761904,
          0.7904761904761904,
          0.6761904761904762,
          0.7428571428571429,
          0.638095238095238,
          0.6952380952380952,
          0.6666666666666666,
          0.6666666666666666,
          0.6476190476190476,
          0.638095238095238,
          0.6476190476190476,
          0.6666666666666666,
          0.6285714285714286,
          0.6571428571428571
         ]
        }
       ],
       "layout": {
        "template": {
         "data": {
          "bar": [
           {
            "error_x": {
             "color": "#f2f5fa"
            },
            "error_y": {
             "color": "#f2f5fa"
            },
            "marker": {
             "line": {
              "color": "rgb(17,17,17)",
              "width": 0.5
             }
            },
            "type": "bar"
           }
          ],
          "barpolar": [
           {
            "marker": {
             "line": {
              "color": "rgb(17,17,17)",
              "width": 0.5
             }
            },
            "type": "barpolar"
           }
          ],
          "carpet": [
           {
            "aaxis": {
             "endlinecolor": "#A2B1C6",
             "gridcolor": "#506784",
             "linecolor": "#506784",
             "minorgridcolor": "#506784",
             "startlinecolor": "#A2B1C6"
            },
            "baxis": {
             "endlinecolor": "#A2B1C6",
             "gridcolor": "#506784",
             "linecolor": "#506784",
             "minorgridcolor": "#506784",
             "startlinecolor": "#A2B1C6"
            },
            "type": "carpet"
           }
          ],
          "choropleth": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "choropleth"
           }
          ],
          "contour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "contour"
           }
          ],
          "contourcarpet": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "contourcarpet"
           }
          ],
          "heatmap": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmap"
           }
          ],
          "heatmapgl": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmapgl"
           }
          ],
          "histogram": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "histogram"
           }
          ],
          "histogram2d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2d"
           }
          ],
          "histogram2dcontour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2dcontour"
           }
          ],
          "mesh3d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "mesh3d"
           }
          ],
          "parcoords": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "parcoords"
           }
          ],
          "pie": [
           {
            "automargin": true,
            "type": "pie"
           }
          ],
          "scatter": [
           {
            "marker": {
             "line": {
              "color": "#283442"
             }
            },
            "type": "scatter"
           }
          ],
          "scatter3d": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatter3d"
           }
          ],
          "scattercarpet": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattercarpet"
           }
          ],
          "scattergeo": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattergeo"
           }
          ],
          "scattergl": [
           {
            "marker": {
             "line": {
              "color": "#283442"
             }
            },
            "type": "scattergl"
           }
          ],
          "scattermapbox": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattermapbox"
           }
          ],
          "scatterpolar": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolar"
           }
          ],
          "scatterpolargl": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolargl"
           }
          ],
          "scatterternary": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterternary"
           }
          ],
          "surface": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "surface"
           }
          ],
          "table": [
           {
            "cells": {
             "fill": {
              "color": "#506784"
             },
             "line": {
              "color": "rgb(17,17,17)"
             }
            },
            "header": {
             "fill": {
              "color": "#2a3f5f"
             },
             "line": {
              "color": "rgb(17,17,17)"
             }
            },
            "type": "table"
           }
          ]
         },
         "layout": {
          "annotationdefaults": {
           "arrowcolor": "#f2f5fa",
           "arrowhead": 0,
           "arrowwidth": 1
          },
          "coloraxis": {
           "colorbar": {
            "outlinewidth": 0,
            "ticks": ""
           }
          },
          "colorscale": {
           "diverging": [
            [
             0,
             "#8e0152"
            ],
            [
             0.1,
             "#c51b7d"
            ],
            [
             0.2,
             "#de77ae"
            ],
            [
             0.3,
             "#f1b6da"
            ],
            [
             0.4,
             "#fde0ef"
            ],
            [
             0.5,
             "#f7f7f7"
            ],
            [
             0.6,
             "#e6f5d0"
            ],
            [
             0.7,
             "#b8e186"
            ],
            [
             0.8,
             "#7fbc41"
            ],
            [
             0.9,
             "#4d9221"
            ],
            [
             1,
             "#276419"
            ]
           ],
           "sequential": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ],
           "sequentialminus": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ]
          },
          "colorway": [
           "#636efa",
           "#EF553B",
           "#00cc96",
           "#ab63fa",
           "#FFA15A",
           "#19d3f3",
           "#FF6692",
           "#B6E880",
           "#FF97FF",
           "#FECB52"
          ],
          "font": {
           "color": "#f2f5fa"
          },
          "geo": {
           "bgcolor": "rgb(17,17,17)",
           "lakecolor": "rgb(17,17,17)",
           "landcolor": "rgb(17,17,17)",
           "showlakes": true,
           "showland": true,
           "subunitcolor": "#506784"
          },
          "hoverlabel": {
           "align": "left"
          },
          "hovermode": "closest",
          "mapbox": {
           "style": "dark"
          },
          "paper_bgcolor": "rgb(17,17,17)",
          "plot_bgcolor": "rgb(17,17,17)",
          "polar": {
           "angularaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "bgcolor": "rgb(17,17,17)",
           "radialaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           }
          },
          "scene": {
           "xaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           },
           "yaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           },
           "zaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           }
          },
          "shapedefaults": {
           "line": {
            "color": "#f2f5fa"
           }
          },
          "sliderdefaults": {
           "bgcolor": "#C8D4E3",
           "bordercolor": "rgb(17,17,17)",
           "borderwidth": 1,
           "tickwidth": 0
          },
          "ternary": {
           "aaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "baxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "bgcolor": "rgb(17,17,17)",
           "caxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           }
          },
          "title": {
           "x": 0.05
          },
          "updatemenudefaults": {
           "bgcolor": "#506784",
           "borderwidth": 0
          },
          "xaxis": {
           "automargin": true,
           "gridcolor": "#283442",
           "linecolor": "#506784",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "#283442",
           "zerolinewidth": 2
          },
          "yaxis": {
           "automargin": true,
           "gridcolor": "#283442",
           "linecolor": "#506784",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "#283442",
           "zerolinewidth": 2
          }
         }
        },
        "title": {
         "text": "Accuracy for different k values"
        },
        "xaxis": {
         "title": {
          "text": "K neighbors"
         }
        },
        "yaxis": {
         "title": {
          "text": "Accuracy"
         }
        }
       }
      },
      "text/html": [
       "<div>\n",
       "        \n",
       "        \n",
       "            <div id=\"5282b844-63dd-4f57-b32d-f724a79b4594\" class=\"plotly-graph-div\" style=\"height:525px; width:100%;\"></div>\n",
       "            <script type=\"text/javascript\">\n",
       "                require([\"plotly\"], function(Plotly) {\n",
       "                    window.PLOTLYENV=window.PLOTLYENV || {};\n",
       "                    \n",
       "                if (document.getElementById(\"5282b844-63dd-4f57-b32d-f724a79b4594\")) {\n",
       "                    Plotly.newPlot(\n",
       "                        '5282b844-63dd-4f57-b32d-f724a79b4594',\n",
       "                        [{\"name\": \"Test Accuracy\", \"type\": \"scatter\", \"x\": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15], \"y\": [0.5777777777777777, 0.4888888888888889, 0.6444444444444445, 0.5555555555555556, 0.5777777777777777, 0.6, 0.6222222222222222, 0.6222222222222222, 0.6, 0.6222222222222222, 0.6222222222222222, 0.6222222222222222, 0.6, 0.5777777777777777, 0.5333333333333333]}, {\"name\": \"Train Accuracy\", \"type\": \"scatter\", \"x\": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19], \"y\": [1.0, 0.7904761904761904, 0.7904761904761904, 0.6761904761904762, 0.7428571428571429, 0.638095238095238, 0.6952380952380952, 0.6666666666666666, 0.6666666666666666, 0.6476190476190476, 0.638095238095238, 0.6476190476190476, 0.6666666666666666, 0.6285714285714286, 0.6571428571428571]}],\n",
       "                        {\"template\": {\"data\": {\"bar\": [{\"error_x\": {\"color\": \"#f2f5fa\"}, \"error_y\": {\"color\": \"#f2f5fa\"}, \"marker\": {\"line\": {\"color\": \"rgb(17,17,17)\", \"width\": 0.5}}, \"type\": \"bar\"}], \"barpolar\": [{\"marker\": {\"line\": {\"color\": \"rgb(17,17,17)\", \"width\": 0.5}}, \"type\": \"barpolar\"}], \"carpet\": [{\"aaxis\": {\"endlinecolor\": \"#A2B1C6\", \"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"minorgridcolor\": \"#506784\", \"startlinecolor\": \"#A2B1C6\"}, \"baxis\": {\"endlinecolor\": \"#A2B1C6\", \"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"minorgridcolor\": \"#506784\", \"startlinecolor\": \"#A2B1C6\"}, \"type\": \"carpet\"}], \"choropleth\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"choropleth\"}], \"contour\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"contour\"}], \"contourcarpet\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"contourcarpet\"}], \"heatmap\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"heatmap\"}], \"heatmapgl\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"heatmapgl\"}], \"histogram\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"histogram\"}], \"histogram2d\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"histogram2d\"}], \"histogram2dcontour\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"histogram2dcontour\"}], \"mesh3d\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"mesh3d\"}], \"parcoords\": [{\"line\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"parcoords\"}], \"pie\": [{\"automargin\": true, \"type\": \"pie\"}], \"scatter\": [{\"marker\": {\"line\": {\"color\": \"#283442\"}}, \"type\": \"scatter\"}], \"scatter3d\": [{\"line\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatter3d\"}], \"scattercarpet\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattercarpet\"}], \"scattergeo\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattergeo\"}], \"scattergl\": [{\"marker\": {\"line\": {\"color\": \"#283442\"}}, \"type\": \"scattergl\"}], \"scattermapbox\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattermapbox\"}], \"scatterpolar\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterpolar\"}], \"scatterpolargl\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterpolargl\"}], \"scatterternary\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterternary\"}], \"surface\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"surface\"}], \"table\": [{\"cells\": {\"fill\": {\"color\": \"#506784\"}, \"line\": {\"color\": \"rgb(17,17,17)\"}}, \"header\": {\"fill\": {\"color\": \"#2a3f5f\"}, \"line\": {\"color\": \"rgb(17,17,17)\"}}, \"type\": \"table\"}]}, \"layout\": {\"annotationdefaults\": {\"arrowcolor\": \"#f2f5fa\", \"arrowhead\": 0, \"arrowwidth\": 1}, \"coloraxis\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"colorscale\": {\"diverging\": [[0, \"#8e0152\"], [0.1, \"#c51b7d\"], [0.2, \"#de77ae\"], [0.3, \"#f1b6da\"], [0.4, \"#fde0ef\"], [0.5, \"#f7f7f7\"], [0.6, \"#e6f5d0\"], [0.7, \"#b8e186\"], [0.8, \"#7fbc41\"], [0.9, \"#4d9221\"], [1, \"#276419\"]], \"sequential\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"sequentialminus\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]]}, \"colorway\": [\"#636efa\", \"#EF553B\", \"#00cc96\", \"#ab63fa\", \"#FFA15A\", \"#19d3f3\", \"#FF6692\", \"#B6E880\", \"#FF97FF\", \"#FECB52\"], \"font\": {\"color\": \"#f2f5fa\"}, \"geo\": {\"bgcolor\": \"rgb(17,17,17)\", \"lakecolor\": \"rgb(17,17,17)\", \"landcolor\": \"rgb(17,17,17)\", \"showlakes\": true, \"showland\": true, \"subunitcolor\": \"#506784\"}, \"hoverlabel\": {\"align\": \"left\"}, \"hovermode\": \"closest\", \"mapbox\": {\"style\": \"dark\"}, \"paper_bgcolor\": \"rgb(17,17,17)\", \"plot_bgcolor\": \"rgb(17,17,17)\", \"polar\": {\"angularaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"bgcolor\": \"rgb(17,17,17)\", \"radialaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}}, \"scene\": {\"xaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}, \"yaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}, \"zaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}}, \"shapedefaults\": {\"line\": {\"color\": \"#f2f5fa\"}}, \"sliderdefaults\": {\"bgcolor\": \"#C8D4E3\", \"bordercolor\": \"rgb(17,17,17)\", \"borderwidth\": 1, \"tickwidth\": 0}, \"ternary\": {\"aaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"baxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"bgcolor\": \"rgb(17,17,17)\", \"caxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}}, \"title\": {\"x\": 0.05}, \"updatemenudefaults\": {\"bgcolor\": \"#506784\", \"borderwidth\": 0}, \"xaxis\": {\"automargin\": true, \"gridcolor\": \"#283442\", \"linecolor\": \"#506784\", \"ticks\": \"\", \"title\": {\"standoff\": 15}, \"zerolinecolor\": \"#283442\", \"zerolinewidth\": 2}, \"yaxis\": {\"automargin\": true, \"gridcolor\": \"#283442\", \"linecolor\": \"#506784\", \"ticks\": \"\", \"title\": {\"standoff\": 15}, \"zerolinecolor\": \"#283442\", \"zerolinewidth\": 2}}}, \"title\": {\"text\": \"Accuracy for different k values\"}, \"xaxis\": {\"title\": {\"text\": \"K neighbors\"}}, \"yaxis\": {\"title\": {\"text\": \"Accuracy\"}}},\n",
       "                        {\"responsive\": true}\n",
       "                    ).then(function(){\n",
       "                            \n",
       "var gd = document.getElementById('5282b844-63dd-4f57-b32d-f724a79b4594');\n",
       "var x = new MutationObserver(function (mutations, observer) {{\n",
       "        var display = window.getComputedStyle(gd).display;\n",
       "        if (!display || display === 'none') {{\n",
       "            console.log([gd, 'removed!']);\n",
       "            Plotly.purge(gd);\n",
       "            observer.disconnect();\n",
       "        }}\n",
       "}});\n",
       "\n",
       "// Listen for the removal of the full notebook cells\n",
       "var notebookContainer = gd.closest('#notebook-container');\n",
       "if (notebookContainer) {{\n",
       "    x.observe(notebookContainer, {childList: true});\n",
       "}}\n",
       "\n",
       "// Listen for the clearing of the current output cell\n",
       "var outputEl = gd.closest('.output');\n",
       "if (outputEl) {{\n",
       "    x.observe(outputEl, {childList: true});\n",
       "}}\n",
       "\n",
       "                        })\n",
       "                };\n",
       "                });\n",
       "            </script>\n",
       "        </div>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Let's find k\n",
    "train_accuracy = []\n",
    "test_accuracy = []\n",
    "for k in np.arange(1,16):\n",
    "    \n",
    "    knn = KNeighborsClassifier(n_neighbors = k)\n",
    "    knn.fit(X_train, y_train.values.ravel())\n",
    "    train_accuracy.append(knn.score(X_train, y_train))\n",
    "    test_accuracy.append(knn.score(X_test, y_test))\n",
    "    \n",
    "#Plot\n",
    "fig = go.Figure()\n",
    "fig.add_trace(go.Scatter(x=np.arange(1,16), y=test_accuracy, name='Test Accuracy'))\n",
    "fig.add_trace(go.Scatter(x=np.arange(1,20), y=train_accuracy, name='Train Accuracy'))\n",
    "\n",
    "fig.update_layout(template='plotly_dark', xaxis_title=\"K neighbors\", title='Accuracy for different k values',\n",
    "                  yaxis_title=\"Accuracy\")\n",
    "\n",
    "fig.show(width=600, height=600)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Visualizing Probabilities for each class\n",
    "Another interesting feature of k-NN is that we can visualize probabilities of each class. This means you can also think of it as a probabilistic decision model (sort of).\n",
    "\n",
    "Here we create a mesh grid, train the model, and instead of predicting categories, we predict probabilities. We use KNeighborsClassifier.predict_proba. Dark blue regions represent high probability a bond is rated BBB, whereas dark red represents low probability a bond is rated BBB.\n",
    "\n",
    "Z is the probability that corresponding x and y values are categorized as BBB."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### KNeighborsClassifier.predict_proba() returns probability estimates for the test data X"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 511,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.plotly.v1+json": {
       "config": {
        "plotlyServerURL": "https://plot.ly"
       },
       "data": [
        {
         "colorscale": [
          [
           0,
           "rgb(103,0,31)"
          ],
          [
           0.1,
           "rgb(178,24,43)"
          ],
          [
           0.2,
           "rgb(214,96,77)"
          ],
          [
           0.3,
           "rgb(244,165,130)"
          ],
          [
           0.4,
           "rgb(253,219,199)"
          ],
          [
           0.5,
           "rgb(247,247,247)"
          ],
          [
           0.6,
           "rgb(209,229,240)"
          ],
          [
           0.7,
           "rgb(146,197,222)"
          ],
          [
           0.8,
           "rgb(67,147,195)"
          ],
          [
           0.9,
           "rgb(33,102,172)"
          ],
          [
           1,
           "rgb(5,48,97)"
          ]
         ],
         "type": "contour",
         "x": [
          0,
          0.02,
          0.04,
          0.06,
          0.08,
          0.1,
          0.12,
          0.14,
          0.16,
          0.18,
          0.2,
          0.22,
          0.24,
          0.26,
          0.28,
          0.3,
          0.32,
          0.34,
          0.36,
          0.38,
          0.4,
          0.42,
          0.44,
          0.46,
          0.48,
          0.5,
          0.52,
          0.54,
          0.56,
          0.58,
          0.6,
          0.62,
          0.64,
          0.66,
          0.68,
          0.7000000000000001,
          0.72,
          0.74,
          0.76,
          0.78,
          0.8,
          0.8200000000000001,
          0.84,
          0.86,
          0.88,
          0.9,
          0.92,
          0.9400000000000001,
          0.96,
          0.98
         ],
         "y": [
          0,
          0.02,
          0.04,
          0.06,
          0.08,
          0.1,
          0.12,
          0.14,
          0.16,
          0.18,
          0.2,
          0.22,
          0.24,
          0.26,
          0.28,
          0.3,
          0.32,
          0.34,
          0.36,
          0.38,
          0.4,
          0.42,
          0.44,
          0.46,
          0.48,
          0.5,
          0.52,
          0.54,
          0.56,
          0.58,
          0.6,
          0.62,
          0.64,
          0.66,
          0.68,
          0.7000000000000001,
          0.72,
          0.74,
          0.76,
          0.78,
          0.8,
          0.8200000000000001,
          0.84,
          0.86,
          0.88,
          0.9,
          0.92,
          0.9400000000000001,
          0.96,
          0.98
         ],
         "z": [
          [
           0.6666666666666666,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6666666666666666,
           0.7333333333333333,
           0.8,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.6,
           0.6,
           0.6666666666666666,
           0.6,
           0.6666666666666666,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.8666666666666667,
           0.8666666666666667,
           0.8,
           0.8,
           0.8,
           0.8,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.8,
           0.8,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.6,
           0.5333333333333333,
           0.4666666666666667,
           0.6666666666666666,
           0.6666666666666666,
           0.7333333333333333,
           0.7333333333333333,
           0.8,
           0.8666666666666667,
           0.8666666666666667,
           0.8,
           0.8,
           0.8,
           0.8,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.5333333333333333,
           0.5333333333333333,
           0.4,
           0.6,
           0.7333333333333333,
           0.8,
           0.8,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8,
           0.8,
           0.8,
           0.8,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.3333333333333333,
           0.6,
           0.7333333333333333,
           0.8666666666666667,
           0.8,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8,
           0.8,
           0.8,
           0.8,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.8,
           0.8,
           0.8,
           0.8,
           0.7333333333333333,
           0.7333333333333333,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.4,
           0.3333333333333333,
           0.26666666666666666,
           0.4666666666666667,
           0.6666666666666666,
           0.7333333333333333,
           0.7333333333333333,
           0.8,
           0.8,
           0.8,
           0.7333333333333333,
           0.7333333333333333,
           0.8,
           0.8,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.3333333333333333,
           0.4666666666666667,
           0.7333333333333333,
           0.8,
           0.8,
           0.7333333333333333,
           0.8,
           0.7333333333333333,
           0.7333333333333333,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.26666666666666666,
           0.5333333333333333,
           0.6,
           0.7333333333333333,
           0.7333333333333333,
           0.6666666666666666,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.8,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.4,
           0.4666666666666667,
           0.5333333333333333,
           0.3333333333333333,
           0.4666666666666667,
           0.6,
           0.6,
           0.7333333333333333,
           0.6666666666666666,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.8,
           0.8,
           0.7333333333333333,
           0.8,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.4666666666666667,
           0.4,
           0.4,
           0.3333333333333333,
           0.4,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6666666666666666,
           0.6,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.4,
           0.4,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4,
           0.4,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.7333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.4,
           0.3333333333333333,
           0.3333333333333333,
           0.26666666666666666,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.4,
           0.3333333333333333,
           0.3333333333333333,
           0.26666666666666666,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.3333333333333333,
           0.4,
           0.4666666666666667,
           0.5333333333333333,
           0.6,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.4,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.26666666666666666,
           0.26666666666666666,
           0.3333333333333333,
           0.26666666666666666,
           0.3333333333333333,
           0.4,
           0.4,
           0.4,
           0.4,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.26666666666666666,
           0.3333333333333333,
           0.3333333333333333,
           0.26666666666666666,
           0.3333333333333333,
           0.4,
           0.4,
           0.4,
           0.4666666666666667,
           0.4,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.6,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.26666666666666666,
           0.3333333333333333,
           0.26666666666666666,
           0.26666666666666666,
           0.3333333333333333,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.6,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.26666666666666666,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6666666666666666,
           0.6666666666666666,
           0.6,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.6,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.6,
           0.6,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333
          ],
          [
           0.3333333333333333,
           0.3333333333333333,
           0.4,
           0.4,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.6,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333
          ],
          [
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.6,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333
          ],
          [
           0.4,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4,
           0.4,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4,
           0.4,
           0.4,
           0.4,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.4666666666666667,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ],
          [
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.5333333333333333,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667,
           0.4666666666666667
          ]
         ]
        }
       ],
       "layout": {
        "template": {
         "data": {
          "bar": [
           {
            "error_x": {
             "color": "#f2f5fa"
            },
            "error_y": {
             "color": "#f2f5fa"
            },
            "marker": {
             "line": {
              "color": "rgb(17,17,17)",
              "width": 0.5
             }
            },
            "type": "bar"
           }
          ],
          "barpolar": [
           {
            "marker": {
             "line": {
              "color": "rgb(17,17,17)",
              "width": 0.5
             }
            },
            "type": "barpolar"
           }
          ],
          "carpet": [
           {
            "aaxis": {
             "endlinecolor": "#A2B1C6",
             "gridcolor": "#506784",
             "linecolor": "#506784",
             "minorgridcolor": "#506784",
             "startlinecolor": "#A2B1C6"
            },
            "baxis": {
             "endlinecolor": "#A2B1C6",
             "gridcolor": "#506784",
             "linecolor": "#506784",
             "minorgridcolor": "#506784",
             "startlinecolor": "#A2B1C6"
            },
            "type": "carpet"
           }
          ],
          "choropleth": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "choropleth"
           }
          ],
          "contour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "contour"
           }
          ],
          "contourcarpet": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "contourcarpet"
           }
          ],
          "heatmap": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmap"
           }
          ],
          "heatmapgl": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmapgl"
           }
          ],
          "histogram": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "histogram"
           }
          ],
          "histogram2d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2d"
           }
          ],
          "histogram2dcontour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2dcontour"
           }
          ],
          "mesh3d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "mesh3d"
           }
          ],
          "parcoords": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "parcoords"
           }
          ],
          "pie": [
           {
            "automargin": true,
            "type": "pie"
           }
          ],
          "scatter": [
           {
            "marker": {
             "line": {
              "color": "#283442"
             }
            },
            "type": "scatter"
           }
          ],
          "scatter3d": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatter3d"
           }
          ],
          "scattercarpet": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattercarpet"
           }
          ],
          "scattergeo": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattergeo"
           }
          ],
          "scattergl": [
           {
            "marker": {
             "line": {
              "color": "#283442"
             }
            },
            "type": "scattergl"
           }
          ],
          "scattermapbox": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattermapbox"
           }
          ],
          "scatterpolar": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolar"
           }
          ],
          "scatterpolargl": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolargl"
           }
          ],
          "scatterternary": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterternary"
           }
          ],
          "surface": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "surface"
           }
          ],
          "table": [
           {
            "cells": {
             "fill": {
              "color": "#506784"
             },
             "line": {
              "color": "rgb(17,17,17)"
             }
            },
            "header": {
             "fill": {
              "color": "#2a3f5f"
             },
             "line": {
              "color": "rgb(17,17,17)"
             }
            },
            "type": "table"
           }
          ]
         },
         "layout": {
          "annotationdefaults": {
           "arrowcolor": "#f2f5fa",
           "arrowhead": 0,
           "arrowwidth": 1
          },
          "coloraxis": {
           "colorbar": {
            "outlinewidth": 0,
            "ticks": ""
           }
          },
          "colorscale": {
           "diverging": [
            [
             0,
             "#8e0152"
            ],
            [
             0.1,
             "#c51b7d"
            ],
            [
             0.2,
             "#de77ae"
            ],
            [
             0.3,
             "#f1b6da"
            ],
            [
             0.4,
             "#fde0ef"
            ],
            [
             0.5,
             "#f7f7f7"
            ],
            [
             0.6,
             "#e6f5d0"
            ],
            [
             0.7,
             "#b8e186"
            ],
            [
             0.8,
             "#7fbc41"
            ],
            [
             0.9,
             "#4d9221"
            ],
            [
             1,
             "#276419"
            ]
           ],
           "sequential": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ],
           "sequentialminus": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ]
          },
          "colorway": [
           "#636efa",
           "#EF553B",
           "#00cc96",
           "#ab63fa",
           "#FFA15A",
           "#19d3f3",
           "#FF6692",
           "#B6E880",
           "#FF97FF",
           "#FECB52"
          ],
          "font": {
           "color": "#f2f5fa"
          },
          "geo": {
           "bgcolor": "rgb(17,17,17)",
           "lakecolor": "rgb(17,17,17)",
           "landcolor": "rgb(17,17,17)",
           "showlakes": true,
           "showland": true,
           "subunitcolor": "#506784"
          },
          "hoverlabel": {
           "align": "left"
          },
          "hovermode": "closest",
          "mapbox": {
           "style": "dark"
          },
          "paper_bgcolor": "rgb(17,17,17)",
          "plot_bgcolor": "rgb(17,17,17)",
          "polar": {
           "angularaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "bgcolor": "rgb(17,17,17)",
           "radialaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           }
          },
          "scene": {
           "xaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           },
           "yaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           },
           "zaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           }
          },
          "shapedefaults": {
           "line": {
            "color": "#f2f5fa"
           }
          },
          "sliderdefaults": {
           "bgcolor": "#C8D4E3",
           "bordercolor": "rgb(17,17,17)",
           "borderwidth": 1,
           "tickwidth": 0
          },
          "ternary": {
           "aaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "baxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "bgcolor": "rgb(17,17,17)",
           "caxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           }
          },
          "title": {
           "x": 0.05
          },
          "updatemenudefaults": {
           "bgcolor": "#506784",
           "borderwidth": 0
          },
          "xaxis": {
           "automargin": true,
           "gridcolor": "#283442",
           "linecolor": "#506784",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "#283442",
           "zerolinewidth": 2
          },
          "yaxis": {
           "automargin": true,
           "gridcolor": "#283442",
           "linecolor": "#506784",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "#283442",
           "zerolinewidth": 2
          }
         }
        },
        "title": {
         "text": "Probability Estimates"
        },
        "xaxis": {
         "title": {
          "text": "EV/Revenue"
         }
        },
        "yaxis": {
         "title": {
          "text": "Current ratio"
         }
        }
       }
      },
      "text/html": [
       "<div>\n",
       "        \n",
       "        \n",
       "            <div id=\"2f079d50-38aa-4252-9cb4-b330887d209d\" class=\"plotly-graph-div\" style=\"height:525px; width:100%;\"></div>\n",
       "            <script type=\"text/javascript\">\n",
       "                require([\"plotly\"], function(Plotly) {\n",
       "                    window.PLOTLYENV=window.PLOTLYENV || {};\n",
       "                    \n",
       "                if (document.getElementById(\"2f079d50-38aa-4252-9cb4-b330887d209d\")) {\n",
       "                    Plotly.newPlot(\n",
       "                        '2f079d50-38aa-4252-9cb4-b330887d209d',\n",
       "                        [{\"colorscale\": [[0.0, \"rgb(103,0,31)\"], [0.1, \"rgb(178,24,43)\"], [0.2, \"rgb(214,96,77)\"], [0.3, \"rgb(244,165,130)\"], [0.4, \"rgb(253,219,199)\"], [0.5, \"rgb(247,247,247)\"], [0.6, \"rgb(209,229,240)\"], [0.7, \"rgb(146,197,222)\"], [0.8, \"rgb(67,147,195)\"], [0.9, \"rgb(33,102,172)\"], [1.0, \"rgb(5,48,97)\"]], \"type\": \"contour\", \"x\": [0.0, 0.02, 0.04, 0.06, 0.08, 0.1, 0.12, 0.14, 0.16, 0.18, 0.2, 0.22, 0.24, 0.26, 0.28, 0.3, 0.32, 0.34, 0.36, 0.38, 0.4, 0.42, 0.44, 0.46, 0.48, 0.5, 0.52, 0.54, 0.56, 0.58, 0.6, 0.62, 0.64, 0.66, 0.68, 0.7000000000000001, 0.72, 0.74, 0.76, 0.78, 0.8, 0.8200000000000001, 0.84, 0.86, 0.88, 0.9, 0.92, 0.9400000000000001, 0.96, 0.98], \"y\": [0.0, 0.02, 0.04, 0.06, 0.08, 0.1, 0.12, 0.14, 0.16, 0.18, 0.2, 0.22, 0.24, 0.26, 0.28, 0.3, 0.32, 0.34, 0.36, 0.38, 0.4, 0.42, 0.44, 0.46, 0.48, 0.5, 0.52, 0.54, 0.56, 0.58, 0.6, 0.62, 0.64, 0.66, 0.68, 0.7000000000000001, 0.72, 0.74, 0.76, 0.78, 0.8, 0.8200000000000001, 0.84, 0.86, 0.88, 0.9, 0.92, 0.9400000000000001, 0.96, 0.98], \"z\": [[0.6666666666666666, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6666666666666666, 0.7333333333333333, 0.8, 0.8666666666666667, 0.8666666666666667, 0.8666666666666667, 0.8666666666666667, 0.8, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.6, 0.6, 0.6666666666666666, 0.6, 0.6666666666666666, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.8666666666666667, 0.8666666666666667, 0.8, 0.8, 0.8, 0.8, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.8, 0.8, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.6, 0.5333333333333333, 0.4666666666666667, 0.6666666666666666, 0.6666666666666666, 0.7333333333333333, 0.7333333333333333, 0.8, 0.8666666666666667, 0.8666666666666667, 0.8, 0.8, 0.8, 0.8, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.5333333333333333, 0.5333333333333333, 0.4, 0.6, 0.7333333333333333, 0.8, 0.8, 0.8666666666666667, 0.8666666666666667, 0.8666666666666667, 0.8, 0.8, 0.8, 0.8, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.4666666666666667, 0.4666666666666667, 0.3333333333333333, 0.6, 0.7333333333333333, 0.8666666666666667, 0.8, 0.8666666666666667, 0.8666666666666667, 0.8666666666666667, 0.8, 0.8, 0.8, 0.8, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.8, 0.8, 0.8, 0.8, 0.7333333333333333, 0.7333333333333333, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.4, 0.3333333333333333, 0.26666666666666666, 0.4666666666666667, 0.6666666666666666, 0.7333333333333333, 0.7333333333333333, 0.8, 0.8, 0.8, 0.7333333333333333, 0.7333333333333333, 0.8, 0.8, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.3333333333333333, 0.3333333333333333, 0.4, 0.3333333333333333, 0.4666666666666667, 0.7333333333333333, 0.8, 0.8, 0.7333333333333333, 0.8, 0.7333333333333333, 0.7333333333333333, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.3333333333333333, 0.3333333333333333, 0.4, 0.26666666666666666, 0.5333333333333333, 0.6, 0.7333333333333333, 0.7333333333333333, 0.6666666666666666, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.4, 0.4666666666666667, 0.5333333333333333, 0.3333333333333333, 0.4666666666666667, 0.6, 0.6, 0.7333333333333333, 0.6666666666666666, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.8, 0.8, 0.7333333333333333, 0.8, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.4666666666666667, 0.4, 0.4, 0.3333333333333333, 0.4, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6666666666666666, 0.6, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.4, 0.4, 0.3333333333333333, 0.3333333333333333, 0.4, 0.4, 0.4, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.7333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.4, 0.3333333333333333, 0.3333333333333333, 0.26666666666666666, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.4, 0.4, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.4, 0.3333333333333333, 0.3333333333333333, 0.26666666666666666, 0.3333333333333333, 0.3333333333333333, 0.4, 0.3333333333333333, 0.4, 0.4666666666666667, 0.5333333333333333, 0.6, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.4, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.4, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.3333333333333333, 0.3333333333333333, 0.26666666666666666, 0.26666666666666666, 0.3333333333333333, 0.26666666666666666, 0.3333333333333333, 0.4, 0.4, 0.4, 0.4, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.3333333333333333, 0.3333333333333333, 0.26666666666666666, 0.3333333333333333, 0.3333333333333333, 0.26666666666666666, 0.3333333333333333, 0.4, 0.4, 0.4, 0.4666666666666667, 0.4, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.6, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.4, 0.4, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.4, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.6, 0.6, 0.6, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.26666666666666666, 0.3333333333333333, 0.26666666666666666, 0.26666666666666666, 0.3333333333333333, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6, 0.6, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.26666666666666666, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6, 0.6], [0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6], [0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.6, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6], [0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.6, 0.6, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333], [0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.3333333333333333, 0.4, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333], [0.3333333333333333, 0.3333333333333333, 0.4, 0.4, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.6, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333], [0.4, 0.4, 0.4, 0.4, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.6, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333], [0.4, 0.4, 0.4, 0.4, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4, 0.4, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4, 0.4, 0.4, 0.4, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.4666666666666667, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667], [0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.5333333333333333, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667, 0.4666666666666667]]}],\n",
       "                        {\"template\": {\"data\": {\"bar\": [{\"error_x\": {\"color\": \"#f2f5fa\"}, \"error_y\": {\"color\": \"#f2f5fa\"}, \"marker\": {\"line\": {\"color\": \"rgb(17,17,17)\", \"width\": 0.5}}, \"type\": \"bar\"}], \"barpolar\": [{\"marker\": {\"line\": {\"color\": \"rgb(17,17,17)\", \"width\": 0.5}}, \"type\": \"barpolar\"}], \"carpet\": [{\"aaxis\": {\"endlinecolor\": \"#A2B1C6\", \"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"minorgridcolor\": \"#506784\", \"startlinecolor\": \"#A2B1C6\"}, \"baxis\": {\"endlinecolor\": \"#A2B1C6\", \"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"minorgridcolor\": \"#506784\", \"startlinecolor\": \"#A2B1C6\"}, \"type\": \"carpet\"}], \"choropleth\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"choropleth\"}], \"contour\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"contour\"}], \"contourcarpet\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"contourcarpet\"}], \"heatmap\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"heatmap\"}], \"heatmapgl\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"heatmapgl\"}], \"histogram\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"histogram\"}], \"histogram2d\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"histogram2d\"}], \"histogram2dcontour\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"histogram2dcontour\"}], \"mesh3d\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"mesh3d\"}], \"parcoords\": [{\"line\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"parcoords\"}], \"pie\": [{\"automargin\": true, \"type\": \"pie\"}], \"scatter\": [{\"marker\": {\"line\": {\"color\": \"#283442\"}}, \"type\": \"scatter\"}], \"scatter3d\": [{\"line\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatter3d\"}], \"scattercarpet\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattercarpet\"}], \"scattergeo\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattergeo\"}], \"scattergl\": [{\"marker\": {\"line\": {\"color\": \"#283442\"}}, \"type\": \"scattergl\"}], \"scattermapbox\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattermapbox\"}], \"scatterpolar\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterpolar\"}], \"scatterpolargl\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterpolargl\"}], \"scatterternary\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterternary\"}], \"surface\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"surface\"}], \"table\": [{\"cells\": {\"fill\": {\"color\": \"#506784\"}, \"line\": {\"color\": \"rgb(17,17,17)\"}}, \"header\": {\"fill\": {\"color\": \"#2a3f5f\"}, \"line\": {\"color\": \"rgb(17,17,17)\"}}, \"type\": \"table\"}]}, \"layout\": {\"annotationdefaults\": {\"arrowcolor\": \"#f2f5fa\", \"arrowhead\": 0, \"arrowwidth\": 1}, \"coloraxis\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"colorscale\": {\"diverging\": [[0, \"#8e0152\"], [0.1, \"#c51b7d\"], [0.2, \"#de77ae\"], [0.3, \"#f1b6da\"], [0.4, \"#fde0ef\"], [0.5, \"#f7f7f7\"], [0.6, \"#e6f5d0\"], [0.7, \"#b8e186\"], [0.8, \"#7fbc41\"], [0.9, \"#4d9221\"], [1, \"#276419\"]], \"sequential\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"sequentialminus\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]]}, \"colorway\": [\"#636efa\", \"#EF553B\", \"#00cc96\", \"#ab63fa\", \"#FFA15A\", \"#19d3f3\", \"#FF6692\", \"#B6E880\", \"#FF97FF\", \"#FECB52\"], \"font\": {\"color\": \"#f2f5fa\"}, \"geo\": {\"bgcolor\": \"rgb(17,17,17)\", \"lakecolor\": \"rgb(17,17,17)\", \"landcolor\": \"rgb(17,17,17)\", \"showlakes\": true, \"showland\": true, \"subunitcolor\": \"#506784\"}, \"hoverlabel\": {\"align\": \"left\"}, \"hovermode\": \"closest\", \"mapbox\": {\"style\": \"dark\"}, \"paper_bgcolor\": \"rgb(17,17,17)\", \"plot_bgcolor\": \"rgb(17,17,17)\", \"polar\": {\"angularaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"bgcolor\": \"rgb(17,17,17)\", \"radialaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}}, \"scene\": {\"xaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}, \"yaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}, \"zaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}}, \"shapedefaults\": {\"line\": {\"color\": \"#f2f5fa\"}}, \"sliderdefaults\": {\"bgcolor\": \"#C8D4E3\", \"bordercolor\": \"rgb(17,17,17)\", \"borderwidth\": 1, \"tickwidth\": 0}, \"ternary\": {\"aaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"baxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"bgcolor\": \"rgb(17,17,17)\", \"caxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}}, \"title\": {\"x\": 0.05}, \"updatemenudefaults\": {\"bgcolor\": \"#506784\", \"borderwidth\": 0}, \"xaxis\": {\"automargin\": true, \"gridcolor\": \"#283442\", \"linecolor\": \"#506784\", \"ticks\": \"\", \"title\": {\"standoff\": 15}, \"zerolinecolor\": \"#283442\", \"zerolinewidth\": 2}, \"yaxis\": {\"automargin\": true, \"gridcolor\": \"#283442\", \"linecolor\": \"#506784\", \"ticks\": \"\", \"title\": {\"standoff\": 15}, \"zerolinecolor\": \"#283442\", \"zerolinewidth\": 2}}}, \"title\": {\"text\": \"Probability Estimates\"}, \"xaxis\": {\"title\": {\"text\": \"EV/Revenue\"}}, \"yaxis\": {\"title\": {\"text\": \"Current ratio\"}}},\n",
       "                        {\"responsive\": true}\n",
       "                    ).then(function(){\n",
       "                            \n",
       "var gd = document.getElementById('2f079d50-38aa-4252-9cb4-b330887d209d');\n",
       "var x = new MutationObserver(function (mutations, observer) {{\n",
       "        var display = window.getComputedStyle(gd).display;\n",
       "        if (!display || display === 'none') {{\n",
       "            console.log([gd, 'removed!']);\n",
       "            Plotly.purge(gd);\n",
       "            observer.disconnect();\n",
       "        }}\n",
       "}});\n",
       "\n",
       "// Listen for the removal of the full notebook cells\n",
       "var notebookContainer = gd.closest('#notebook-container');\n",
       "if (notebookContainer) {{\n",
       "    x.observe(notebookContainer, {childList: true});\n",
       "}}\n",
       "\n",
       "// Listen for the clearing of the current output cell\n",
       "var outputEl = gd.closest('.output');\n",
       "if (outputEl) {{\n",
       "    x.observe(outputEl, {childList: true});\n",
       "}}\n",
       "\n",
       "                        })\n",
       "                };\n",
       "                });\n",
       "            </script>\n",
       "        </div>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "mesh_size = .02\n",
    "margin = 0.0\n",
    "\n",
    "# Split our data into train and test\n",
    "X_train, X_test, y_train, y_test = train_test_split(X_normalized, y, test_size = .3, random_state = 4)\n",
    "\n",
    "# Create a mesh grid on which we will run our model\n",
    "X = X_normalized.copy()\n",
    "x_min, x_max = X[:, 0].min() - margin, X[:, 0].max() + margin\n",
    "y_min, y_max = X[:, 1].min() - margin, X[:, 1].max() + margin\n",
    "xrange = np.arange(x_min, x_max, mesh_size)\n",
    "yrange = np.arange(y_min, y_max, mesh_size)\n",
    "xx, yy = np.meshgrid(xrange, yrange)\n",
    "\n",
    "# Fit KNN on the train data\n",
    "knn.fit(X_train, y_train.values.ravel())\n",
    "\n",
    "# Predict probabilities\n",
    "Z = knn.predict_proba(np.c_[xx.ravel(), yy.ravel()])[:, 1]\n",
    "Z = Z.reshape(xx.shape)\n",
    "\n",
    "# Plot figure\n",
    "fig = go.Figure(data = [go.Contour(x=xrange, y=yrange, z=Z, colorscale='RdBu')])\n",
    "\n",
    "fig.update_layout(template='plotly_dark', xaxis_title=\"EV/Revenue\", title='Probability Estimates',\n",
    "                  yaxis_title=\"Current ratio\")\n",
    "\n",
    "fig.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Looking at the scatter plot created earlier after normalization, the region in the lower right has the majority of the BBB rated bonds.  The probability that a bond is rated BBB in this region is higher.  Conversely, the left region of the scatter plot has the majority of B rated bonds.  The probability that a bond is rated BBB is lower in this region and is why the probability graph shades this region red."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 512,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(0, 0.3)"
      ]
     },
     "execution_count": 512,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAqQAAAG5CAYAAABY5iZxAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nOzdd1yVZf8H8M9hgxyQ5UAQHKhgOVKcODHNrY9Zao5c6C/JUZqmuTNLSy0zM0vNiVtx5QREBEXFhTgwRJAlS5Yyr98f5LHTAVE559yMz/v1+r4ez3Xf93V/D1J9nnvKAAgQEREREUlER+oGiIiIiKhyYyAlIiIiIkkxkBIRERGRpBhIiYiIiEhSDKREREREJCkGUiIiIiKSFAMpEZEazZ8/H1u2bAEA2NvbIz09HTo66v1XbUREBNzd3dU6JxGRlBhIiahciYiIQFxcHExMTBRjY8eOhY+Pj4RdFS0qKgpyuRwFBQVa2+fGjRuRnZ2NtLQ0pKWl4caNG/jmm29gZmb2ynMw8BKRtjGQElG5o6enhylTpqhlLplMppZ5ypJly5bBzMwMNjY2GD16NNq0aYOAgAClEE9EVJYwkBJRubN8+XJMnz4d5ubmRS5v27YtLl68iNTUVFy8eBFt27ZVLPPx8cHXX3+Nc+fOISsrC3Xr1oWPjw8WL16MgIAApKenw9vbG5aWlti6dSuePHmCixcvwsHBQTHHqlWr8PDhQzx58gSXLl2Cm5tbkX04ODhACAFdXV20adMG6enpinr69CkiIiIAFIbimTNnIjw8HImJidi5cycsLCwU8wwfPhwPHjxAYmIiZs+e/co/p+zsbFy6dAn9+vWDlZUVRo8eDQCoW7cuTp8+jcTERDx+/Bhbt25V/Cw3b96M2rVr49ChQ0hPT8eMGTMAALt27UJsbCxSU1Ph5+cHFxeXV+6DiKgkDKREVO5cunQJvr6+mD59usoyCwsLHDlyBD/99BOsrKywYsUKHDlyBJaWlop1RowYAQ8PD8jlckRGRgIAhgwZghEjRqBWrVqoV68eAgMDsXHjRlhaWiIsLAzz589XbB8cHIxmzZrB0tIS27dvx+7du2FoaPjSnoOCgiCXyyGXy2FhYYGgoCDs2LEDADB58mQMGDAAnTp1gq2tLVJSUrBmzRoAgLOzM9auXYsRI0bA1tYWVlZWsLOze62fV0ZGBk6ePIkOHToAKAzAS5cuha2tLZydnWFvb48FCxYAAEaOHImHDx+ib9++kMvlWL58OQDg2LFjcHJyQrVq1XDlyhVs27bttXogIiqJYLFYrPJSERERwt3dXTRu3FikpqYKa2trMXbsWOHj4yMAiOHDh4sLFy4obXP+/HkxatQoAUD4+PiIhQsXKi338fERs2fPVnz+/vvvxdGjRxWf+/TpI0JCQortKTk5WTRp0kQAEPPnzxdbtmwRAISDg4MQQghdXV2l9X/55Rdx+PBhIZPJBABx69Yt0bVrV8XyGjVqiJycHKGrqyvmzp0rduzYoVhmYmIisrOzhbu7e5G9bNy4USxevFhlfOnSpeLEiRNFbtO/f39x5coVlZ9xcd/X3NxcCCGEmZmZ5L8PLBarYpQeiIjKodDQUBw+fBizZs1CWFiYYtzW1lZx1PO5yMhI1KpVS/E5KipKZb74+HjFn58+fary2dTUVPH5s88+w7hx42BrawshBMzMzGBtbf1KfXt4eKBz585o06YNhBAACk/t79+/X+nmp/z8fFSvXh22trZK/WZlZSEpKemV9vVvtWrVQnJyMgDAxsYGP/30Ezp06AC5XA4dHR2kpKQUu62Ojg6WLFmCwYMHw8bGRtGntbU10tLSXrsXIqL/4il7Iiq35s+fj/HjxyuFzZiYGKXrPQGgdu3aePTokeLz8yD4Jtzc3DBz5kx88MEHsLCwgIWFBZ48efJKN0e5ublh8eLF6N+/v1KQi4qKQs+ePRXzWVhYwNjYGDExMYiNjYW9vb1iXWNjY1hZWb1Wz1WqVEG3bt3g7+8PAFi6dCmEEGjSpAnMzc0xfPhwpf7/+/MZNmwY+vfvj27dusHc3ByOjo4AKuYNYUQkDQZSIiq37t+/j507d2Ly5MmKsaNHj6JBgwYYOnQodHV18cEHH8DFxQWHDx9Wyz7lcjny8vLw+PFj6OnpYe7cua/0SCU7Ozvs3LkTI0eOxL1795SW/frrr1iyZAlq164NoPDIY79+/QAAe/bsQZ8+fdC+fXvo6+tj0aJFr/xcUwMDA7zzzjs4cOAAUlJSsHHjRsV3yMjIQGpqKmxtbRU3Lj0XHx+PunXrKn3n7OxsJCUlwcTEBN98880r7Z+I6FUxkBJRubZo0SJUqVJF8Tk5ORl9+vTB559/jqSkJHzxxRfo06fPG53mLsrx48dx7Ngx3L17F5GRkXj27FmRlwD8l7u7O2rUqIE9e/Yo7rS/efMmAODHH3+Et7c3Tpw4gbS0NAQFBaF169YAgFu3bmHSpEnYvn07YmNjkZKSgujo6Jfu64svvkBaWhqSk5OxefNmXL58Ge3atUNWVhYAYOHChXjnnXfw5MkTHDlyBPv27VPafunSpfjqq6+QkpKCzz//HJs3b0ZkZCQePXqEW7duISgo6E1+dERExZKh8GJSIiIiIiJJ8AgpEREREUmKgZSIiIiIJMVASkRERESSYiAlIiIiIkmVuwfjJyQkqDz0moiIiIi0z8HBAdWqVSv1POUukEZGRsLV1VXqNoiIiIgqveDgYLXMw1P2RERERCQpBlIiIiIikhQDKRERERFJqtxdQ0pERERU1lhYWGDq1KlwdHSETCaTuh21EkLgwYMHWLVqFVJSUjSyDwZSIiIiolKaOnUqLl26hEWLFiE/P1/qdtRKV1cXvXv3xtSpUzF//nyN7IOn7ImIiIhKydHREUePHq1wYRQA8vPzceTIETg6OmpsHwykRERERKUkk8kqZBh9Lj8/X6OXIjCQEhEREZGkGEiJiIiIKojZs2fj5s2buHbtGkJCQtCqVSsAwLp16xAaGorr16+jTZs2SttERETg+vXruHr1Ko4fP47q1atrvW/e1ERERERUAbRp0wZ9+vTBO++8g5ycHFhZWcHAwABubm5wcnJC48aNYWxsDLlcrrJtly5dkJSUhCVLlmD27NmYMmWKVnvnEVIiIiKiCqBmzZpITExETk4OACApKQmxsbHIyclB9erVoa+vj6dPnyIhIaHYOc6ePYv69etrq2UFBlIiIiKiCuDEiROwt7fHnTt3sGbNGnTs2BEAEB8fDzMzM2zatKnEOfr06YMbN25ouFNVDKREREREFUBmZiZatGgBDw8PPH78GDt37sSoUaOwZ88euLu7IysrCytXrgQArFmzBr169VJs6+Pjg5CQEJiZmWHp0qVa753XkBIRERFVEAUFBfDz84Ofnx9u3LiBsWPHwtraGnfv3sWECROwd+9ezJs3Dy1btsSMGTMU2z2/hlQqPEJKREREVAE0aNBA6frPZs2a4e+//4ZMJkPnzp1RUFAADw8PTJkyBVeuXEFWVpaE3SqrkIHUwcEBu7asxf0bfrh+4Tg+HjlM6paIiIiINMrU1BR//vknQkNDce3aNbi4uGD+/PkYNGgQlixZgpCQEBw4cACenp5o06YNBg0aJHXLSoQm6o8//hDx8fHixo0bxa7z448/inv37olr166J5s2bv9K8wcHBL11ub28vou4ECnG8rRDbIMSuqiL1ykrxw7fzNPI9WSwWi8VisTZv3ix5D1J8x5Jy2auWxo6Qbtq0Ce+9916xy3v27AknJyc4OTnBw8MDa9euVct+F8/9DHZRs4HEwMKB3FSYh03D0AGdYWFhoZZ9EBEREZH6aCyQ+vv7Izk5udjl/fv3x+bNmwEAFy5cQNWqVVGjRo1S77dtq+ZAvI/KuHGqH5o1a1bq+YmIiIhIvSS7hrRWrVqIiopSfI6OjkatWrWKXHf8+PEIDg5GcHAwrK2tXzrv48QkwMReZTzbsB5iYmJK1zQRERERqZ1kgVQmk6mMCSGKXHf9+vVwdXWFq6srEhMTXzrvwu/WIrn+t4DsxVcrsGyDqAwr3Llzp3RNExEREZHaSfYc0ujoaNjbvziSaWdnp5YjmCdPnsLidXUwY/I56KdeQL6RHR4kGaDf/z4u9dxEREREpH6SBVJvb294enrCy8sLrVu3xpMnTxAXF6eWuVf9vB6//r4FLi4uSExMxMOHD9UyLxERERGpn8YC6fbt29G5c2dYW1sjKioK8+fPh76+PgBg3bp1OHr0KHr16oXw8HBkZWVh9OjRat3/s2fPcOXKFbXOSURERFRW5eXl4caNG5DJZMjPz4enpycCAwOlbuuVaCyQDhtW8sPoPT09NbV7IiIiokrl6dOnaN68OQCge/fuWLp0KTp37ixtU6+oQr6piYiIiKhsGwogAkD+P/87VK2zm5mZISUlRa1zapJk15ASERERVU5DAawHUOWfz47/fAaAHW88q7GxMUJCQmBkZISaNWuia9eupepSm3iElIiIiEirvsGLMPpclX/G39zzU/bOzs547733FC8gKg8YSImIiIi0qvZrjr++oKAgWFtbw8bGRm1zahIDKREREZFWFfc4SvU9prJhw4bQ1dVFUlKS2ubUJF5DSkRERKRVs6F8DSkAZP4z/uaeX0MKFL4Rc9SoUSgoKCjVnNrCQEpERESkVc9vXPoGhafpH6IwjL75DU0AoKdXfmNd+e2ciIiIqNzagdIG0IqE15ASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIqALIy8tDSEgIrl69isuXL6Nt27YAAAcHB2RlZSmWBQQEoEGDBgCATp06ITU1FSEhIbh27RpOnjwpydudGEiJiIiIKoDn77Jv1qwZvvzySyxdulSx7P79+4plf/75J2bPfvEQfn9/fzRv3hxNmzZFcHAwJk2apPXeGUiJiIiItGxoOyBiFZC/tfB/h7ZT7/xmZmZISUl57WVyubzYZZrEB+MTERERadHQdsD6cUAVw8LPjjaFnwFgx/k3n/f5q0ONjIxQs2ZNdO3aVbGsXr16CAkJgVwuh4mJCVq3bq1Y1qFDB4SEhMDKygqZmZlKR0+1hUdIiYiIiLTomw9ehNHnqhgWjpfG81P2zs7OeO+997B582bFsuen7OvXr4+pU6fit99+Uyx7fsq+du3a2LhxI5YtW1a6Rt4AAykRERGRFtW2LmbcSn37CAoKgrW1dZE3KHl7e6Njx45FbveyZZrEQEpERESkRQ8TixlPUt8+GjZsCF1dXSQlqU7q5uaG+/fvF7ndy5ZpEq8hJSIiItKi2buUryEFgMzswvHSeH4NKQDIZDKMGjUKBQUFAF5cQyqTyZCTk4Nx48Yptnt+DalMJsOTJ0+UlmkLAykRERGRFj2/cembDwpP0z9MKgyjpbmhCQD09IqOdZGRkTAxMSlymZ+fH6pWrVq6HasBAykRERGRlu04X/oAWpHwGlIiIiIikhQDKREREVEpCSGgq6srdRsao6urCyGExuZnICUiIiIqpQcPHqB3794VMpTq6uqid+/eePDggcb2wWtIiYiIiEpp1apVmDp1KgYNGgSZTCZ1O2olhMCDBw+watUqje2DgZSIiIiolFJSUjB//nyp2yi3eMqeiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaR4UxMREVVaRkZGGDrkfbRs2ggXrtzCzl17kZ2dLXVbRJUOj5ASEVGlZG9vj1uXz2D1eGt80vgY1vxfTYRePoOaNWtK3RpRpcMjpEREVCltXv8D6jz4PyD1GgDA9HEATK3OYtO65ejRb7jE3RFVLjxCSkRElY6enh4a1qmmCKMKScF4u5FjhXuwOVFZx0BKRESVDgMnUdnCQEpERJVObm4u7j54DFRtorzAsiVu3o6EEEKaxogqKV5DSkREldLI8Z/D9y8vVE/ZAZOMS8g0bY34qh9gdPfBUrdGVOkwkBIRUaX08OFDNG7hjo+GfoCWzfriwpVb2OHVFc+ePZO6NaJKh4GUiIgqradPn+L3DX/id6kbIarkeA0pEREREUmKgZSIiIiIJMVASkRERESSYiAlIiIiIkkxkBIRERGRpBhIiYiIiEhSDKREREREJCkGUiIiIiKSFAMpEREREUmKgZSIiIiIJMVASkRERESSYiAlIiIiIkkxkBIRERGRpBhIiYiIiEhSDKREREREJCkGUiIiIiKSFAMpEREREUmKgZSIiIiIJKXRQNqjRw/cvn0b9+7dw8yZM1WW29vb48yZM7hy5QquXbuGnj17arIdIiIiIiqjhCZKR0dHhIeHizp16gh9fX1x9epV4ezsrLTOunXrxMSJEwUA4ezsLCIiIkqcNzg4WCP9slgsFovFYrFer9SVyzR2hLRVq1YIDw9HREQEcnNz4eXlhf79+yutI4SAmZkZAMDc3BwxMTGaaoeIiIiIyig9TU1cq1YtREVFKT5HR0ejdevWSussWLAAJ06cwKeffooqVaqgW7duRc41fvx4eHh4AACsra011TIRERERSUBjR0hlMpnKmBBC6fPQoUOxadMm2Nvbo1evXtiyZUuR261fvx6urq5wdXVFYmKiplomIiIiIgloLJBGR0fD3t5e8dnOzk7llPzYsWOxa9cuAEBQUBCMjIx4BJSIiIioktFYIA0ODoaTkxMcHR2hr6+PIUOGwNvbW2mdhw8fwt3dHQDQqFEjGBkZ4fHjx5pqiYiIiIjKII0F0vz8fHh6euL48eMICwvDrl27cOvWLSxcuBB9+/YFAHz++ecYP348rl69ih07duDjjz/WVDtEREREVEbJUHi7fbkRHBwMV1dXqdsgIiIiqvTUlcv4piYiIiIikhQDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSKicmvIB+/jgp83Qi+dxuIFsyCXy6VuiYjegJ7UDRAREb2JX3/6FkPcDGEeMQ6ISYFT1w8xqP9huLr1QmZmptTtEdFrqNBHSHV0dNC7dx8sXvwzPvnkM1hYWEjdEhERqUHt2rUxwL0xzMOmAc8SgIJc6EdtRZ3MbZjo8bHU7RHRa6qwgdTY2BhHj15E+/ZbcOLEJGRlLcWxY6Fo3bqN1K0REVEpdejQAVZPDqmMG8Xtx8DeXSToiIhKo8Kesv/ss/nw8nobmzYZAAD8/Q1w+HBNHDy4De3b15O4OyIiKo2kpCRk6jaA+X8XmNRCfEKSFC0RUSlU2COk3bsPwtatBkpjiYlAaGgVNG7cWKKuiIhIHU6dOoVUs+6Aid2LQZkuEh3m4btVf0jXGBG9kQp7hLQ4QsikboGIiEopLy8PfQaPx0GvnTB7Ggz9/GRkWfXAtys34uLFi1K3R0SvqcIG0hMn9mLYsGnYvPnFUVJra+CttzIQGhoqYWdERKQON2/eRP233dC6dWvI5XIEBq5ARkaG1G0R0RuosIF05cpF2L//XTRoUA/Hjpmjfv0cTJyYhGnThkvdGhERqYkQAkFBQVK3QUSlVGEDaVZWFnr2dEWvXn3Qq9d7iI39G717b0BycrLUrRERERHRv1TYQAoABQUFOHzYG4cPe0vdChEREREVo8LeZU9ERERE5QMDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIiCSl0UDao0cP3L59G/fu3cPMmTOLXGfw4MEIDQ3FzZs3sW3bNk22Q0RERERllNBE6ejoiPDwcFGnTh2hr68vrl69KpydnZXWqV+/vrhy5YqoWrWqACBsbGxKnDc4OFgj/bJYLBaLxWKxXq/Ulcs0doS0VatWCA8PR0REBHJzc+Hl5YX+/fsrrTN+/HisWbMGqampAIDHjx9rqh0iIiIiKqM0Fkhr1aqFqKgoxefo6GjUqlVLaZ0GDRqgQYMGOHfuHAIDA9GjRw9NtUNEREREZZSepiaWyWQqY0II5Z3r6cHJyQmdO3eGnZ0d/P398dZbb+HJkydK640fPx4eHh4AAGtra021TEREREQS0NgR0ujoaNjb2ys+29nZISYmRmWdgwcPIi8vDw8ePMCdO3fg5OSkMtf69evh6uoKV1dXJCYmaqplIiIiIpKAxgJpcHAwnJyc4OjoCH19fQwZMgTe3t5K6xw4cABdunQBAFhZWaFBgwb4+++/NdUSEREREZVBr3TKvkmTJujQoQMAwN/fH9evXy9xm/z8fHh6euL48ePQ1dXFhg0bcOvWLSxcuBCXLl3CoUOHcPz4cXTv3h2hoaHIz8/HjBkzkJycXLpvRERERETligyFt9sXa/LkyRg/fjz27dsHABg4cCB+++03/Pzzz9roT0VwcDBcXV0l2TcRERERvaCuXFZiIL127Rratm2LrKwsAICJiQkCAwPRtGnTUu/8TTCQEhEREZUN6splJV5DKpPJkJ+fr/icn59f5B30RERERERvosRrSDdu3IgLFy5g//79AIABAwbgjz/+0HhjRERERFQ5lBhIV65cCV9fX7i5uUEmk2H06NG4evWqNnojIiIiokqg2EAql8uRnp4OCwsLPHjwAA8ePFAss7CwQEpKijb6IyIiIqIKrthAun37dvTt2xeXL19WesOSTCaDEAL16tXTSoNEREREVLEVG0j79u0LAKhbt67WmiEiIiKiyqfEu+xPnTr1SmNERERERG+i2COkhoaGMDExgbW1NapWrap41JOZmRlsbW211iARERERVWzFBtIJEyZg6tSpsLW1xeXLlxWBNC0tDWvWrNFag0RERERUsZX4piZPT0/JXhNaFL6piYiIiKhsUFcuK/E5pD///DMaN24MFxcXGBkZKca3bNlS6p0TEREREZUYSOfNm4fOnTvDxcUFR48eRc+ePXHu3DkGUiIiIiJSixLvsn///ffh7u6OuLg4jBkzBk2bNoWhoaE2eiMiIiKiSqDEQPr06VMIIZCXlwe5XI6EhAQ+m5SIiIiI1KbEU/aXLl2Cubk51q9fj8uXLyMjIwMXL17URm9EREREVAmUeJe9nZ0doqOjAQAODg4wMzPDjRs3tNFbkXiXPREREVHZoK5cVuIp+wMHDij+HBkZKWkYJSIiIqKKp8RAGhQUhJYtW2qjFyIiIiKqhEq8hrRLly6YMGECIiMjkZmZCZlMBiEEmjZtqo3+iIiIiKiCKzGQ9uzZUxt9EBEREVElVWIgffjwoTb6ICIiIqJKqsRrSImIiIiINImBlIiIiIgkVWIg/fbbb19pjIiIiIjoTZQYSN99912VMd7oRERERETqUuxNTRMnTsQnn3yCunXr4tq1a4pxuVyOgIAArTRHRERERBVfsYF0+/btOHbsGJYuXYpZs2YpxtPT05GSkqKV5oiIiIio4is2kKalpSEtLQ3Dhg2Djo4OqlevDj09PZiamsLU1BRRUVHa7JOIiIiIKqgSn0M6adIkLFiwAPHx8SgoKAAAvqmJiIiIiNSmxEA6depUNGzYEMnJydrop0LR0dFB//4DMWDAeOTl5WLnztU4ceKE1G0RERERlSklBtKoqCg8efJEG71UKDKZDJs3H0ZkZHssXGgGAwNg8uT26N59H6ZPHyd1e0RERERlRomB9O+//4avry+OHDmC7OxsxfjKlSs12lh5161bNyQktMGcOWaKsU8+scDOnf3g4uKCW7duSdgdERERUdnxSu+yf/jwIQwMDGBgYKCNniqEXr1GYNs2C5Xx7dtt0KvX+7h1a5EEXRERERGVPSUG0kWLCoOTiYkJsrKyNN5QRZGZ+QTm5qrj5ua5yMzkJRBEREREz5X4pqY2bdogNDQUYWFhAIAmTZpgzZo1Gm+svNu27Rd89tlj6Oq+GDMyAjw8krFnz3bpGiMiIiIqY0oMpKtWrUKPHj2QlJQEALh+/To6duyo8cbKu7CwMBw4sASnT8dh4sRcTJ6cjTNn4rB8+ad4/Pix1O0BAKpXrw5XV1dUrVpV6laIiIioEivxlD0AREdHK33Oz8/XSDMVzfr1P2L//m147733kJeXhx49jiA9PV3qtmBkZIRfftmJGjVaITRUDy1a5OLiRW98+eX/QQghdXtERERUybzSY5/atm0LIQT09fUxefJkxel7KlliYiK2bt0qdRtKli37HadPd8e2bUaKsblzh2HKlCisWrVEws6IiIioshIvKysrK7F161YRFxcn4uPjxZYtW4SlpeVLt9FkBQcHS7bvilBGRkbi7NkYAQil0tcXIiAgQvL+WCwWi8VilZ9SVy576RFSHR0djBgxAsOHD3/ZalSOyOVyxMerjufmAnl5+tpviIiIiCq9l97UVFBQgP79+2urF9KCxMRE1KqVAyMj5fFatYCMjDhpmiIiIqJKrcS77AMCArB69Wq4ubmhefPmiqLySQiBFSvmYMeOJNjbF441agRs2ZKAxYs/lbY5IiIiqpRKvKmpXbt2AF48IB8oDDXu7u6a64o0as+ebUhKisVPP30NC4tqiIl5gM8/n4GQkBCpWyMiIqJK6KWBVCaTYe3atdi9e7e2+iEt8fE5Ax+fdlK3QURERPTyU/ZCCHh6emqrFyIiIiKqhEq8hvTkyZP4/PPPYWdnBwsLC0UREREREalDideQjhkzBgAwadIkxZgQAvXq1dNcV0RERERUaZQYSOvWrauNPsqlmjVrYtDAfpDJZNiz7yBiY2OlbomIiIio3CkxkI4YMaLI8S1btqi9mfJk8ifjMHvKMFglbAIAzDnO0QMAACAASURBVJmyDd+u9sKq1b9J2xgRERFROVNiIHV1dVX82cjICO7u7rhy5UqlDqR16tTBnCkfoNrldwGRDwCoHrUVX046ikNHT+P+/fsSd0hERERUfpQYSCdPnqz02czMrFKHUQAYPfIDWMesUYRRAIAogHXMzxj38Yf4cu430jVHREREVM6UGEj/KysrC05OTpropdyoYmwEnYIslXGdgiwYGxlK0NGb09HRUbx5KyQkBAUFBRJ3RERERJVNiYHU29sbQggAheHFxcUFu3bt0nhjZdnWnd4Y2Ws6rONOKo0n2nyMrTt/kqir19elc0dsXPsdqmQEQ8hkyKryM4aP+xznAs5L3RoRERFVIiUG0u+//17x57y8PERGRuLRo0cabaqsCwkJwcGAWAxs9zssY9YCQiDZdiIOBSbi0qVLUrf3SmxsbLB9/beoEdITyE0tHDSwxK5NR9C4VS+kpKRI2yARERFVGsUG0nr16qF69eo4e/as0ribmxsMDQ3x999/a7y5smzc/03H5o4dMXH0KADAuu+2wc/PT+KuXt3Yj4fBKmb1izAKADnJsIpbh49HDsXKH3+RrjkiIiKqVIp9U9OqVauQnp6uMv706VOsWrVKo02VF2fPnsWw0ZMxbPTkchVGAaBO7RrQfxapMm7wLAJ17GtI0BERERFVVsUGUkdHR9y4cUNl/PLly3B0dNRkT6QFh46fQ6pFb5XxlKp9cPjEOQk6IiIiosqq2EBqZGRU7EbGxsYaaYa05+jRY7iX3RzZDuMBHQNAxxDPHP8PtzMa4eTJkyVPQERERKQmxQbS4OBgjBs3TmV8zJgxuHz58itN3qNHD9y+fRv37t3DzJkzi11v0KBBEEKgRYsWrzQvlV5BQQE6vvs/LD1mjjuNjuN2o7+w5JAxOvcYpHiqAhEREZE2yAAUmT6qVauG/fv3IycnRxFAW7ZsCQMDAwwcOBDx8fEvnVhHRwd3797Fu+++i+joaAQHB2Po0KEICwtTWs/U1BRHjhyBgYEBPD09Swy7wcHBSm+PIiIiIiJpqCuXFXuXfUJCAtq3b4/OnTvjrbfeAgAcOXIEPj4+rzRxq1atEB4ejoiICACAl5cX+vfvrxJIFy9ejGXLlmH69Olv+h2IiIiIqBwr8Tmkvr6+8PX1fe2Ja9WqhaioKMXn6OhotG7dWmmdZs2awd7eHkeOHGEgJSIiIqqkXvvVoa9KJpOpjP372kSZTIaVK1fi448/LnGu8ePHw8PDAwBgbW2tth6JiIiISHrF3tRUWtHR0bC3t1d8trOzQ0xMjOKzXC7HW2+9BV9fX0RERKBNmzbw9vYu8sam9evXw9XVFa6urkhMTNRUy0REREQkAY0F0uDgYDg5OcHR0RH6+voYMmQIvL29FcvT0tJgY2ODOnXqoE6dOggKCkK/fv1e+Q5+IiIiIqoYNBZI8/Pz4enpiePHjyMsLAy7du3CrVu3sHDhQvTt21dTuyUiIiKicqbYxz6VVXzsExEREVHZoK5cprEjpEREREREr4KBlIiIiIgkxUBKRERERJJiICUiIiIiSTGQEhEREZGkGEiJiIiISFIMpEREREQkKQZSIiIiIpIUAykRERERSYqBlIiIiIgkxUBKRERERJLSk7oBIiIiTdDV1UXnzp0hl8sRHByM2NhYFBQUSN0WERWBgZSIiCqcd955B7/8sh8Rf5vB3S0TZgbxeJavj90H/sKkaV8hJydH6haJ6F94yp4qhSpVqsDCwkLqNohIC/T19bF27QEsWGCPbi3uwyaoMQxPt4C5bxOMaHIbXn+ukbpFIvoPBlKq0GxsbODldQoHD97Dn3+G4syZW2jduo3UbRGRBnXv3h1HjlTFjE8TYH1nKJD7RLHM8OEGtG1SEzVr1pSwQyL6L56ypwpt584zmDPHBYGBhf/fq1q1mti7dx8++qgNHj58KHF3RKQJVatWRXy8MWrbPQFu3lNZbpB+FXXr1kVsbKwE3RFRUXiElCqsTp06ISTEVhFGASAhAViypBo8PGZI2BkRaZKvry8GDkxCRKQBYOassjzbrAXu3VMNqkQkHQZSqrDq12+Aq1ctVcavXtVFvXpvSdAREWnDo0ePEBS0A2k5Rkhy9gIMbQoXyHSQ5TAJfsF/IyEhQdomiUgJAylVWNeuhcDN7bHKuJtbLq5fPy9BR0SkLQsWTMMffwzFtYgcpHUIQlrHYMS4BmKtvxWGj5ksdXtEVARRnio4OFjyHljlpw4eDBAffpgtACEAId5+W4jAwChhbW0teW8sFkt7JZPJJO+BxaqIpa5cxiOkVKENHfouWrT4E+fPR8Pf/xFmzz6D4cM7IzExUerWiEiLhBBSt0BEL8G77KlCy8rKwhdfeEjdBhEREb0Ej5ASERERkaQYSImIiIhIUgykRERERCQpBlIiIiIikhQDKRERERFJioGUiIiIiCTFQEpEREREkmIgJSIiIiJJMZASERERkaT4pibSKAsLCwwc0A/GxkbwPnQUUVFRUrdEREREZQyPkJLGDB7UH2HBR7B2vBF+GpaFSyfXY/H8L6Rui4iIiMoYHiHVoObNm8PdvS+Sk+Oxd68Xnjx5InVLWmNhYYGfvv0C1S91BfKfAQCqRW7BxME7cehYK1y8eFHiDomIiKis4BFSDZDJZPj9932YMuUE7txZCD29H3H8eBg6duwidWtaM+h/A2CZsEkRRp+zjl6BTz2GSdMUERERlUk8QqoBw4aNRGxsN8ydK/9nxBC7dtXE8eOb0b59HeTl5UnanzaYGBtBr6CII8J5GTAxMdJ+Q0RERFRm8QipBnz44Sf48Ue50lhqKnDypCk6duwoUVfadfDQUTy2+khlPLX6KGzY5i1BR6QNXbp0wfr1B7F160kMGTIcurq6UrdERETlAI+QaoC+vgGys1XHs7N1oK+vr/2GJBAZGYmNe85h/MDtsHq0EsjLwpMaoxAYbYujR49J3R5pwIIFK+HgMBI//GCJjAxg5MjW2LVrHD74wB35+flSt0dERGWcKE8VHBwseQ8l1cSJU8SUKVkCEIoyNBQiMDBGGBsbS96fNqtNmzZi64Yfxf4d60S/vn2ETCaTvCeW+svR0VEcOhQn8K/feUCIRYueiP/9733J+2OxWCyWZkpduYxHSEtJJpOhXbt2kMvlOH/+PNLS0rBhw1rs3TsElpYu2LfPDDVrFmD69ET88MMMPH36VOqWtSooKAhBQUFSt0Ea1qNHb3h52aiMb9tmhhkzRmLfvj0SdEVEROUFA2kpNG7cGId2rYdZViAM8pKQaTUHP/yyHd+vWosBA9zQp08/jBv3IZKTYzFhws+4f/++1C0TaURmZjqqVs0FYKg0bm4OZGamSdMUERGVK5If7n2dKiun7HV1dUVEWKAQ++2F2IbC2q4jEkN3ifbt20veH4ulzTIzMxNBQbHC1PTF6XqZTIjdux+Lli1bSt4fi8VisTRT6splvMv+DXXt2hUW6aeBrH+9ClMUwCpiEWZNHSNdY0QSSEtLw9y5Y3D6dCw+++wpPDzycOpUPAICfsSlS5ekbo+IiMo4nrJ/Q5aWljDOi1Fd8DQGNjZW2m+ISGInTx7D+fNO6NWrF4yNjTFs2HHEx8dL3RYREZUDPEL6hvz9/ZFSta/KeHaNgdh36LQEHRFJLzMzE7t378bmzZvLdRh1cnLC3u3rcO+6HwLP7EeP7u9K3RIRUYXGQPqGYmJisPNoMFJd1gDGtoCOIXLsR+Bv05FY8+sGqdsjojfUqFEjnD36J/5n+Qfq3+iENqme2L5iDCZNHC11a0REFRYDaSlMmT4Poxcex3nzn3Gz/hEsPVEDrTv2QWZmptStlQk6Ovz1ovLnx2VfocbdCUDSxcKBp49geX0EvvxsQqV5sQURkbYxMZRSbk4ucnNzkZebi5ycXBQUFEjdkqRkMhkWzZ2BqDtBiL51Cneu+WFA/95St0X0yhrWswdSbygPijzopV1DvXr1pGmKiKiC401NpbD8m7kY28seFhEzgCdJcO77IYZ9eBitOvRGVlaW1O1JYtXyhRjtlgP55faAyEdNfTOs/3YLsrKe4cRJXltLZd/T7HxAzxTIy1AaLzC2Q2JiokRdERFVbDxC+oZq1qyJ4QPdYBHqAWQ9BPIyYfhwA+o99cL/TVC91qx793fhf3IPwkJ88PPKJahevboEXWuWiYkJBvftAvn9rwHxz7vLc9NgfWsCvpk3TdrmiF7RT79uQVq9eUpjeTbdEBqRxkBKRKQhDKRvqGPHjrBM9VYZN4rbg/f7dVMamzX9U+z57Uu4OeWhUZU7mNgxFRd8D6BGjRraalcr7OzsIEu/pbrgWRysLU213xDRG1j720ZsOJOF2Ja+SK63BHFv78F5TMT7H02UujUitdPT04ONjQ10dXWlboUqOQbSN5SSkoKnOkUc5TSqjqSkFMVHuVyOBbOnQJ7mD1ybA4T/Cl2Lt2GvewOL532uxY4179GjRxByZ9UFRtWR/KRyXsJA5dO0LxbApfUA9P3sCNr0/Rydur+PJ0+eSN1WuTNwQD8Enz2Ee9f9sOm3lbCzs5O6JfqHTCbD0kVf4kHoWVw7uQYPbp3DlzM+lbotqsQYSN/Q6dOnkWr2buEjnxRkSHL4Ct/9uFExMnXKpzCI2QvcmA9k3AdSrgKBI6FTxQ7dunTQfuMalJmZiYPHA5BRdwYAWeGgXhUkOf+Cr77+UbK+3N3dsWnTUeze7Y/RoyfAwMBAsl6o/EhNTcX58+cRGRkpdSvl0oI5n2PDwr5o+Xgc6t/ohFF1vXH+9G6G0jLi6/lfYNJ7hqh1qT1qhn4Au8tu+GJofXz6yTipW6NKioH0DeXn56PfhxPwwHkvkp2+RWbd6Yht6YMVW4Lg7++vWK9r+6aQ/f2H6gSRXtDRNdRix9oxaeocrD1jiEeugYhtdgz3Xf6C5/ytOHr0uCT9zJ27HMOH78a33/bE5MlusLRcgQMHzvHxPUQaJJfL4TGyP6re9ACe/fOChHgf1Ho4B19XsDND5ZGOjg5GDRsIefgiFL5GHIDIR9U7X2DapI+lbI0qMd5lXwrXr19Hvcbt0aFDB5ibm8PffyBSUlKU1omLTwCqm6lsK/Qt4X3MV0udvlCvXj3k5ubi4cOHGpm/oKAAX8z5GjO/WgJDQ0M8e/ZMI/t5FXZ2dmjXbgR69rRQjP3wgwn09Fzw4YfDsXXrxpdsrR1yuRzjx09Bt27/Q3JyEjZsWIozZ85I3RZRqTRr1gyGKWehCDv/0Ek4g3at5xW9EWmNqakpdHISAPGfxxQWZMNIN0+apqjS4xHSf2nQoAH+/PMo/PwicOZMGMaOnVTiNgUFBfDz84O3t7dKGAWAVWu3IsXhCyhOYQOAXhVk2o/B7K+K/hdz+/ZuOHAgEL6+ETh69Ap69uzzpl9JoV279jh3Lhzz5p3D8uUXcOrUDTRs2LDU8xZHCCFpGAWAbt3exZ491irjO3ZUQc+ew1+6rZOTEzZtOvLP78JtjB+v/mur5HI5Dh++iKSkufjgg+aYP78bPv54Nz77THP/wdbR0YGhYcU7Mk9lS3x8PHKNHFQXGNVAampaidvXqVMHCxeuwq+/7sOwYSN5mY2apaenI1fPBtD5z5kiPTkysmVFb0SkBaI8VXBwsEbmrVOnjjh//pFo2lQIQIgqVYT45psnYsmSNaWee+FX00Xc7RMi7/wYkX1hqoi7f0H07tWjyHW7dOkm/vrrsbC3L+zDxkYIL68kMWTIx2+8/5o1a4qAgFhhZVU4JyBEnTpCBAVFCkNDQ8n/TjVVgwYNEjNmZCq+8/Nq1kyItWv3FLudo6OjCAx8JJo1K1zfxESIJUvSxNKla9Xa34wZC8SIEdlKvclkQvj6xgoLCwu17svY2Fj89NNWcf58jDhxIlacORMq3Nw6Sv53pO1q2LCh2Ln5FxEW4isO7PxdvP3225L3VFHr0rmjIv9oSyG24Z+SieRrv4v+/fu+dLs+fQYKH5940aNHvnB2FuKLL9LFqVPXRJUqVST/ThWpPCeOEcnXfhdiZ5XCv59d5iIxdKf4cPBAyXtjla9SYy6T/stI9MWV6ueft4v27ZWDCyDEqVMxwsrKqtTz29rairFjR4uhQ4cIU1PTYtc7ceK6sLFR7sHQUIjz5x8ImUz2RvueNetr8b//5ap8t+nTM8SHHw6T/O9UU2VsbCwuXHgkLCyUA5+XV6Jo27Ztsdv99NNW0bGj6u/CyZMxwsbGRm39HT9+TRgbq+7niy8yRJ8+fdT6s9i587QYPPhF+LWxEcLHJ044OztL/vekrWrZsqWIvXtWiL9aF/4H+GgzEX/nlOjm3kXy3ipiVa9eXVw6d1TEXd0qkoKWiJi7/mLe7M9euo2+vr4ICooWJibK/0yMGpUjZs1aLPl3qmg1etQwcfean4gO8xW3rpwR7w/qL3lPrPJXDKRqLl/fOwJQDQcLFqSIzp07a+37+fk9KrKPfftihKWl5RvN+csvu4WLi+qcffoIMX36fMn/TjVZbm4dxYUL0WL27HQxaVK2OHMmTkybNveNfhfmzUsRXbt2VVtvO3f6CgcH1f18/32ScHNzU9t+nJycxI4dcSr7adVKiLVrd0n+d6StunTuiBD77f51xA5C7LYQt6/6St5bRa4GDRoINzc3IZfLS1y3bdu2YtmyRIH//K7q6wvh43Nb8u/CYrFUS125TKPXkPbo0QO3b9/GvXv3MHPmTJXl06ZNQ2hoKK5du4ZTp06hdu3ammznpR4/joeDg+p4w4bZiI6O1lofeno5KOpyqerVBdLT0197PplMhtzcJPTqla+yrFu3JFy86PMmbZYb586dRceO9XDjxjAkJY3Chx++jZUrF790m4SEONStqzqu7t+FjRu/w9y5ytcd164NtG2bioCAALXtp2HDhrh0SfXFBJcuAQ0bNlbbfso6Wxs5kPWfv7+cFJjpZ8LUlC9u0JS7d+/i3Llzr/Tvr5ycHBgbF6iMGxoCeXm5mmiPiMoIjQVSHR0drFmzBj179oSLiwuGDh0KZ2flh6aHhISgZcuWaNq0Kfbs2YNly5ZppBcXFxds2nQEvr7h8Pa+iPfe662yzi+/LMD33ydD71/PHejcOR/GxvcRHh5eqv1bWFhg9Yqvce+6H8KunMGMzzyLfSuGl9c6zJ2rfNH/xIlZ8Pc/hNzc1/8X8h9/7Edu7lC8/74uevUqHNPVBUaNykb9+uE4e/bsa89Z3mRnZ+PQoUPw8vLC48ePS1x/zZp5WL48Cf9+MlTHjvmQyyNw9+5dtfX111/HEB6+FqdPx2HatCx8910yvLwiMG5cHwgh1LafsLAwtG6doTLeujVw69Z1te2nrMuHPpRuLnxO31zyG/Co0JUrV/DOOxn475uVJ03KxJ4966Vpioi0RiOHcNu0aSP++usvxedZs2aJWbNmFbt+s2bNxLlz50qcNyvziYi54ysibweKuV9OK/G6yiZNmohz5+JEkyaFp35q1hRi+/YkMXr0JJV1R4zwEIGBUeLXX+PE4cMx4ujRQOHo6Fiqn4OJiYm4ffWsyPMZIMR2HSG8jEVm4Ofi6P4txW4zb94Pwt//kfjllzhx+nSMWLXqT6Gnp/fa+3ZzcxO//lp4+svSUogffhDC31+IsLA8sXbtVmFkZKSVw/nlsYYPHy8CA6PEunVx4tChGLFrl4/abzR6XtbW1mLgwIGiU6dOQkdHRyP72Lr1LzFixDOBf06B2toKcfZsnGjQoIHkP2tt1eoVX4ss/3FKp+yzzwwS2zf9LHlvrBf1zjvviAsXosXUqVli4EAh/vgjQWzZckTo6upK3huLxVKtMn8N6aBBg8T69esVn4cPHy5Wr15d7PqrV68Wc+bMKXLZ+PHjRXBwsAgODhYiI7LwPybb9UTahfli5bIFL+1j1y5f0aCB8vVIenpCBAVFFxny3nnnHXHq1BURFpYlNm1KFsePx4hNmw698R2en07yEFkB/6d83do2iISrf4qmTZsKPT090bVrV9G7d2+la6xMTEyEs7OzMDMzU5rP2tpa9O3bV7Rv377EMP7112tEp06q1yi6uwuxYMFKyX+Jy3rp6emJRo0aiWrVqkneS2nL0NBQfPfdOhEU9Ej4+cWKY8dCRKtWrSXvS5ulr68vvHdvFLE39om08zNF7DUvceqIlzAxMZG8N5ZymZiYiGHDRoipU78ULVq0kLwfFotVfKkrkGrswfgymeqpseJOQ3700Udo2bIlOnXqVOTy9evXY/36wtM1IjH4n8nyIA9fiA8HnMOcBcuQlVX0u9KrV6+D/55lzcsDbt7UhaOjo9LpeE/PmRg6dDYiI83QoweQn28MAOjbtwfWrduL4cPfe+l3Lkqvbu1g/HiByrhNxjGMHD4M7TsMxenTcmRk6GL27EysX78ImzatRVZWFsLCwpS2+WbhLIz+8F3IU47hmV5NpBh9h96DxhR7GjkjIxkWFvkAlC8PsLTMR3p68mt/l8omLy8Pt2/flroNtcjOzsbMmRMAFP6z6eDgALlcDl1dXeTnq15fXBHl5uai3+DRcHBwgLOzM8LD95b6chzSjKysLGzfvkXqNohIizQWSKOjo2Fvb6/4bGdnh5iYGJX13N3dMWfOHHTq1Ak5OTmvvR9ZWijs7OyKDWUFBU9RpQqQmak8Xru2QFJSkuJzjRo1MHDgNKSmmmHqVODf/40+dEgfEyY0RY0aNRAXF/da/T2IigVc6gGZD5TGM/TqoU+/MWjf3hqJiYVjy5fLsX//Qly5EoDMzExM8xyDeo618NeZIDyKScDEAfVhcdkdAFAFgFWVOjiydwsaNOlQZNjfseN3bNzogSNHquH55aeGhoCnZxKGDdvwWt+DKobatWtj/fqDSEmpgaQkHbRokYPvvpuO/ft3St2a1kRGRvL99EREZZBGDuHq6uqK+/fvC0dHR6Gvry+uXr0qXFxclNZp1qyZCA8PF/Xr13/leUVisNKp75g7fi99rueYMZ+I5ctTBZQed5QjNm06pLTe6NFjxdixucLPT/UUNyDEypUJonnz5q/9c6hfv76Iv3NaCC+TF30fcBAJkdeKfGh7u3ZC7N97TMTd9RH5J7sJccBRPD03QWQlhQtx5O0Xc+yUC3F1tshNDhX3rvsLj3EfF3kKf8iQj0VAQKyYMuWpmDr1qTh/PlYMHjxc7X/f1atXF+3atVPrczpZ6i2ZTCbOnr0tGjd+8ftmZCTEX38liCZNmkjeH4vFYrHKX5X5U/b5+fnw9PTE8ePHoauriw0bNuDWrVtYuHAhLl26hEOHDmH58uUwNTXF7t27AQAPHz5E//79Xz6x7PmDAWTIdJyKQyeDkJGhegfxcxs2/IK5c+vg7NmPcOGCPho2zEN6+nVMmDBUab2cnGxUrZqPhw/18NZbwM2byvO0bJmHr756/Tusw8PD4TH9B6xefhpG6ZdQoGuKFFkdeG04iJiYOSrrJyQA3To4wdSnGZBX+L2MMtdB5MUCdUYCITMAXSOgkzdwfz30/mqK+npV8IPHVLzb5VcM/miCYq7GjRvDxEQXP/wwCQYGBsjPz8d77x1HWlrJr+57Vfr6+lizxgu1arXD1av6aNEiF+HhPpgyZQTy8/PRsGFDtG/vhri4WJw4cQJ5eXxPslQ6duyICxdsEBr6YuzZM2DePBt4eHwJT8+hxW9MRESkYZKn69epZ1npIubmYRF9N1CsXLbgle+8lMvlwtXVVdja2ha53NzcXJw/HytatCi8E/35jVByuRCrV2eIL79cWqq+dXV1RfPmzUWjRo0EUPiw8r17VR9WvmJFpki9uUnlJiixTSYKkq4U/jlorBDBn6qsE3/dSzg7OwtdXV2xefMRsWVLvBg5UojFi1NFQEB4qZ8YUFR99906MXZsltJ38PTMFAsWrBS//bZHeHnFiZEj88X8+U9EYGCEaNiwoeS/Q5W1hg0bJjw8VN/YZWEhxP79gZL3x2KxWKzyV2X+LntNfnFTU1ONPB6nf//BIiAgTsyblyNOnxYiNDRPXL+eLEaOHK+R77JixQaxYkWqsLUtDL6ffPJUnD17U8Rd3aoaSHcYCpEWLgoChgsRsVWIAw6q6wR8JP5vooeYNm2OmDr1xeUAhoZCdO8uxKlT19Xav46OjggMVH2zlI6OEGFhKeKrr9KVxuvUEcLPj29bkarq168v9uxR/T9BQ4bkiJkzF0neH4vFYrHKX5WLNzVpSkZGBgoKVN/m8Zyenh7mfvkZ7l7zRUSoPzauWwEbG5sS5z14cDf69WuM2NipOHToSwwc6IImTSyxebNmHsj82WdjcO7ceKxeHYBdu65CJvsK3bu3RGK+LWD6n1cFOU0A7v8BmUktFFi2AkxU32qVoVsbsXEJGDBgFNauNQEATJsG+PgAgwcDFhYu2LjxIAyKehXUGzA0NERqqurTFAoKAD29Kli1SvntNxERQHh4Vbi4uKhl//R6wsPDkZTkjy+/zIRx4QMk0K0bMGXKI/z220ppmyMiokpP8nT9OvUqSfzYga0iM2CyEDsMhNgGkX+quwi/GfBK71IuC+Xk5CQiwgLFsyuLhDj3oRDhG4R4sEOI7XqFR0L9/ieePjpXeNT0+dHRfbXEwztBwsDAQPj7/y0AIUaMEGL1aiFkshdHw8aMeSZ+/HGz2nr187sjzM2Vj7hZWwtx794zoaOjenPYihWPhaurq+Q/48paOjo64pNPPhNnztwW/v5/i5Ur/xQ1atSQvC8Wi8Vilc+q1KfsdXV1hbm5eZF3lb/99tsi4eqfKqezn50dLWZOnyycnZ3FqcPbRWSon7h33U9Mn/pJiQ+Yl6L09PTE6p9Wiux724U42lzpu+T5DBQH92wWj+4GiqQLS0XCpZ9F+I1z4u233xYAxMqVm8S77+YLHx8hTE1VQ6Gvb8wbP+j/v9W9ey9x7FiCcHIqnLtRIyFOnkwQGzfuEwMG5Cnt18hIr4edlAAAIABJREFUiMDAKKGvry/5z5fFYrFYLFbpq9IG0ujoWBEU9EgcPBgjAgMjxciRE5SWe3iMEyJguOr1lftqifNnDoqYuwFCHHYpHPMyEmkX5ovf1iyT/HsVVVWqVBHRdy8IsbfGi++xy0zE3vMXderUEcOHfyw2bNglZs2aIwwMDBTbVatWTQQE3BcXLxYIFPEIqz//jBUODg5q67N169bCy+uM8PW9J7ZtOylatPh/9s46rMqkDeM359CNAoKUWIiBrdjYndiNHZ+x9qq75qq7a6ydu6wJmJhIg6QignSK0tKN5PP9wQoeD+ohD+j8ruu+Lpl34pl33uN5zrwzz3QnJSUlcnEJpSVL8ql5c6J+/YisrZNoypSZQr+vX5Kuri6dPHmdnJxCycLCiQYMGCB0mxqiZGVlaf/ubRT0yoF83K1o8aL5DfJHHRMTExNT3euHdUhjYorLX0GLixNdvpxKxsazyq+PHj2aMp7v4XdI7QZTRIALkXUfvmvxwTYNNn5m165dKSLAjd57X6Ckl6foXYgnzZwxjdzcImjz5mwaNIhoy5ZscnMLJ3V19fJy8vLy9OJFDGlq8jqjXO6Xj02tqcaMGU2P75iS9f0rZGw8meTk5Gj16o1kZuZIx45dpg4dOgj9fn5Jbdu2JXf3OOrfv+w+tWxJdPduCs2aZSJ02xqSJCUlKcDbkQqc5xKZiRHdVKSsF3vI4spZodvWmDVo4AB65faEYoKdKcLfhdasWiJ0m5iYmJgE0Q/rkHp58TpYCgpE9vZB5de5XC5FBLgRPWj7SRB5WUoMtaeoILdKwimB0j130eDBg6tsy9Chw+nePXdycgonU9NHfIH/a1MdO3akrl27EofDIXNze+renfc+9OpFdP26NU+Zvn37k61tEmlrl+VRVCS6dCmNVqzYWOv2Xb74F6W/Okn0UI/ofivK8DpID+9cFvrzIqiuXn1KnTrx3lNxcSIPj2iBQ4v9CFq5YnHZ+my+kGMW5SHNmKqmfv36UlKoDdFd9f/e3EhRhvcR2r9ri9BtY2JiYvqWfuhd9p+SmQlwuRW7uUtKSjB8/Fy8Vj2FxI7meN/uAt4Z2GLxT3/gXXQs/+51AB+k9BEdHV2ldmfPXoQVK8ywdm0fGBm1xvHjY3H+vAM6d+78xTLa2tpQVVWtUjsfCQgIgI+PD0RERKCh0R7e3rzXX7wAdHQMICJSseu9oCAfAX7/4qZFMJyd3+HWrUBYW6/BuXNHqmXDl+jcuTNG91aBYvAaICsUyImEQtjP6NciE4MHD67VtuoKHR19+PvzphUWAoGB4mjZkv+Z+VGZNGogpJPv86WrZj/EYKOBQrCo8XN4/xaoBC0G8hPKEkryoRCyESZzJkJSUlK4xjEYDEY9UWcnNdUXyspAYWEGT1pUVBS6GI6Ajo4OZGRkEBwcDCJCVnYe7p0/gqavZwClhQCAYpVhCH8vhsjISIHb5HA4WLNmNwYNaorCsmrg6wuYmDTDoUMnMXUq7xfzgAGDcODAJURHy0JGhiAmFoeVK42r7AR/pJJj68vTRUREICoqCivLazBQz4ZKrg2yRbKQqjIWwyfMQ0RERLXa/BpTJ4+GSuoNvnSllBuYN90Yjo6Otd5mbVNa+gFSUkB+Pm+6unop0tLShGNUAyQuMRloqQXk8p4Fn8vVQuL7ECFZ1bhRV1UE4mP40jlZAdDW1kZYWNVPiGMwGIzGRqNzSDU1iyEhIYqCAkBBAbh4MRVHjvxcad5373i/NF1cXLDxQHPs2+kMsdxgkFRz+EekYvq8RVWyQUtLC2FhYuXO6EciIgAVlRY8adra2jhwwBwTJqghPb0srX17ddy4YY9Bg9qhpKSkSm2XlJTg/fswdOqkxjOj16ULEBcXhNLSUvy6fSP6KjpDKvgMAEAOgJysGe6ZnUennsOq1J4gZGXlopiryP8wiSkiPfPLx7o2JMzMzmLbtr3YtUuuPG3w4BJkZwchNTVViJY1LI6cNMW4O0egkjqh/EcdpJojTWkSHj8eIFzjGilZOQWAeBOgkPeHD8m0RmJiopCsYjAYjPpH6OsPqqK3b6PJzS2KnJziyNExmMaOnVTlOsTFxcnAwICUlJSqZYO8vDzZ2cUTPtu9LiVF5OwczpN3z56/aPToYr68e/Zk0JgxY6rVvo6ODnl4RNGqVbnUsyfR6tW55OERRVpaWgSAwv2cy2OwfqoE3xt1cnxos2bNKDHchTcu6g0uvQ95Sm3atBH6MyOofv/9PNnYJNCvv6bTjRuJZGnpRoqKikK3q6Fp/twZFBfmTmme+ynZ6wRFBriRgYGB0O1qrJpqPIlS/S5XxBm+DspzWULX/jkhdNuYmJiYvqUfeFNT9TsuKipK10xPU2Z8AGVGOVJ06HOaOX1Kter655/7NGFCIeETJ3PfvkxaseInnnz//vuUdHT4Qy/NmEG0cuXaavdFWlqalixZRY8eudOLFzHk4BBE69ZtI0lJSXoT6FLp5q1E7wukr69fJ+Myc9pkSgh3pw8ea6nQYxUlhj2j1Ssa3w51FRUVGjJkSKNypIUhCQkJGjhwIPXo0YOFfKoFrV5hQtGhHhTva0Zxoc/on3NHWLxeJiamRqHackhF/vtHo8HLyws9e/asVtlXns9gwLEEN/xoWQJXGjk9b8F4xVHY2NpXqS4ZGRlcvHgP0tKdEBwsBkPDQri738WOHf/jybdmzRbk5OyFqakET/r58yn4+++xePHiRbX6AgDXr1vB338ATp+WQVERsHDhB0yY4A8tNUL7zL3gxD+uyCwqh4LhAfAK5ODduyD88ssKREVFVbvtypCXl8fo0aPL1rBaWSEtLQ3S0tIYNWoUJCUlYWNjg5SUlFptk8H4XuBwOGjWrBnS09Px4cMHYZvDYDAYAlETv+xzhO5dV0XV9cQHDBhAeYn+lQTMV6fXnk+rbY+mpiYZGhp+8fW/vLw8ubu/oYEDK+KALlz4ge7efVaj+2BoaEgXLqQQPpt53b8/h+zssincP5HyXdcSWepSid0oKkwJomlTiwgg6tKlLJyRqqpqnY7V6FHDKT7ck3I9N5XNmoY60uafVtV6OyoqKmRkZFSrwf6ZmJiYmJiYvi0W9qmKLFiwBh8Sg/gv5CdAo3mzatcbGxsLT09PpH/csfQZWVlZMDbuh5kzb8LFJRrOzm+ho3Mas2YNr3abADBo0Bjcv9+UL/3OHRnExsqii2EzbLP4HVal7jj92gx7/9KHpFTZtiNfX+CPP9SxbNnGGtnwNeTl5fHPyb1QfzUM0pGHIfbmDJp5D8WWpSPQpUuXWmmDw+Hg3wvH8Nr5Ku4dMsLzR0dg99gcMjIytVJ/Q8DIyAimpo9x544bli9fy8IAMRgMBuO7pNHtsq8u2dl5KJHvw39BWhvZuYX86TVkzJjxWLVqF2RllRAfH4Xff9+I169f11r9KSnx0NT8AIDXQdHSIqSliSA3Fzh+UhLHT6oBAJYuBTif/PxwdhbF3Ln9a82ezzGeMglKSVeA4k922VMplGP/xLqV82Cy3LfGbezcth7GBu8h6/NTeVoTtfG49vdxTJ65pMb1C5vNm/fCwGA1DhxogpQUYMaMrnj4cBHGjzdkr3QZDAaD8V3R6GZIJSQkvplHWloaHTp0gKKiYnmahcU5pObIIafVQUDkPz9cvAkKe9/Ctt2Ha9XGhQtXYc6cf7F4cXcYGbXEvn1DceKEDbp3715rbdy6dQMmJulo0qQiTVoa2LYtE7KymTx5uVxgzhzgyZOKtE6dgKiouosbqSAvC7HSSmaNC9KgKC/Ln14NTOZMgWwUb5B/scSH6N2lVaOfJVVVVcXIkUsxb14TBAcDycnAqVNSsLTUw4IFy4RtHoPBYDAYtUqjc0jV1dvB1TUSAwYMqvT6zp1/wto6HKtW2ePWrSCcPm0GMTExeHp64sHTR3gjaoKkPlFI6xeCrAG+uPIwBBYWt/jq0dLSwpQpU9CnTyWzql+By+Vi+fKfsWBBE7x/X5YWHAwsXKiKHTtOVLm/XyIrKwsbNkzHkyfROHw4FQcOpMPBIQ4HDiyCiIg9zp5NQ79+wOjRpXB1LYaLSymSk8vKKikBu3e/x7lzB2vNns959MQGKU1m8qVnNpuNqzetaqUNUU4JUFrEf+HDe8jLy9dKG8LCyMgI9+8r8aVbWEhi1KhZtdIGh8Np9I47g8FgML4PGp1D+vatGMaPb4kDB8yhoaHBc23Fig2QkVmGAQOaY/XqZhg+XB3e3hNx6NB5AMDFi38iJTMZb5OUEJWiCVfvROzawxtUX0REBFcuHYfX0zO4vlkTD0/OQtArJ2hqagpkn5aWFkJDRVFczJseFQU0aVJRh4SEBNau3QpbW39YWflg0aIV4HCqNhzu7q7o21cXKUm/Y8KIV1AQD4dRfwNs3boU169PxPjxF9Cz5zGsX98fenrP8PRpAm7eTMD9+xHYvXt2nZza9JGIiAjcsglEeofzgHw7QFoLOa13wje9PSzvP6iVNmIS0viPguVKoVBCp9EHFM/KykLTpgV86U2aAFlZGZWUEBxRUVGcOvYbYkLcEP7iJiICXDF1yoQq16Ojo4MNG3Zgy5bd0NPTq5FNDEZNGDRoEBytzBHs44gLp//g+25gMBiNA6Hv0KqKIiOJHB2Jnj8vJW/vRBo0aEj5NReXSJKQ4I/56eISRyoqKuTpGU16ehXp3boRubqG88T7W7NqKWW/2M27E/+xAXm7WZGGhgZdunSPXF2jyd39Hf322ymSkpLisU9OTo7s7OL4bJCWJnJyCiMVFRWSlpamJ09e0MqV+SQlRSQvT7RjRw5dvfq4yvfj9992ULrvOaK76kQ3uFTkOIUiAtwq3fWvoKBAampq9Tpew4cPp8d3TMnhiRnNmzOLREVFa63uLl26UEK4C5FVj7JxetCakoMf0PSpVT8soaFJTEyMPD2jSVWV9zm6fDmVBg8eXKO6r/1zgnJdVlY83xYylBxkSUMGGwlcx9Kl68nW9j1NnVpMEyYQ3b+fRDt2/C70+8b042nV8oWUEniTyFKX6LoIldgNp5hQDxZ1g4mpnvTDBsZPSiKSlS37clZTI7KySi53Sp2cYgngd0gtLOJpy5ZfafHiD3zXfv45i4yNp5XXH+RtT2Qhwxce6r2fBXl7x1CfPmXlRESIZs8uoAcP3PlsvHDhDhkb87Z17FgeBQam0O3b8RQQkEaHDhXy2XLpUjL16tVL4HuhrKxMCSH2fLYWOU+ng/t2fLVs27ZtaceOQ7Rr1xHq3Lmz0Me1utLT06O7Zhco7LUTOTwxp759+wrdptpSjx496PnzaNq1K5NWry4gO7tE2rr1N+rXrx+dPLKP9vyypfx0LkGlpKRE8cG2/OHP7mmSh6OlQHVoaWmRnd174nA+/5wlU7du3YR+35h+HImLi1NcmAfPKVd0HUTWfcni6lmh28fE9CPohw379O4dkPPfxu3ERMDERBnbtpVtSsrLS4KaGm9+cXFAW7sIGhp6ePmSf0OUt7cc9PS6lf8tISEGFOfy5ZPmZOP+fVV4eJT9TQTcuCGOmJg2fOtM162bi3HjbPDkSQKOHUvG8+dl6zm7d2+KqVPV4eCgBHNzMb42LC2VYWQ0VuB7YWhoCNn0p3zpovGWGDfS6Ivl1q7djqNHXeHjsxXu7huwfbsd9u8/CQ6HA21tbcjJyX2xbG0hJyeH48evwMMjFq6ucbh2zRra2tpVric0NBRTZi1D285GGDJmJtzd3evAWuHw8uVL9O/fCi9ezERKynzMmdMZfXs0x/1T8/A/AzvsGBqBl/ZXMHf2NIHr1NHRgWh2AP+FvFg0U1bkT6+EKVNm4+JFZZSW8qafPq2MadPYhitG/dG+fXuIZb4A6LM1Uinu6Nm1g3CMYjAY1aLRh31KTASkpJQBAAcP/oQrV25h2TIVvH0LqKgAx4+n4fTp/ZCSkkCfPpPx+rUUT3lDw0y8fl1xWpL7cx+01BkMvHesyMQRh4jqQJiZifO17+SkjK5de8Pjo6cKID8/HyYmE6CqqormzZtDT+9vLF7cDR8j9aSkABoaZfFAP0VT8wNSUuIF7ntKSgo+iGqAb8+6tCaSkis/EUlXVxejR6/DmDEqICpLs7VVhrvrDCyJ6AvKDAJJqsPLPxqzTdYgN5ffOa8Nbt92wunTnbBuXZlj3r17c1hYPMOoUZ2RmZn5jdI/DkVFRbCyKtsENn2aMYx0EyEfVLbumQtANeER/tzjhPsPnyI7O/ub9UVFRaFYvjP/BZkWiH+fKpBNXC7/GmkAKC4GREX5f2gxGHVFamoqSiSa818Qk0dePv8abAaD0XBpdDOknyMrCwD5AAAXF2f8+utEHDniBient7h82QfXrpng2rWLuHHDFAsWvEfXrhVlBw4swbBhiXj0qGyTTY8ePSCt2AkfupmiRHMqwJUGFA2Q0uU2bJ8FQU+vhK/9Tp0yERUVWqltSUlJ8PX1hZpaCyQkVKRfuQJs2gRIfeIbN2kCLFyYjtu3zQTuu6enJ9LEuwFybT5JFUFayz347cjFSstMmjQLly4plzujADB4cCnaqwai2fM+UAuaB/VXwzC6qSUsLS4JbEtVGDx4MAICWuDBgwrnxdsbOH9eDQsWrKiTNr8Hli80hnzsOd7E0kIopNzCyJEjBaojMzMTj+xfIqflVkCEW5Yo3gTJ7c5i8y+ChT+7f98cJib8P3iWLEnFvXt/C1QHg1EbxMTE4G2aBEqVevGkZ7Xcib/OXhWSVQwGozo0uhlSFZUSlM0NlQV6/+OPDFy8+Hv5dU9PDxgb8wd8z83NxYwZg3Do0N/Q1u4ADgcIDvbClCmLUVJSgjlzFuHIgX3gFCQjOzoAMh2OQdTgCJxdXLF93l4kJibC3Lw3PD3V8PE49k6dgCFDkrB7t/VXbZaWlkTr1sDHTe1v3wLHjgEBAYSbN7PB5RZh4MBcbNw4F1lZWVW6H2OmmODxnX/QpDgQ4sUJyFMajlN/34aDg8NXShHPX/t2JEEhcAFQWnFAgFjiA3Q0MIGWlhZiYmLK07W0tLBjx1F06NATpaVFuHv3H5w8+TtKP39/+xU6deoJN7cmfOmurhLYtq2fwPXUFxwOBxPGj8OcaaOQkZmDk+evwc/PT9hmVSAiUqXsK9ZsQ9KvmzF/litEUYD0nBL8tPYAzyz/14iMjISz83ncvbsSp08ro7AQWLw4Famp97+rJROMxsHE6Utgde8yNNUSIPEhAnlKg3HX6jku/XNF2KYxGIwqIvQFsVVRQkISPXsWT1euxJOHRyytXr21xnWKiopSWkIMFThMq1gUf4NDBRG3KTY6g06fNqc2bdqQoWEfcnYOpZs34+nRo3h68MCTNDU1v1m/t3cs2dkRqauXbf4QFyfavZvI1TWXTExMqH///sTlcmvUh+7du9Pw4cNJXl7+q/latGhBnp5FJCJSsRkl/HUM/yaX66AUz7INNB/LqqiokIfHO+rbt6ychATR5s05dOHC7SrZOnbsONq7N6O8/Y+aOrWQtm3bL/Rn7FNxuVxysLpFGV4HiR53IrIdSMnBD2jjuhX1bsu0acaU6XWId5zMJCgh3J3k5OTq3R4DAwPav/8UHTp0ngwNDYU+Vkw/tjp27EgjRowgZWVlodvCxPQj6YfdZe/l5UVSUlKkpaUlcAihpk2bkri4+BevDxgwgHJjvfmdsttN6fXzeOrdm8jFJaF8B7G6ujo1adJEYJv/+OMibdpUTFZWRO7uRKGhRH//TeTp+Y44HE693j9lZWXy9Mykx4+Jxo4lGjGCKO5NEtGTrnz9jw+x5wkf9euvf9LkycWEzxzJ27cTqWXLlgLbwOVyycUllLp3r6hDU5PI3T2OmjVrJvRn7FPNnT2Tsl/s4r03NziUGOZc7198IiIiZGnxD6W8Ok9kN5iKnYwpMcyJ5syaKvT7xMT0NYmKitKoUaNo1qxZAv2IZ2Jiajz6YXfZA2WbhmJiYlBc2c6KT5gyZSbc3aNw8aI/HBze4uhRU4iL829MkpCQACe3knWgBanQUC/E8+fAnDlq2LOnbP1eQkIC0tLSBLb3jz9+xqRJUSj5kIrWKv7QTV+P+T1/Ryv1DPTs2UPgemqDvLw85OXlYv16oHNnwNAQWL1BBe/bmAOyrcoycSWR3WY3Hth4IT294vjPXr0Gw9aWy1envb0SevQQvB8lJSWYPt0IP//8DHZ2CXj0KAGmpv5YtWos3n883qqBYDJnAmTjTHkTqRRKqRYYMWJEvdpCRJg0YxHGr/4XJ3wHY5+tLroPnoPrZrfr1Y7Giry8PNasXoZTR/dh8uSJ4HL5n2VG7WNgYIDIAFeY7+mDy2sU4GVzASeP7v9mOQUFBfTr1w+6urr1YCWDwWgICN27roo+98RFRUVp3LhxtGzZEtLX1y9PHzx4KN29m0JSUhWzcPPn59OFC3f46pSSkqL8lFCi6yK8M2EP9en9u/fUq1dZ+WfP4qtt9+jRoykn7OZnM7DKFBP2nCcwf33I3NyWpk8vKr8vANGePXn0LvQVRQc5U4T/M9q0fhWJiIjwlDt79hb16MEf5/X48WTq06dPtWyRkZEhRUVFoT9XX9LjO6ZED/X4Zo/zPDeRsbGx0O1jEkwGBgYUG+ZJH1yXEtn0p8znu8jvhb1Qljr8SOJwOBQV5EF0V4Pn85Puc5omT574xXJ/HviF4kOdKNXzN0r0syBXu3uVHvbBxMQkfP3Qr+w//rtdu3YUFexBWZ6/ELnNpfevb9Bd80vE4XDo3j0P0tTkd56srOJJRUWFr96Hd29QXtA1opsK/53605YSw0No1iyiU6eIOBwiD4/oattd5ti043NsMj1/oTFjxnyxXPPmzWnLlr105Mi/NHHi5BqtNdXS0qIHDzzpyZNEsrMroJCQIjpy5ANZWCTS1atPvukYGxgY0NOnSTxOfteuRA4OAUJ/LupKo0aNpDTfc7zjZiFD8eGeJCMjI3T7VFRUaMOGnXTkyGWaPn1Wvf+4aSwK9nHic4oKnabSmeMHhW7b96z+/ftTqtdh/uVQd5uTm/3dSsssWjiXMl4d48lfbG1ETk9vCb0/TExM/PqhX9l/xNL8PFqEzoRc5D7g7TWoBszGCN0orF6xGEpKqoiN5S8TGChaaQB2y8eOuP7MGIG6QXjbOQpOYs8wcqoenj8H5OSApUvzYW1d/VejigryQCH/a35JSoO8vHylZYYNGwkLC29ERv4MM7MF6NbNFI8eeUJSUrLK7XO5XJiZOWDnzt4YM6YZhg0Tx4ABohg0KA8nT07FvHljUFRU9NU6/Pz8cObMSjg4ROPSpfe4dy8Re/Y8x5w5wwWyQV5eHnp6etWyX1g8fWqNmy6ZSOp8F9CehkK9bUju7YLl63fXWYxWQenTpy/u33+N+PhfcePGfLRqdR7W1q/q5WADQVBXV8dTy6uID3NDfLg7Ht+9jGbNmtW7HTo6OlDkJAD5cTzpYnF3MHr4gHq350dCTk4OYsWVxLctTIP8F57TDasXQCFiF08aN8UJepriUFdXrwszGQxGA6DROqQdOnSAUkkYkPuOJ13m7XEsN5mOxMR3aNOGv1y3bsWI+Bh/6RPs7GzQpl0pOvZsDt2OLTB4dDO8fg3Mm0do2zYDvXrZYP/+LdW21+zuU+Srz+BLT1OaVGmIJi6Xi337LmLMGDXcuSOKly+BXbsUcPduJ6xevbnK7Y8aNQr29ir4NFpRcjKwd688hgyZJHA9jx7dw++//wRxcR+8e2eNrVtNkPBpkNVKEBMTw7V/TiD4+T04Xd+ASD97/LZnW5X7ICxWrNmKJT+b4r3WduTLGaI0MwR/7t+Grp8GtRUCf/55BePHq8PcXAze3sDBg3I4e7Ydtmz59vq8ukZSUhIutrcxUvIU1L36Qf1FX4ySPg8X2zuVruOucz4NvMuoN9zc3JDbdAwgwvtVU6gxEzct+U+ZAwBpKXGgiD/8HSc/GioqKnViJ4PBED6NziFVV2uGtm3bQkZGBpySSmJ2luRBQkIcf/65GefOJZcfJSomBuzYkYMXLx5UehIQl8uFnBzh0iWgbVtATQ3YsgWYPp1w69YhLF486ZubqL7Gxb+vIERkPPJ11wGSzQB5faQZXMUlM1skJSXx5e/Zsyfc3KTw+eE7V65IYOzYWVVuv0WLtggIUOBL9/fnokWL9gLVISoqijt3nNCjhykOHx6FBw8W4OhRZ8yfv/yr5c6dOIjJrf3R/NVQqIUuR3Ovflg9rinWrl5a5X4IA1lZWZw5vAPNfMZD4eUkNAuYDb03M/HI4gyUlJSEYlO7du0QEiKL1M8mn+7cEcWgQeOEYtOnzJ41DWqZt4HU5+VpnFR3qOc8wDTjyfVqy7t375BBzQEp3tm1ouaTYW3nWq+2/GhkZWXhyJkbSO1sASgaABIq+KCzHBEyC3HsxPlKywQGRwJK3XgTRbgoUuiOkJCQerCawRAe+vr6aNeunbDNEAqNziHVUCiA670/MWvqGHxQ6AtweV//luj/DDk5Wdy9cgS66hF4+iQMzs7xcHJ6h7y8P/DzzysrrXfIkGE4flwKFhbAjh3AyZNAUhIweTIHXboMqbHdBQUF6GM0Hpuv5sJN4TQeF2yG8Zq/8cuePyrNX1JSAtFKji3gcFClIPQf8fF5jkGD+F+dGRkVwNfXWaA65s41gadnN+zcKQ8/P8DBARg/XgXLlu3+4rIDSUlJjBrSG9IxvCdHKYT/irUr5lW5H0DZa0Bpaelqla0O8+bMQNPkf4G8T9aAfEiE8vtzWLRwdr3Z8SklJSVQVRXF1b9T8PhOIubMKoaoaNnzQVT156O2MezeATI5/IH2ZXM80Lt7/Z8xPstkPeI63kOB9mJAuS+yWv2CUNn/YcvOA/Vuy4/G4b/OYvySo7ifswbuSuew844oevYfg5ycnErz//TzAcS3PgUo9y1LkNJAusEVHD5hisLCwkrLMBiNHUNtSSOqAAAgAElEQVTDPnB1jcDGjY7YssUJLi7h6N69u7DNqneEviC2KqIUr7Kg7f7Xacf2rfQ+xJrIZgDRPU0q8DtMRYluRHfVyxbD31SkND9T+t+KRZXWJSkpSfPmLaK9e0/Q4cN/0datuYTPNkH16kV04sT1eu8nh8Mhd/coatqU15516/Lof//bVK06Hz70oNmzC8qD4vftS+ThEfXNYPofdfeuO6mo8G8U27gxlyZPnlxpGTU1NYr3Nas08H5MsFOV7O/UqRNZW/uSlVU82dvH061bTqSurl7nY/HXH7uJbI34+/C0N106/Xu9PxsAaNP6lVQY60j0tDfRg9aU7XmQPJySadGiD7Rzp3Bs+lTLl5pQnttqvnuW476eTBbOFYpNCgoKtG7NCjp34gAZG08WOI4xU/2rZcuWZHHlDIX7OZOHoyWNHjVS6DYxMdWVmjZtSh4e8aSsXPG92qwZkadnnMDfz8LUD7vL/qNDStaGdPnCUdLX1yfTc0fI/tF1iovwIrqt8lkQc1GKDvHgC0DfokUL8vCIonXrcmngQKKtW7Po7dsiGjiQ6NgfGeRiE08nj2bQ06ep1L17d6H0tU+fvuTpGU9Llnyg4cOJTpxIpdu3Hau1k1pKSopat25NBw+eITe3d+TqGkOXLlmShoaGwHWYmzuSlha/Q7pjRxaNHTu20jIcDoeiQzyIzMR4x+WOGvm4WwncdtkpUXGkrV3RbvfuRC4uoTU+5epbmjB+HGU838fnXGV5bqcZ06selL5PH0PydrOitDh/yksJocCXdjRgwACByzdp0oQSwpyJbnB4d417/0p+r0NJUlJSKM/rp5KWlqa3wR5EjzpU2Pi4E70Jcm8Q9lUmERERat68OcnKygrdFiYmph9Ha9dupblzCwiffbcuXZpPy5atEbp93xJzSJ90oxumJ3iuxQY7VToTF//agu8EIEtLd2rfnnfwFy4soaKMN1TiOJHotjKVOo6jjFhf6tKli9D6q6CgQEuXrqYdO36ngQMHVrm8mJgY/XPuCMWHuVC8z3WKCfWktauWVMuWSZOm0NGjvEd+yskReXrGkoSExBfLrVy2kFL9rxDdalI2Jve0KCnUmgYbCd6fLVv28sVOBYj27MmgcePG1/g+N2nShIYOHUrt27fnu8bhcMjH05YKHaf9F6tWhIocJlKAt2P5LNvwYUPJw9GSIvycyMryCnXs2LHSdrp160bvwx2JEmyJXm0qC0X0qCPlR96hPb8INvM9bdo0yvdYx/+s32lGbvb8cXaFJV1dXXKzv0cJIQ6UEOpIz2zvkLa2ttDtqkxTJo+nqCB3ivc1p/gQe3p451+hzUxwOBxasWI92dsH0bNnEXTgwOkqnQzHxMTUuPT77xfJ0JB/ssfIiGj37r+Ebt+39MM7pGk+Z2jIkCE81yL8nxGZS/E7pGFuPA6TtLQ02drG8w3+i2cJRJa6vOXvaZG362Oh97u6unzxL8pzWcYzY1z4xoKOHT5UrfpOnLhK5ubvacoUouXLP5CHRwINHTrim+WmTplIfs+t6W2gE3k4WlK/fn2r1O6FC/epbVv+D+ykSUTr1/9co3u0a9dRsrdPoF9+yaB//31PVlbepKqqypNHVlaWTh37jaICXSkqyJVMzx+jrl27kpiYGJksmEUpgTeJ7mmWzwQmhjmXHzX7qewfmxG92krkvZHvOX0faifQ0anjxo2jLM8d/A7p/VZk8/Ca0J+5zyUhIfHVHyzCVs+ePSk55AmRuXTFbLPdaHKxrTxOZl3r77/v0bZtOSQtTSQiQjRhQjG5uISxmVsmpu9UkyZNoV27Mgmffb8dOpROo0aNFrp939KP65BmBFGqz3kyv3KW79r/Vi6mDO+jPCcu5bquprMneINfy8jIkI0Nr0PK4RDFh4ZUPsMaYi+UgOPdunWj8ePHV3udpKysLMWHOPL36aYiFaf60XXTU9Wqt0OHDrR+/c9kYrKMFBQUBC7H4XCq/Xp97dqttHDhB54xA4j+/DONhg4dWu17PGvWAjp2jHfWt2fPEnr48Hml+aWkpOiu2UWKD7alhJcXKTbMg9Lj/IjMxHnvsaVupYG/I/2diN5aVKxz/vSVu+cqmj179jdtlpCQoNjw5xWHOPynNJ+zNGZMw//Pq6HJ+v5Voof6fOOR+NqM2rRpU6+26Ovr040b73meR/z36m716o1Cv1dMTEy1Ly6XS3Z2vjR7diFxuUSiokTz5xeQlZUX34mJDVE/bGD8lEIlTFl/AzPn8++WP3X2b/x1Nw7xPd2Q2O4fxPdwxg2/Fliz4ReefLm5ufjwIRp6ehVppaWAuIRE5Y1yJFFSUlKb3fgqampqsLPzw9KlT9G2rRkuXXqFI0f+gYiISJXrEcmN5L9QlAFuURqGd2+Cjh07Vtm+wMBA/PXXQZiaXqg0hFZldly/bgNn5zg4OMTi9u1naNGiRZXavHz5HJYvT8SnoT/Hji1Gly7RlcZxFZSFCzdizx7ecFheXhzk5+tUaqPZv6cwVs0G6q+GQy10KTSCZkK+5C1Q+tnu39woaKk35SufkpYJlBYD4vzhogpFlL648/hTCgoKMG/pZiR0s0F+y/Uo1ZmL913uw8w5HU+eWH2zPIMXHR0tICuYL10y17/ez1Hv27c/rKxU+dKfPJFEv35j69UWBoNRP5SUlGDixH5o0+YkHB0jYW8fAW3tvzBlykDQDxZDWejedVUkiCcuLi5Ourq6JC0t/cU8rVq1Ig+Pd7RyZR717k20YUMOJce+pUL7cTyzJEW2I+nOjQv12sdHj15Qt268MyT79mXR4sWrq1SPhIQExYW588wYly1D0CSKfUDkPIl2bNtQp30RExMjV9cw6tWroi8dOxJ5eLyt8itIHR0dun7dhlxd48jdPZZOnrxe43V+z55F8tznjzp6NJl69OjBk7dp06aUEGT92TGiskSJDv8th+AS3VQsu9/mkhTh/4yvvRHDh1FGlBPRm8u89dxSotiw51V6tS0jI0OzZ8+i1auWU8uWLev1Gf2eZPbvKSLrvnwzpAmBj6l58+b1asuYMWNo164svudxwACiI0dMhX6vmJiYmD7XD/vKvhY7TjIyMrR48Uo6dOgCzZmzkJSVlen5s8eU5H2WStwWUrL3aXrpalWl19I1lba2Nt26lUD47AtJVpbIzi6wyvXt3rGRPgSdq1gfd1edKN6ayKYffXBdSiuWLa7T/kydOoN+/pn/C3bFirxa3T0oLS1Nu3dupiBve/L1fEorli/ii6xQmU6fNqf+/Xlt43KJ3N3j+HaDd+jQgd57neZfAhF+kUrfXCNK9iCKsSRK9qC88Nu0cd3KSttcMHcGZcQHUXGSJ5U+X0mFPr9SXPgL6l/FdbVMtaNWrVpRQrgb0YM2ZeNpJkY5HpvI7N/T9W4Ll8sld/c3pKtb8TxKSRHZ2LwnfX19od8rpoYvLpdLU6ZMor/+2E2LF80nKSkpodvE9H2LOaR1qF69etGCBQuod+/eX8yjoaFB8+fPp8mTJ9dqGBsDAwM6dSqJUMms3bNnb6pV5+5ftlFRRjhRohNR3JOyuK0WcpQQ7lHnzvbOnX/Q0KH8fenWjejo0Su10oa4uDj5etpSgYtJ2VrOm/KU/Xwn3b/17RklbW1t8vCIoWHDSkhEhEhHh+jGjVRaunQ9X14pKSmKC3Pjd0hDz1LJ610VM9Fm4pQfcZNmTp/yxXZFRETIwMCATExMaOLEiQ1608+PoI4dO9Iz29sUE/KMooLcaM8vmwX6QVMXatu2LTk6BpGpaSL99VcSeXjE0MSJ04R+j5gavpSUlCjwlRNlev5KZGtEuW5r6F2IJ7Vu3VrotjF9v2IOqRD1x287KTHEmorcl1KOxxaKDX9OA/r3q5W6xcTEyNMzlsTE+F/ZnT5tXu16ly6aS/FhrpTrsYmyPHdSbJgnjRhR/c1AgsrYeDpt3175DOnSpf+rlTYWzJ9NOR5b+BzFJN/L1Llz52+W19DQoD//vEhOTiF0+7YLDR067It5d+/YSOmvThBZyJW181CfitODKtk4pkCBL+2E/qwyNV61a9eOunfvzgL4Mwms66YnqdhuFO//RQ/a0EvXJ0K3jen7FXNI60FSUlI0c8Z0Wvu/ldSuXTsCQEOGDKFUv38/W//XpMrr/76m2bMXkaVlMunrl+22Gzu2mDw8oklLS6tG9crJydGkSZNozJgx9TYj93ENqaFhCeE/Z7RTp+qtIf2S7pmdJ3qox+8UPjOmLRvX1nqfFpvMpeBXDvQu0JleuDyhZP/KT6KKDnSst2e1NsTlcmns2LG0fu0qMjQ0FLo9TExMVVNMSCVvcK6D4gMekZKSktDtY/o+VVt+WSWnpTMAoFevnrh77RSUUi0gXRKPpGW7Yf8qFQpy0mjy7hBv5sI0KKQ9wNixY9G9sx6mTx4FLocDKzsXbN/1u0A70T/lxo1/8OZNELZt2wUNDU14ejph0qT9eP/+fY36lJ2dDUtLyxrVUVWKioowdepAHD78Lw4fNkBpqQjevw/FrFkLBdpR/jlcLpcv4kFcQjLQWQvICuVJzxPVQlxize5ZZfxteg1/m14DAIiLi+NNgBMAEZR9pv5DQgVp2QW13nZdoaOjA/vHN6CSawP5wiCkLJiP0IxtGDZ2Jj58+CBs8xgMhiB8MRBLKTicRhdUh/GD8dm3aMPHy8sLPXv2rNM2OBwO3gS6QSdwAlCQXJ6epXcQCWIDoRdhDHxI5ClT2HIV3srMgU7Wv5CI+RcoLUZx80kIV1yProYjUFDQeJyTukJERAQiIiIoLS2tctl+/QZg167TEBVVgbR0KZydH+GXX9agsLAQrVu3htvjc1D1GQeU/Oc8SaoirtNDtOlshPz8/FruCS97f92MtRNUoBC+syz8k5giUjqaYsHGs3hiZVOrbampqWHm9CmQEBfDrbsP8ebNm1qp18vlMXpkbgYyg8rTCrQW4IyHLjZs3V0rbTAYjLrl5tWzmNLsJrjJjhWJMi3wWu08uhiOFJ5hjO+a2vLL2E+mSujXrx/ksl14nFEAkH97BJLiHOQ1n/1ZCRHkNF8M5WJvSLy7CJQWASCIxt+Ddv4DzJ41rd5sb8gQUbWc0Y4dO2L//tuYO7cThgxRg6FhcwQFzcfFi3cBABEREViz4xTiujkirfVBpLQ9jih9S0yctarOnVEA+HXvn9h79Q2iDBwQ390Jwa3vYsnWi7XujC5dNBe+z8zx57RsHJiQAI/HJ/Hb7q01rldVVRWaSsU8zigASMRew+Txw2pcP4PBqB9W/fQL3qjtQ47uJqBpL3zQXoJYfXPMXvSTsE1jML4Je2VfCZKSkuCWVvI6uTgXOTm5SCoehvYtRSGTaAaIN0Gqzjb4h7yFkbg1XxGZNGuMGrICpv9eqwfLax81NTXMmLEQsrKKePr0Fry9vevdhnXr9mHDBlUkJVWkXb4siYkTu0NbWxvR0dG4edsSlg+eoHfv3igoKICX1/p6DSh89Pg5HD1+rs7qV1dXx75tS9As7TrQag4gIgrV+MdYNq0f7jzohlevXlW7bklJSaA4l/8ClYBbtbMYGAyGEElJSUHHHkMwc8ZUDOo7FX5Bb2B6eQSysrKEbRqD8U3YDGkluLm5Ia/JKIAjxpNeoDkP124+RP+hk7DuYiIcxX/HvaxVWHvgIdQ0e6BYzoCvrmKZNoiIihOoXSUlJezasQkOT27g7ImDaNmyZa30p7pMnjwDt269RlLSPnh7b8XatU9x5oxZvdvRpo0+fHz401++lIKenh6kpKSwbNkamJpaYerU5SgoKPjuTreYOW0yVGRLAEkVwGUa4DwOKM6FsrIaVi39fMa+akRHRyOXqw2IN+G9oDoQni/9a1Q3g8GoXwoLC3Hl6g0sXrkFx0+eY84oo1Eh9B1aVVF97bJftHA2JYVYlcXsvN+Kcjw20ysPG74gw2JiYuTh8Zb09IhiQuOI7mnxnBmfEOYq0Fn0mpqa9DbYgwqcZxPdVacS22GUEOpEQwYPEsp9lpOTI3f3BJKU/PwEowwaP36iQHVwOBwaO3Y8HTx4ntat20bKysrVsuXSpfvUpQt/LNM7dxKoQ4cO5OgYQKtX55GmJlHv3kSPHiXR3LlLhP6s1qZOnThKpW+u8u+gfb2bnO0e1Lj+Af37UUKYCxU7jCWybEEfni2iN4HupKamJvS+MzExMTE1XLGwT/Wg9u3b06Wzf9LjO/+QycK5JC4uzpdnwoQJtHNnWZzNDh2IQnwTKNHHmtL87lNGQigZDRooUFv3zC8SWff5LJalIkUEuArlPk+bNo1++imf8JkT2KoV0ZUr1t8sLykpSVZWXrR/fwb16UM0e3Yhubsn0IABVXewO3bsSPb270lZucKOuXM/0JUrj2nbtn00d24hj41iYmUnLX1PJ5T8dfgAkdMEfof0sQE5WlnUShtaWlp09Pfd9OSuKW366X8kJycn9H4zMTExMTVssbBP9UBQUBCWrNz81Tzq6pp480YOABAYCLTroobWrdWgowMsWGALJ+dnArXVvXM74JUHb2JRBmSK35Wvk6xPOBwOSkr4FxCWlJSFXvoW69Ztx+3bnfD33xIAAA8PMVhZqeHJk8vo21e3Sq/UAwICsHv3dJibnwbQBLKygIvLYyxd+j9YWflg5EjepRVFRYCdnTQMDQ3h6OgocDsNmYDgMBQNaAGxz9JJSguvXgRVWqaqxMTEsB31DAaDwRAKbA1pDXF3d8Ho0Uk8aRERQJs2+XBzeyRwPSWlIoBIJY6eqDzy8vJqamaVsba2xvTp6RD7zANatiwL9+5d/Gb50aNn4MoVCZ609HTA21saXbp0qbI9Li7OGDasI0aP1kGfPhrYvHkpCgoK8OFDPuTk+PMrKBQjN7eSjTqNFIubd5DcZA4g0bQikSuFZM1NOHX+ivAMYzAYDAajFmAOaQ3x9/dHSckLbNmSC2lpgMMBJk8uwezZ0bh69ZLA9dy+b40PWgt5ExU7420KISUlpXaNFoCMjAycO/crnjxJwrhxpejbFzh5Mg2ami64c+fmN8sTEUQq2aEtIiL4zGhlFBUV8cyuXrt2Aps28S7ab94c6NEjC15eXjVqqyGRnZ2NqfPX4V2HR0htewTprQ8grpsjVm07hqioKGGbx2AwGAxGjWCB8WsBLpeL5cvXwdh4CURFxfDsmRWOHt2F9PR0gesQFxfH0/vX0FEtByr5jsgQ64D3Yn0xdOwsxMUJtku/LmjZsiVmz14OObkmsLK6DicnJ4HKbd68G5mZW3HhgmR5WtOmwKNHb9G3b8ta3QV//PgVaGqOwIMHKtDSysW4celYtmw8/Pz8aq2NhgKHw0Hv3r0hLi4ODw8PFBYWCtskBoPBYPzA1JZfxhzSBkbXrl3Ro3s3vIl6CwcHh0YbvkhCQgK3bzshOFgPjx8rQVe3AMuXp2HDhqnw8HCv9fZat26NgQONkJz8Hk+fPkVRUVGtt8FgMBgMBoMX5pAyGjwiIiIYPnw4+vcfh4SENzA3v1ylWWMGg8FgMBgNm9ryyxrdLnuxz3fZNDKkpKSgqqqKhISE7/51KxHBxsYGNjY20NTUBIdTv0uWVVVVweFwkJiYWK/tChtFRUXIyckhNja20c6wMxgMBuPHok49hJEjRyIkJATh4eHYupX/zG1xcXGYm5sjPDwcnp6e0NHR+Wad7dtoIcTHqdHNknK5XJw9cRCRr23heW8vogKcsOeXTcI2q84xGjQQEf6u8Hp8GAHPrsDd8T6aN29ep23q6enhtacNXtufh4/NaQS8tIeBAf8pWt8bSkpKsHl4A0HuFnjx4CCigtwxZfJ4YZvFYDAYDIZA1EmgVA6HQxEREaSrq0tiYmLk6+tL+vr6PHlWrlxJZ8+eJQA0Y8YMMjc3/2a9lOJFdEeV4sPcqFmzZkIPCCuojh/eSznuGz4Jai5CGd6Haf3/lgndtrqSrq4uJYQ5E91Squj3k64U7ONMImXb7Wtd0tLS9C7Ek+h+y4o272lSbJgnKSoqCv2e1KU8nR9Ssc3gin6bS1NyiBV1795d6LYxMTExMX2fqq3A+HU2Q9qrVy9EREQgKioKRUVFMDc3x8SJE3nyTJw4EZcvXwYA3L59G0OHDhWs8g9JUI47ijUrTWrb7DpBVFQUUycMg0zU0U9SCQphO7B2xXyh2VXXbFm/DKrv9gGFn6wbTfdBsyIPDBkypE7anD1zGpRTrwE5byoS82KhnHgOi03m1EmbDYGOHTtCVz4V3GTHisSSPChHbsHun1cLzzAGg8FgMASgzhxSDQ0NxMTElP8dGxsLDQ2NL+YpKSlBZmYmmjZtis9ZunQpvLy8yuJKSigDAMRyAtFer0VdmV+ryMvLQ+RDAv+F0gJIiBbXv0H1hF4bHXCyA/nSlYoC0FK3RZ20qd9WB9L5/G1K5AagQ9u6abMhoKOjA+n8AP4LmYFo2UKn/g1iMBgMBqMK1JlDKlJJVPTPN1gIkgcALl68iJ49e5atGy0oCxKfr2QER9dXtWRt3ZKeno4i8eYA57MNWeJNkJ7z/Tqkz9x9UNjEiC89WXowXnrXzdg9c/dBpix/mzmKg+Ho1jiel+rg5+eHHPkBfOmlKkbw9PIRgkUMBoPBYAhOnTmksbGx0NLSKv9bU1MT8fHxX8zD5XKhoKCAtLS0b9ZdqmKEeMV5+Off67VrdB1BRDh45BzSO14CxBTLEiWbIaXjv9j665/CNa4OOX76EhKarQWa9i5LEOHig9YiBCYpwMenbpykh48eI5rTH8XqFctDSpqNRJz0BFjcvFMnbTYEYmJi8MwnHrm6Gyt++Ch0QGKL37Dn4AnhGsdgMBgMhgDUySJXLpdLkZGR1KJFi/JNTe3bt+fJs2rVKp5NTRYWFt+styAvm25ePduoNjR91KwZxhT40o6ig5zIx8OKRowYKnSb6lpaWlp0/+bfFB3sSm+D3ejo77tJQkKiTtuUl5enS2cP07tgN4oOcaNr/5ygpk2bCv1e1LU4HA7t2rGRIgNcKDr4Gdk9ukF6enpCt4uJiYmJ6ftVbW1qQl0aOXr0aAoNDaWIiAjavn07AaA9e/bQ+PHjCQBJSEjQzZs3KTw8nJ4/f066urr12XEmJiYmJiYmJqYaqLb8MnZSE4PBYDAYDAajWtSWX1a/R+cwGAwGg8FgMBifwRxSBoPBYDAYDIZQYQ4pg8FgMBgMBkOoMIeUwWAwGAwGgyFUmEPKYDAYDAaDwRAqzCFlMBgMBoPBYAgV5pAyGAwGg8FgMIQKc0gZDAaDwWAwGEKFOaQMBoPBYDAYDKHCHFIGg8FgMBgMhlBhDimDwWAwGAwGQ6gwh5TBYDAYDAaDIVSYQ8pgMBgMBoPBECrMIWUwGAwGg8FgCBXmkDIYDAaDwWAwhIoIABK2EVUhKysLoaGhwjaD8RnKyspISUkRthmMSmBj0zBh49IwYePScGFj0zDR09ODvLx8rdRFjUleXl5Ct4GJjUtjEhubhik2Lg1TbFwartjYNEzV1riwV/YMBoPBYDAYDKHCHFIGg8FgMBgMhlDhAtgtbCOqyqtXr4RtAqMS2Lg0XNjYNEzYuDRM2Lg0XNjYNExqY1wa3aYmBoPBYDAYDMb3BXtlz2AwGAwGg8EQKswhZTAYDAaDwWAIlQblkI4cORIhISEIDw/H1q1b+a6Li4vD3Nwc4eHh8PT0hI6OTvm1bdu2ITw8HCEhIRgxYkR9mv3dU91x0dHRQV5eHnx8fODj44OzZ8/Wt+nfNd8alwEDBsDb2xtFRUUwNjbmuTZ//nyEhYUhLCwM8+fPry+TfwhqMi7FxcXln5f79+/Xl8k/DN8am59++gmBgYF4/fo17OzsoK2tXX6NfWbqjpqMC/vM1C3fGpvly5fDz88PPj4+cHFxgb6+fvm16vhlQo9hBYA4HA5FRESQrq4uiYmJka+vL+nr6/PkWblyJZ09e5YA0IwZM8jc3JwAkL6+Pvn6+pK4uDi1aNGCIiIiiMPhCL1P34NqMi46Ojrk7+8v9D58jxJkXHR0dKhTp050+fJlMjY2Lk9XUlKiyMhIUlJSIkVFRYqMjCRFRUWh9+l7UE3GBQBlZ2cLvQ/fqwQZGyMjI5KSkiIAtGLFivL/y9hnpmGOC8A+M8IeGzk5ufJ/jx8/nqysrAionl/WYGZIe/XqhYiICERFRaGoqAjm5uaYOHEiT56JEyfi8uXLAIDbt29j6NCh5enm5uYoLCzE27dvERERgV69etV7H75HajIujLpDkHF59+4d/P39UVpaypM+cuRI2NraIj09HRkZGbC1tcWoUaPq0/zvlpqMC6NuEWRsnJyckJ+fDwDw9PSEpqYmAPaZqUtqMi6MukWQscnOzi7/t4yMDIgIQPX8sgbjkGpoaCAmJqb879jYWGhoaHwxT0lJCTIzM9G0aVOByjKqR03GBQB0dXXx6tUrODk5oX///vVn+HdOTZ559nmpO2p6byUlJeHl5QUPDw++//gZNaOqY7N48WJYWVlVqyxDcGoyLgD7zNQlgo7NqlWrEBERgT/++ANr166tUtlPEa0lu2uMiIgIX9pHT/tbeQQpy6geNRmXhIQEaGtrIy0tDd26dYOlpSU6dOjA84uKUT1q8syzz0vdUdN7q62tjYSEBOjq6sLBwQH+/v548+ZNbZr4w1KVsZkzZw569OiBQYMGVbkso2rUZFwA9pmpSwQdmzNnzuDMmTOYNWsWdu7ciYULF1brM9NgZkhjY2OhpaVV/rempibi4+O/mIfL5UJBQQFpaWkClWVUj5qMS2FhIdLS0gCUBc2NjIxE27Zt68/475iaPPPs81J31PTeJiQkAACioqLg5OSErl271rqNPyqCjs3QoUOxY8cOTJgwAYWFhVUqy6g6NRkXgH1m6pKqPvfm5uaYNGlStcp+ROgLZwEQl8ulyMhIatGiRfni2fbt2/PkWbVqFc/mGQsLCwJA7du351k8G6wwU9sAAAXGSURBVBkZyTY1NYBxUVZWLh8HXV1dio2NJSUlJaH36XuQIOPyUaampnybmt68eUOKioqkqKhIb968YePSAMZFUVGRxMXFCQA1bdqUwsLC+DYQMNXt2HTp0oUiIiKodevWPOnsM9Mwx4V9ZoQ/Np+Oybhx48jLy4uAavtlwu/0R40ePZpCQ0MpIiKCtm/fTgBoz549NH78eAJAEhISdPPmTQoPD6fnz5+Trq5uednt27dTREQEhYSE0KhRo4Tel+9J1R2XKVOmUEBAAPn6+pK3tzeNGzdO6H35nvStcenRowfFxMRQTk4OpaSkUEBAQHlZExMTCg8Pp/DwcFq4cKHQ+/I9qbrj0qdPH/Lz8yNfX1/y8/OjRYsWCb0v35u+NTa2traUmJhIPj4+5OPjQ/fv3y8vyz4zDW9c2GdG+GPz119/UUBAAPn4+JCDgwOPw1pVv4wdHcpgMBgMBoPBECoNZg0pg8FgMBgMBuPHhDmkDAaDwWAwGAyhwhxSBoPBYDAYDIZQYQ4pg8FgMBgMBkOoMIeUwWAwGAwGgyFUGsxJTQwGgyEsiouL4e/vX/63ubk5JCUlISEhge3bt5end+7cGWZmZmjfvj0AYNu2bYiOjkabNm2wdOlSJCcnQ1xcHPv27YO5uXm994PBYDAaKyzsE4PB+OHJzs6GnJwcT1rbtm1hZWWFVq1alacdPHgQubm52L9/PwDAwcEB06dPx+rVq5GTk4MjR46gdevW8Pb2RtOmTVFcXFyv/WAwGIzGCntlz2AwGJUQFhaGjIwM9OrVqzxt+vTp5TOfcnJyEBcXR0pKCk+5iIgI5OXlQUlJCQDQsmVLWFlZ4eXLl3j27Bn09PQgLy+PqKio8vOepaSkEB0dDVFR0UrzA4CpqSmOHz8ONzc3REZGwtjYGAAwaNAgPHz4sLz9kydPYsGCBQCAbt26wcnJCS9fvsTTp0+hpqZWR3eLwWAwagZzSBkMxg+PlJQUfHx8yjV9+nQAgJmZGWbOnAkA6N27N1JTUxEREQEAGDZsGOzt7fnq6tq1K8LDw5GcnAwAuHDhAtasWYMePXpg06ZNOHPmDLKysvD69WsMGjQIADB+/HhYW1ujuLi40vwfUVdXR//+/TFu3DgcOnToq30SFRXFyZMnMXXqVPTo0QP//PMPfvvtt5rfLAaDwagD2BpSBoPxw5Ofn4+uXbvypZubm8Pd3R0bN27EzJkzYWZmVn5t1KhRMDU1Lf/7p59+wtKlS9GyZUuMGjUKACAjI4O+ffvi1q1b5fkkJCQAABYWFpgxYwacnJwwc+ZMnDlz5qv5AcDS0hJEhODgYDRr1uyrfdLT00PHjh1ha2sLAOByuUhISKjKbWEwGIx6gzmkDAaD8QViY2Px9u1bDBo0CMbGxujTp0/5tV69emHlypXlfx87dgxHjhzB5MmTceXKFbRq1QocDgcZGRmVOrsPHjzAwYMHoaSkhO7du8PBwQEyMjJfzA8ABQUF5f/++Lq/uLgYHE7Fyy5JScny64GBgejbt2/NbgKDwWDUA+yVPYPBYHwFMzMzHDt2DJGRkYiLiwMAtG/fHiEhISgtLeXLf+/ePbx8+RILFixAdnY2oqKiMHXq1PLrBgYGAIDc3Fy8ePECx48fx6NHj1BaWvrV/F/i3bt3aN++PcTFxSEvL4+hQ4cCAEJDQ6GiogJDQ0MAZa/wP0YHYDAYjIYGc0gZDMYPz+drSA8ePFh+7datW+jQoQNPGKfRo0fj6dOnX6xv79692LBhA0RERDBnzhwsXrwYvr6+CAwMxMSJE8vzWVhYYN68ebCwsChP+1r+yoiNjcXNmzfh5+eH69evw8fHBwBQVFSEqf9v545pAIZhKAoaZObwMaWgMIzAKIZOv6ruEHh8siWvVd1dM1MzY1sKfJa3TwAvnXNq71333vQoAL8gSAEAiHKyBwAgSpACABAlSAEAiBKkAABECVIAAKIEKQAAUQ+1n3yR+YPOIgAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 792x504 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Visualize scatter plot after normalization\n",
    "plt.figure(figsize = (11,7))\n",
    "plt.style.use(\"dark_background\")\n",
    "\n",
    "plt.title(\"Normalized Data\")\n",
    "\n",
    "g = sns.scatterplot(x='EV/Revenue', y='Current ratio', hue='S&P', \n",
    "                    data=df_norm, s=40,palette=['blue','orange'])\n",
    "\n",
    "plt.xlim(0,0.3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "On your own, try classifying B and BBB using all features (not just EV/Revenue and Current ratio). You should see accuracy increase with the introduction of\n",
    "more variables."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Apply k-NN on a larger subset of credit data"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Increase number of classes and features\n",
    "Now that we have developed an intuition for our workflow, let's give k-NN a more difficult task.  Often when applying k-NN to financial applications, the data may have more categories and more features that can be used to make predictions.\n",
    "\n",
    "In this example, we are going to expand our features.  We are also going to increase the number of categories we are trying to predict so that BB rated bonds are included.  We will predict if a bond is rated either BBB, BB, or B."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 513,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Issuer Name</th>\n",
       "      <th>Symbol</th>\n",
       "      <th>Callable</th>\n",
       "      <th>Sub-Product Type</th>\n",
       "      <th>Coupon</th>\n",
       "      <th>Maturity</th>\n",
       "      <th>Moody's®</th>\n",
       "      <th>S&amp;P</th>\n",
       "      <th>Price</th>\n",
       "      <th>Yield</th>\n",
       "      <th>Maturity Years</th>\n",
       "      <th>Duration</th>\n",
       "      <th>Operating Margin</th>\n",
       "      <th>Current ratio</th>\n",
       "      <th>EV/Revenue</th>\n",
       "      <th>Return on Assets</th>\n",
       "      <th>Return on Equity</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>6324</th>\n",
       "      <td>XEROX HLDGS CORP</td>\n",
       "      <td>XPO</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.0675</td>\n",
       "      <td>08/15/2024</td>\n",
       "      <td>Ba3</td>\n",
       "      <td>B</td>\n",
       "      <td>103.420</td>\n",
       "      <td>0.02530</td>\n",
       "      <td>3.019444</td>\n",
       "      <td>0.187830</td>\n",
       "      <td>0.0528</td>\n",
       "      <td>1.02</td>\n",
       "      <td>0.90</td>\n",
       "      <td>0.0395</td>\n",
       "      <td>0.1792</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2285</th>\n",
       "      <td>FORESTAR GROUP INC</td>\n",
       "      <td>DHI</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.0500</td>\n",
       "      <td>03/01/2028</td>\n",
       "      <td>B1</td>\n",
       "      <td>B</td>\n",
       "      <td>104.055</td>\n",
       "      <td>0.03839</td>\n",
       "      <td>6.613889</td>\n",
       "      <td>0.858466</td>\n",
       "      <td>0.1806</td>\n",
       "      <td>5.87</td>\n",
       "      <td>1.41</td>\n",
       "      <td>0.1480</td>\n",
       "      <td>0.2889</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>891</th>\n",
       "      <td>CHURCHILL DOWNS INC</td>\n",
       "      <td>CHDN</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.0550</td>\n",
       "      <td>04/01/2027</td>\n",
       "      <td>B1</td>\n",
       "      <td>B</td>\n",
       "      <td>103.884</td>\n",
       "      <td>0.03472</td>\n",
       "      <td>5.683333</td>\n",
       "      <td>0.701377</td>\n",
       "      <td>0.1828</td>\n",
       "      <td>1.44</td>\n",
       "      <td>6.12</td>\n",
       "      <td>0.0538</td>\n",
       "      <td>0.6371</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "              Issuer Name Symbol Callable Sub-Product Type  Coupon  \\\n",
       "6324     XEROX HLDGS CORP    XPO      Yes   Corporate Bond  0.0675   \n",
       "2285   FORESTAR GROUP INC    DHI      Yes   Corporate Bond  0.0500   \n",
       "891   CHURCHILL DOWNS INC   CHDN      Yes   Corporate Bond  0.0550   \n",
       "\n",
       "        Maturity Moody's® S&P    Price    Yield  Maturity Years  Duration  \\\n",
       "6324  08/15/2024      Ba3   B  103.420  0.02530        3.019444  0.187830   \n",
       "2285  03/01/2028       B1   B  104.055  0.03839        6.613889  0.858466   \n",
       "891   04/01/2027       B1   B  103.884  0.03472        5.683333  0.701377   \n",
       "\n",
       "      Operating Margin  Current ratio  EV/Revenue  Return on Assets  \\\n",
       "6324            0.0528           1.02        0.90            0.0395   \n",
       "2285            0.1806           5.87        1.41            0.1480   \n",
       "891             0.1828           1.44        6.12            0.0538   \n",
       "\n",
       "      Return on Equity  \n",
       "6324            0.1792  \n",
       "2285            0.2889  \n",
       "891             0.6371  "
      ]
     },
     "execution_count": 513,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Visualize our dataset\n",
    "df_ratings.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 514,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Columns from the data set \n",
    "features = ['Current ratio', 'Operating Margin', 'Return on Assets', 'EV/Revenue']\n",
    "\n",
    "# Numerical features or independent variables\n",
    "X = df_ratings[features]\n",
    "\n",
    "# Dependent variable, B, BB & BBB\n",
    "y = df_ratings['S&P']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 515,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "B      75\n",
       "BB     75\n",
       "BBB    75\n",
       "Name: S&P, dtype: int64"
      ]
     },
     "execution_count": 515,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y.value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 1. Normalize features\n",
    "First we normalize the data.  \n",
    "\n",
    "#### 2. Split data into train and test\n",
    "We then split the data into train and test again.\n",
    "\n",
    "#### 3. Train k-NN algorithm on numerical columns\n",
    "We train our model.\n",
    "\n",
    "#### 4. Predict \n",
    "Then we make our prediction on the test data and compute the accuracy score.\n",
    "\n",
    "#### 5. Evaluate accuracy of the prediction\n",
    "After we made the prediction, we must evaluate the accuracy of the algorithm."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 516,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Accuracy: 0.43\n"
     ]
    }
   ],
   "source": [
    "# Normalize independent cols of data\n",
    "X_normalized = scaler.fit_transform(X)\n",
    "# Split into train and test\n",
    "X_train, X_test, y_train, y_test = train_test_split(X_normalized, y, test_size = 0.3, random_state = 2)\n",
    "\n",
    "# Initialize model\n",
    "knn = KNeighborsClassifier()\n",
    "# Train\n",
    "knn.fit(X_train, y_train)\n",
    "# Predict\n",
    "predictions = knn.predict(X_test)\n",
    "# Compute accuracy\n",
    "accuracy = accuracy_score(y_test, predictions)\n",
    "print('Accuracy: {:.2f}'.format(accuracy))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Let's visualize our accuracy for a range of k values."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 517,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.plotly.v1+json": {
       "config": {
        "plotlyServerURL": "https://plot.ly"
       },
       "data": [
        {
         "name": "Test Accuracy",
         "type": "scatter",
         "x": [
          1,
          2,
          3,
          4,
          5,
          6,
          7,
          8,
          9,
          10,
          11,
          12,
          13,
          14,
          15
         ],
         "y": [
          0.38235294117647056,
          0.36764705882352944,
          0.45588235294117646,
          0.4264705882352941,
          0.4264705882352941,
          0.4264705882352941,
          0.39705882352941174,
          0.35294117647058826,
          0.36764705882352944,
          0.4117647058823529,
          0.38235294117647056,
          0.35294117647058826,
          0.35294117647058826,
          0.36764705882352944,
          0.4117647058823529
         ]
        },
        {
         "name": "Train Accuracy",
         "type": "scatter",
         "x": [
          1,
          2,
          3,
          4,
          5,
          6,
          7,
          8,
          9,
          10,
          11,
          12,
          13,
          14,
          15
         ],
         "y": [
          0.9745222929936306,
          0.6560509554140127,
          0.6624203821656051,
          0.5923566878980892,
          0.5732484076433121,
          0.5222929936305732,
          0.554140127388535,
          0.5414012738853503,
          0.5159235668789809,
          0.5477707006369427,
          0.5095541401273885,
          0.5159235668789809,
          0.5159235668789809,
          0.5095541401273885,
          0.4968152866242038
         ]
        }
       ],
       "layout": {
        "template": {
         "data": {
          "bar": [
           {
            "error_x": {
             "color": "#f2f5fa"
            },
            "error_y": {
             "color": "#f2f5fa"
            },
            "marker": {
             "line": {
              "color": "rgb(17,17,17)",
              "width": 0.5
             }
            },
            "type": "bar"
           }
          ],
          "barpolar": [
           {
            "marker": {
             "line": {
              "color": "rgb(17,17,17)",
              "width": 0.5
             }
            },
            "type": "barpolar"
           }
          ],
          "carpet": [
           {
            "aaxis": {
             "endlinecolor": "#A2B1C6",
             "gridcolor": "#506784",
             "linecolor": "#506784",
             "minorgridcolor": "#506784",
             "startlinecolor": "#A2B1C6"
            },
            "baxis": {
             "endlinecolor": "#A2B1C6",
             "gridcolor": "#506784",
             "linecolor": "#506784",
             "minorgridcolor": "#506784",
             "startlinecolor": "#A2B1C6"
            },
            "type": "carpet"
           }
          ],
          "choropleth": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "choropleth"
           }
          ],
          "contour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "contour"
           }
          ],
          "contourcarpet": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "contourcarpet"
           }
          ],
          "heatmap": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmap"
           }
          ],
          "heatmapgl": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmapgl"
           }
          ],
          "histogram": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "histogram"
           }
          ],
          "histogram2d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2d"
           }
          ],
          "histogram2dcontour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2dcontour"
           }
          ],
          "mesh3d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "mesh3d"
           }
          ],
          "parcoords": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "parcoords"
           }
          ],
          "pie": [
           {
            "automargin": true,
            "type": "pie"
           }
          ],
          "scatter": [
           {
            "marker": {
             "line": {
              "color": "#283442"
             }
            },
            "type": "scatter"
           }
          ],
          "scatter3d": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatter3d"
           }
          ],
          "scattercarpet": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattercarpet"
           }
          ],
          "scattergeo": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattergeo"
           }
          ],
          "scattergl": [
           {
            "marker": {
             "line": {
              "color": "#283442"
             }
            },
            "type": "scattergl"
           }
          ],
          "scattermapbox": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattermapbox"
           }
          ],
          "scatterpolar": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolar"
           }
          ],
          "scatterpolargl": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolargl"
           }
          ],
          "scatterternary": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterternary"
           }
          ],
          "surface": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "surface"
           }
          ],
          "table": [
           {
            "cells": {
             "fill": {
              "color": "#506784"
             },
             "line": {
              "color": "rgb(17,17,17)"
             }
            },
            "header": {
             "fill": {
              "color": "#2a3f5f"
             },
             "line": {
              "color": "rgb(17,17,17)"
             }
            },
            "type": "table"
           }
          ]
         },
         "layout": {
          "annotationdefaults": {
           "arrowcolor": "#f2f5fa",
           "arrowhead": 0,
           "arrowwidth": 1
          },
          "coloraxis": {
           "colorbar": {
            "outlinewidth": 0,
            "ticks": ""
           }
          },
          "colorscale": {
           "diverging": [
            [
             0,
             "#8e0152"
            ],
            [
             0.1,
             "#c51b7d"
            ],
            [
             0.2,
             "#de77ae"
            ],
            [
             0.3,
             "#f1b6da"
            ],
            [
             0.4,
             "#fde0ef"
            ],
            [
             0.5,
             "#f7f7f7"
            ],
            [
             0.6,
             "#e6f5d0"
            ],
            [
             0.7,
             "#b8e186"
            ],
            [
             0.8,
             "#7fbc41"
            ],
            [
             0.9,
             "#4d9221"
            ],
            [
             1,
             "#276419"
            ]
           ],
           "sequential": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ],
           "sequentialminus": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ]
          },
          "colorway": [
           "#636efa",
           "#EF553B",
           "#00cc96",
           "#ab63fa",
           "#FFA15A",
           "#19d3f3",
           "#FF6692",
           "#B6E880",
           "#FF97FF",
           "#FECB52"
          ],
          "font": {
           "color": "#f2f5fa"
          },
          "geo": {
           "bgcolor": "rgb(17,17,17)",
           "lakecolor": "rgb(17,17,17)",
           "landcolor": "rgb(17,17,17)",
           "showlakes": true,
           "showland": true,
           "subunitcolor": "#506784"
          },
          "hoverlabel": {
           "align": "left"
          },
          "hovermode": "closest",
          "mapbox": {
           "style": "dark"
          },
          "paper_bgcolor": "rgb(17,17,17)",
          "plot_bgcolor": "rgb(17,17,17)",
          "polar": {
           "angularaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "bgcolor": "rgb(17,17,17)",
           "radialaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           }
          },
          "scene": {
           "xaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           },
           "yaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           },
           "zaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           }
          },
          "shapedefaults": {
           "line": {
            "color": "#f2f5fa"
           }
          },
          "sliderdefaults": {
           "bgcolor": "#C8D4E3",
           "bordercolor": "rgb(17,17,17)",
           "borderwidth": 1,
           "tickwidth": 0
          },
          "ternary": {
           "aaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "baxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "bgcolor": "rgb(17,17,17)",
           "caxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           }
          },
          "title": {
           "x": 0.05
          },
          "updatemenudefaults": {
           "bgcolor": "#506784",
           "borderwidth": 0
          },
          "xaxis": {
           "automargin": true,
           "gridcolor": "#283442",
           "linecolor": "#506784",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "#283442",
           "zerolinewidth": 2
          },
          "yaxis": {
           "automargin": true,
           "gridcolor": "#283442",
           "linecolor": "#506784",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "#283442",
           "zerolinewidth": 2
          }
         }
        },
        "title": {
         "text": "Accuracy for different k values"
        },
        "xaxis": {
         "title": {
          "text": "K neighbors"
         }
        },
        "yaxis": {
         "title": {
          "text": "Accuracy"
         }
        }
       }
      },
      "text/html": [
       "<div>\n",
       "        \n",
       "        \n",
       "            <div id=\"81476d03-c009-407c-978b-a361361e6e46\" class=\"plotly-graph-div\" style=\"height:525px; width:100%;\"></div>\n",
       "            <script type=\"text/javascript\">\n",
       "                require([\"plotly\"], function(Plotly) {\n",
       "                    window.PLOTLYENV=window.PLOTLYENV || {};\n",
       "                    \n",
       "                if (document.getElementById(\"81476d03-c009-407c-978b-a361361e6e46\")) {\n",
       "                    Plotly.newPlot(\n",
       "                        '81476d03-c009-407c-978b-a361361e6e46',\n",
       "                        [{\"name\": \"Test Accuracy\", \"type\": \"scatter\", \"x\": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15], \"y\": [0.38235294117647056, 0.36764705882352944, 0.45588235294117646, 0.4264705882352941, 0.4264705882352941, 0.4264705882352941, 0.39705882352941174, 0.35294117647058826, 0.36764705882352944, 0.4117647058823529, 0.38235294117647056, 0.35294117647058826, 0.35294117647058826, 0.36764705882352944, 0.4117647058823529]}, {\"name\": \"Train Accuracy\", \"type\": \"scatter\", \"x\": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15], \"y\": [0.9745222929936306, 0.6560509554140127, 0.6624203821656051, 0.5923566878980892, 0.5732484076433121, 0.5222929936305732, 0.554140127388535, 0.5414012738853503, 0.5159235668789809, 0.5477707006369427, 0.5095541401273885, 0.5159235668789809, 0.5159235668789809, 0.5095541401273885, 0.4968152866242038]}],\n",
       "                        {\"template\": {\"data\": {\"bar\": [{\"error_x\": {\"color\": \"#f2f5fa\"}, \"error_y\": {\"color\": \"#f2f5fa\"}, \"marker\": {\"line\": {\"color\": \"rgb(17,17,17)\", \"width\": 0.5}}, \"type\": \"bar\"}], \"barpolar\": [{\"marker\": {\"line\": {\"color\": \"rgb(17,17,17)\", \"width\": 0.5}}, \"type\": \"barpolar\"}], \"carpet\": [{\"aaxis\": {\"endlinecolor\": \"#A2B1C6\", \"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"minorgridcolor\": \"#506784\", \"startlinecolor\": \"#A2B1C6\"}, \"baxis\": {\"endlinecolor\": \"#A2B1C6\", \"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"minorgridcolor\": \"#506784\", \"startlinecolor\": \"#A2B1C6\"}, \"type\": \"carpet\"}], \"choropleth\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"choropleth\"}], \"contour\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"contour\"}], \"contourcarpet\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"contourcarpet\"}], \"heatmap\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"heatmap\"}], \"heatmapgl\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"heatmapgl\"}], \"histogram\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"histogram\"}], \"histogram2d\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"histogram2d\"}], \"histogram2dcontour\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"histogram2dcontour\"}], \"mesh3d\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"mesh3d\"}], \"parcoords\": [{\"line\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"parcoords\"}], \"pie\": [{\"automargin\": true, \"type\": \"pie\"}], \"scatter\": [{\"marker\": {\"line\": {\"color\": \"#283442\"}}, \"type\": \"scatter\"}], \"scatter3d\": [{\"line\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatter3d\"}], \"scattercarpet\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattercarpet\"}], \"scattergeo\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattergeo\"}], \"scattergl\": [{\"marker\": {\"line\": {\"color\": \"#283442\"}}, \"type\": \"scattergl\"}], \"scattermapbox\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattermapbox\"}], \"scatterpolar\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterpolar\"}], \"scatterpolargl\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterpolargl\"}], \"scatterternary\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterternary\"}], \"surface\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"surface\"}], \"table\": [{\"cells\": {\"fill\": {\"color\": \"#506784\"}, \"line\": {\"color\": \"rgb(17,17,17)\"}}, \"header\": {\"fill\": {\"color\": \"#2a3f5f\"}, \"line\": {\"color\": \"rgb(17,17,17)\"}}, \"type\": \"table\"}]}, \"layout\": {\"annotationdefaults\": {\"arrowcolor\": \"#f2f5fa\", \"arrowhead\": 0, \"arrowwidth\": 1}, \"coloraxis\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"colorscale\": {\"diverging\": [[0, \"#8e0152\"], [0.1, \"#c51b7d\"], [0.2, \"#de77ae\"], [0.3, \"#f1b6da\"], [0.4, \"#fde0ef\"], [0.5, \"#f7f7f7\"], [0.6, \"#e6f5d0\"], [0.7, \"#b8e186\"], [0.8, \"#7fbc41\"], [0.9, \"#4d9221\"], [1, \"#276419\"]], \"sequential\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"sequentialminus\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]]}, \"colorway\": [\"#636efa\", \"#EF553B\", \"#00cc96\", \"#ab63fa\", \"#FFA15A\", \"#19d3f3\", \"#FF6692\", \"#B6E880\", \"#FF97FF\", \"#FECB52\"], \"font\": {\"color\": \"#f2f5fa\"}, \"geo\": {\"bgcolor\": \"rgb(17,17,17)\", \"lakecolor\": \"rgb(17,17,17)\", \"landcolor\": \"rgb(17,17,17)\", \"showlakes\": true, \"showland\": true, \"subunitcolor\": \"#506784\"}, \"hoverlabel\": {\"align\": \"left\"}, \"hovermode\": \"closest\", \"mapbox\": {\"style\": \"dark\"}, \"paper_bgcolor\": \"rgb(17,17,17)\", \"plot_bgcolor\": \"rgb(17,17,17)\", \"polar\": {\"angularaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"bgcolor\": \"rgb(17,17,17)\", \"radialaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}}, \"scene\": {\"xaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}, \"yaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}, \"zaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}}, \"shapedefaults\": {\"line\": {\"color\": \"#f2f5fa\"}}, \"sliderdefaults\": {\"bgcolor\": \"#C8D4E3\", \"bordercolor\": \"rgb(17,17,17)\", \"borderwidth\": 1, \"tickwidth\": 0}, \"ternary\": {\"aaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"baxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"bgcolor\": \"rgb(17,17,17)\", \"caxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}}, \"title\": {\"x\": 0.05}, \"updatemenudefaults\": {\"bgcolor\": \"#506784\", \"borderwidth\": 0}, \"xaxis\": {\"automargin\": true, \"gridcolor\": \"#283442\", \"linecolor\": \"#506784\", \"ticks\": \"\", \"title\": {\"standoff\": 15}, \"zerolinecolor\": \"#283442\", \"zerolinewidth\": 2}, \"yaxis\": {\"automargin\": true, \"gridcolor\": \"#283442\", \"linecolor\": \"#506784\", \"ticks\": \"\", \"title\": {\"standoff\": 15}, \"zerolinecolor\": \"#283442\", \"zerolinewidth\": 2}}}, \"title\": {\"text\": \"Accuracy for different k values\"}, \"xaxis\": {\"title\": {\"text\": \"K neighbors\"}}, \"yaxis\": {\"title\": {\"text\": \"Accuracy\"}}},\n",
       "                        {\"responsive\": true}\n",
       "                    ).then(function(){\n",
       "                            \n",
       "var gd = document.getElementById('81476d03-c009-407c-978b-a361361e6e46');\n",
       "var x = new MutationObserver(function (mutations, observer) {{\n",
       "        var display = window.getComputedStyle(gd).display;\n",
       "        if (!display || display === 'none') {{\n",
       "            console.log([gd, 'removed!']);\n",
       "            Plotly.purge(gd);\n",
       "            observer.disconnect();\n",
       "        }}\n",
       "}});\n",
       "\n",
       "// Listen for the removal of the full notebook cells\n",
       "var notebookContainer = gd.closest('#notebook-container');\n",
       "if (notebookContainer) {{\n",
       "    x.observe(notebookContainer, {childList: true});\n",
       "}}\n",
       "\n",
       "// Listen for the clearing of the current output cell\n",
       "var outputEl = gd.closest('.output');\n",
       "if (outputEl) {{\n",
       "    x.observe(outputEl, {childList: true});\n",
       "}}\n",
       "\n",
       "                        })\n",
       "                };\n",
       "                });\n",
       "            </script>\n",
       "        </div>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Try different values for k\n",
    "train_accuracy = []\n",
    "test_accuracy = []\n",
    "\n",
    "for k in np.arange(1,16):\n",
    "    knn = KNeighborsClassifier(n_neighbors = k)\n",
    "    knn.fit(X_train, y_train)\n",
    "    train_accuracy.append(knn.score(X_train, y_train))\n",
    "    test_accuracy.append(knn.score(X_test, y_test))\n",
    "    \n",
    "fig = go.Figure()\n",
    "fig.add_trace(go.Scatter(x=np.arange(1,16), y=test_accuracy, name='Test Accuracy'))\n",
    "fig.add_trace(go.Scatter(x=np.arange(1,16), y=train_accuracy, name='Train Accuracy'))\n",
    "\n",
    "fig.update_layout(template='plotly_dark', xaxis_title=\"K neighbors\", title='Accuracy for different k values',\n",
    "                  yaxis_title=\"Accuracy\")\n",
    "\n",
    "fig.show(width=600, height=600)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "One potential reason for the decrease in the accuracy is the introduction of a new category BB. Features, like fundamental data, are now more likely to overlap between BB and the original values of BBB and B.\n",
    "\n",
    "Other potential reasons for the decrease in accuracy is that we are either not using the correct features or k-NN is not the correct model to use in this instance. For example, k-NN is often used as a baseline model to help measure more complex algorithms like support vector machines (SVM) and neural networks (NN)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## k-NN for regression"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "For the last example, let's look at k-NN in a regression setting.  Although k-NN is more commonly used in classification, it is worth taking a look at how k-NN can be applied in a regression.  Recall that in a regression test, we predict continuous values while in a classification test we predict categories or labels.  We will use sklearn.neighbors.KNeighborsRegressor and use the same features in the data, but we will change the dependent value to Yield."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "As you recall in the classification example, we calculated the distance between the test point and all the points.  Then, we got the closest k neighbors and sorted by distance.  If the k equals 3, like in our theory section where we were looking at the triangles and squares, and there were two triangles and one square, then we would classify a new point as a triangle.\n",
    "\n",
    "In a regression setting, where the values we are trying to calculate are numeric, all we have to do is take the average or the mean of the k nearest neighbors.  If we have k equal to 3, we just take the average of the 3 closest points to come up with our prediction.\n",
    "\n",
    "Let's again follow the steps now that we have defined our X and Y values.\n",
    "\n",
    "#### 1. We normalized the data.\n",
    "#### 2. We split data into train and test.\n",
    "#### 3. We train the algorithm.\n",
    "#### 4. We make a prediction.\n",
    "#### 5. We evaluate the accuracy of the prediction."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### sklearn.neighbors.KNeighborsRegressor"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 518,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Import KNN regressor \n",
    "from sklearn.neighbors import KNeighborsRegressor\n",
    "from sklearn.metrics import mean_squared_error\n",
    "\n",
    "# Keep the same columns as features\n",
    "features = ['Current ratio', 'Operating Margin', 'Return on Assets', 'EV/Revenue']\n",
    "\n",
    "y = df_ratings['Yield']\n",
    "X = df_ratings[features]\n",
    "\n",
    "# Normalize data\n",
    "X_normalized = scaler.fit_transform(X)\n",
    "\n",
    "# Split data into train and test\n",
    "X_train, X_test, y_train, y_test = train_test_split(X_normalized, y, test_size = 0.3, \n",
    "                                                    random_state = 2)\n",
    "# Initialize model\n",
    "knn = KNeighborsRegressor()\n",
    "\n",
    "# train\n",
    "knn.fit(X_train, y_train)\n",
    "# Predict\n",
    "predictions = knn.predict(X_test)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "But how do we go about evaluating the result? The accuracy metric that we used before no longer makes sense for this type of problem. This is where root-mean-square error (RMSE) is useful. RMSE is a standard way to measure the error of a model that has tried to predict numerical or quantitative data."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h4>Root Mean Square Error (RMSE) measures the error in numerical predictions</h4>  \n",
    "<img src='img/rmse.jpg'>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### predicted(i) - predicted value for the ith observation\n",
    "#### actual(i) - observed (true) data\n",
    "#### N - total number of observations"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "As we can see from the formula, we can think of this as the normalized distance between actual value and the value the model predicted. We then sum the differences between the actual value and the predicted value and then find the average by dividing the result by the number of observations. This is done so that the units of our error match the units of the value we are trying to predict, which only requires us to take the square root of the value.\n",
    "\n",
    "In our example, we plug in both the model's predictions and y-test into mean_squared_error we imported from scikit-learn. The result will show us how many decimal format percentage points we deviate on average from the true Yield (e.g. 0.01 = 1%)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 519,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Root Mean Square Error: 0.0146\n"
     ]
    }
   ],
   "source": [
    "RMSE = math.sqrt(mean_squared_error(y_test, predictions))\n",
    "\n",
    "print('Root Mean Square Error: {:.4f}'.format(RMSE))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Note that RMSE is in the same units as the value we are trying to predict\n",
    "so in our case, the error is in decimal format of percent (e.g. 0.01 = 1%).\n",
    "\n",
    "To find the optimal value of k, we plot RMSE versus k values. In this case, we are looking for the k value that will result in the lowest RMSE."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 520,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.plotly.v1+json": {
       "config": {
        "plotlyServerURL": "https://plot.ly"
       },
       "data": [
        {
         "name": "Test Accuracy",
         "type": "scatter",
         "x": [
          1,
          2,
          3,
          4,
          5,
          6,
          7,
          8,
          9,
          10,
          11,
          12,
          13,
          14,
          15
         ],
         "y": [
          0.01852998702421691,
          0.016730370301974086,
          0.015561124601268675,
          0.015079585233315389,
          0.014619906449366744,
          0.014563291916530356,
          0.014301910548879098,
          0.014273239984829026,
          0.014132968550678453,
          0.013965567498104672,
          0.013949028064095075,
          0.013820053248200175,
          0.013656181446776203,
          0.013736690460621304,
          0.013841643077738395
         ]
        }
       ],
       "layout": {
        "template": {
         "data": {
          "bar": [
           {
            "error_x": {
             "color": "#f2f5fa"
            },
            "error_y": {
             "color": "#f2f5fa"
            },
            "marker": {
             "line": {
              "color": "rgb(17,17,17)",
              "width": 0.5
             }
            },
            "type": "bar"
           }
          ],
          "barpolar": [
           {
            "marker": {
             "line": {
              "color": "rgb(17,17,17)",
              "width": 0.5
             }
            },
            "type": "barpolar"
           }
          ],
          "carpet": [
           {
            "aaxis": {
             "endlinecolor": "#A2B1C6",
             "gridcolor": "#506784",
             "linecolor": "#506784",
             "minorgridcolor": "#506784",
             "startlinecolor": "#A2B1C6"
            },
            "baxis": {
             "endlinecolor": "#A2B1C6",
             "gridcolor": "#506784",
             "linecolor": "#506784",
             "minorgridcolor": "#506784",
             "startlinecolor": "#A2B1C6"
            },
            "type": "carpet"
           }
          ],
          "choropleth": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "choropleth"
           }
          ],
          "contour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "contour"
           }
          ],
          "contourcarpet": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "contourcarpet"
           }
          ],
          "heatmap": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmap"
           }
          ],
          "heatmapgl": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmapgl"
           }
          ],
          "histogram": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "histogram"
           }
          ],
          "histogram2d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2d"
           }
          ],
          "histogram2dcontour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2dcontour"
           }
          ],
          "mesh3d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "mesh3d"
           }
          ],
          "parcoords": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "parcoords"
           }
          ],
          "pie": [
           {
            "automargin": true,
            "type": "pie"
           }
          ],
          "scatter": [
           {
            "marker": {
             "line": {
              "color": "#283442"
             }
            },
            "type": "scatter"
           }
          ],
          "scatter3d": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatter3d"
           }
          ],
          "scattercarpet": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattercarpet"
           }
          ],
          "scattergeo": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattergeo"
           }
          ],
          "scattergl": [
           {
            "marker": {
             "line": {
              "color": "#283442"
             }
            },
            "type": "scattergl"
           }
          ],
          "scattermapbox": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattermapbox"
           }
          ],
          "scatterpolar": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolar"
           }
          ],
          "scatterpolargl": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolargl"
           }
          ],
          "scatterternary": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterternary"
           }
          ],
          "surface": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "surface"
           }
          ],
          "table": [
           {
            "cells": {
             "fill": {
              "color": "#506784"
             },
             "line": {
              "color": "rgb(17,17,17)"
             }
            },
            "header": {
             "fill": {
              "color": "#2a3f5f"
             },
             "line": {
              "color": "rgb(17,17,17)"
             }
            },
            "type": "table"
           }
          ]
         },
         "layout": {
          "annotationdefaults": {
           "arrowcolor": "#f2f5fa",
           "arrowhead": 0,
           "arrowwidth": 1
          },
          "coloraxis": {
           "colorbar": {
            "outlinewidth": 0,
            "ticks": ""
           }
          },
          "colorscale": {
           "diverging": [
            [
             0,
             "#8e0152"
            ],
            [
             0.1,
             "#c51b7d"
            ],
            [
             0.2,
             "#de77ae"
            ],
            [
             0.3,
             "#f1b6da"
            ],
            [
             0.4,
             "#fde0ef"
            ],
            [
             0.5,
             "#f7f7f7"
            ],
            [
             0.6,
             "#e6f5d0"
            ],
            [
             0.7,
             "#b8e186"
            ],
            [
             0.8,
             "#7fbc41"
            ],
            [
             0.9,
             "#4d9221"
            ],
            [
             1,
             "#276419"
            ]
           ],
           "sequential": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ],
           "sequentialminus": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ]
          },
          "colorway": [
           "#636efa",
           "#EF553B",
           "#00cc96",
           "#ab63fa",
           "#FFA15A",
           "#19d3f3",
           "#FF6692",
           "#B6E880",
           "#FF97FF",
           "#FECB52"
          ],
          "font": {
           "color": "#f2f5fa"
          },
          "geo": {
           "bgcolor": "rgb(17,17,17)",
           "lakecolor": "rgb(17,17,17)",
           "landcolor": "rgb(17,17,17)",
           "showlakes": true,
           "showland": true,
           "subunitcolor": "#506784"
          },
          "hoverlabel": {
           "align": "left"
          },
          "hovermode": "closest",
          "mapbox": {
           "style": "dark"
          },
          "paper_bgcolor": "rgb(17,17,17)",
          "plot_bgcolor": "rgb(17,17,17)",
          "polar": {
           "angularaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "bgcolor": "rgb(17,17,17)",
           "radialaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           }
          },
          "scene": {
           "xaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           },
           "yaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           },
           "zaxis": {
            "backgroundcolor": "rgb(17,17,17)",
            "gridcolor": "#506784",
            "gridwidth": 2,
            "linecolor": "#506784",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "#C8D4E3"
           }
          },
          "shapedefaults": {
           "line": {
            "color": "#f2f5fa"
           }
          },
          "sliderdefaults": {
           "bgcolor": "#C8D4E3",
           "bordercolor": "rgb(17,17,17)",
           "borderwidth": 1,
           "tickwidth": 0
          },
          "ternary": {
           "aaxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "baxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           },
           "bgcolor": "rgb(17,17,17)",
           "caxis": {
            "gridcolor": "#506784",
            "linecolor": "#506784",
            "ticks": ""
           }
          },
          "title": {
           "x": 0.05
          },
          "updatemenudefaults": {
           "bgcolor": "#506784",
           "borderwidth": 0
          },
          "xaxis": {
           "automargin": true,
           "gridcolor": "#283442",
           "linecolor": "#506784",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "#283442",
           "zerolinewidth": 2
          },
          "yaxis": {
           "automargin": true,
           "gridcolor": "#283442",
           "linecolor": "#506784",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "#283442",
           "zerolinewidth": 2
          }
         }
        },
        "title": {
         "text": "RMSE for different k values"
        },
        "xaxis": {
         "title": {
          "text": "K neighbors"
         }
        },
        "yaxis": {
         "title": {
          "text": "RMSE"
         }
        }
       }
      },
      "text/html": [
       "<div>\n",
       "        \n",
       "        \n",
       "            <div id=\"f5654eb3-8cf2-4006-b66a-5e6fe51f2c7d\" class=\"plotly-graph-div\" style=\"height:525px; width:100%;\"></div>\n",
       "            <script type=\"text/javascript\">\n",
       "                require([\"plotly\"], function(Plotly) {\n",
       "                    window.PLOTLYENV=window.PLOTLYENV || {};\n",
       "                    \n",
       "                if (document.getElementById(\"f5654eb3-8cf2-4006-b66a-5e6fe51f2c7d\")) {\n",
       "                    Plotly.newPlot(\n",
       "                        'f5654eb3-8cf2-4006-b66a-5e6fe51f2c7d',\n",
       "                        [{\"name\": \"Test Accuracy\", \"type\": \"scatter\", \"x\": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15], \"y\": [0.01852998702421691, 0.016730370301974086, 0.015561124601268675, 0.015079585233315389, 0.014619906449366744, 0.014563291916530356, 0.014301910548879098, 0.014273239984829026, 0.014132968550678453, 0.013965567498104672, 0.013949028064095075, 0.013820053248200175, 0.013656181446776203, 0.013736690460621304, 0.013841643077738395]}],\n",
       "                        {\"template\": {\"data\": {\"bar\": [{\"error_x\": {\"color\": \"#f2f5fa\"}, \"error_y\": {\"color\": \"#f2f5fa\"}, \"marker\": {\"line\": {\"color\": \"rgb(17,17,17)\", \"width\": 0.5}}, \"type\": \"bar\"}], \"barpolar\": [{\"marker\": {\"line\": {\"color\": \"rgb(17,17,17)\", \"width\": 0.5}}, \"type\": \"barpolar\"}], \"carpet\": [{\"aaxis\": {\"endlinecolor\": \"#A2B1C6\", \"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"minorgridcolor\": \"#506784\", \"startlinecolor\": \"#A2B1C6\"}, \"baxis\": {\"endlinecolor\": \"#A2B1C6\", \"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"minorgridcolor\": \"#506784\", \"startlinecolor\": \"#A2B1C6\"}, \"type\": \"carpet\"}], \"choropleth\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"choropleth\"}], \"contour\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"contour\"}], \"contourcarpet\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"contourcarpet\"}], \"heatmap\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"heatmap\"}], \"heatmapgl\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"heatmapgl\"}], \"histogram\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"histogram\"}], \"histogram2d\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"histogram2d\"}], \"histogram2dcontour\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"histogram2dcontour\"}], \"mesh3d\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"type\": \"mesh3d\"}], \"parcoords\": [{\"line\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"parcoords\"}], \"pie\": [{\"automargin\": true, \"type\": \"pie\"}], \"scatter\": [{\"marker\": {\"line\": {\"color\": \"#283442\"}}, \"type\": \"scatter\"}], \"scatter3d\": [{\"line\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatter3d\"}], \"scattercarpet\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattercarpet\"}], \"scattergeo\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattergeo\"}], \"scattergl\": [{\"marker\": {\"line\": {\"color\": \"#283442\"}}, \"type\": \"scattergl\"}], \"scattermapbox\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scattermapbox\"}], \"scatterpolar\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterpolar\"}], \"scatterpolargl\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterpolargl\"}], \"scatterternary\": [{\"marker\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"type\": \"scatterternary\"}], \"surface\": [{\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}, \"colorscale\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"type\": \"surface\"}], \"table\": [{\"cells\": {\"fill\": {\"color\": \"#506784\"}, \"line\": {\"color\": \"rgb(17,17,17)\"}}, \"header\": {\"fill\": {\"color\": \"#2a3f5f\"}, \"line\": {\"color\": \"rgb(17,17,17)\"}}, \"type\": \"table\"}]}, \"layout\": {\"annotationdefaults\": {\"arrowcolor\": \"#f2f5fa\", \"arrowhead\": 0, \"arrowwidth\": 1}, \"coloraxis\": {\"colorbar\": {\"outlinewidth\": 0, \"ticks\": \"\"}}, \"colorscale\": {\"diverging\": [[0, \"#8e0152\"], [0.1, \"#c51b7d\"], [0.2, \"#de77ae\"], [0.3, \"#f1b6da\"], [0.4, \"#fde0ef\"], [0.5, \"#f7f7f7\"], [0.6, \"#e6f5d0\"], [0.7, \"#b8e186\"], [0.8, \"#7fbc41\"], [0.9, \"#4d9221\"], [1, \"#276419\"]], \"sequential\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]], \"sequentialminus\": [[0.0, \"#0d0887\"], [0.1111111111111111, \"#46039f\"], [0.2222222222222222, \"#7201a8\"], [0.3333333333333333, \"#9c179e\"], [0.4444444444444444, \"#bd3786\"], [0.5555555555555556, \"#d8576b\"], [0.6666666666666666, \"#ed7953\"], [0.7777777777777778, \"#fb9f3a\"], [0.8888888888888888, \"#fdca26\"], [1.0, \"#f0f921\"]]}, \"colorway\": [\"#636efa\", \"#EF553B\", \"#00cc96\", \"#ab63fa\", \"#FFA15A\", \"#19d3f3\", \"#FF6692\", \"#B6E880\", \"#FF97FF\", \"#FECB52\"], \"font\": {\"color\": \"#f2f5fa\"}, \"geo\": {\"bgcolor\": \"rgb(17,17,17)\", \"lakecolor\": \"rgb(17,17,17)\", \"landcolor\": \"rgb(17,17,17)\", \"showlakes\": true, \"showland\": true, \"subunitcolor\": \"#506784\"}, \"hoverlabel\": {\"align\": \"left\"}, \"hovermode\": \"closest\", \"mapbox\": {\"style\": \"dark\"}, \"paper_bgcolor\": \"rgb(17,17,17)\", \"plot_bgcolor\": \"rgb(17,17,17)\", \"polar\": {\"angularaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"bgcolor\": \"rgb(17,17,17)\", \"radialaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}}, \"scene\": {\"xaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}, \"yaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}, \"zaxis\": {\"backgroundcolor\": \"rgb(17,17,17)\", \"gridcolor\": \"#506784\", \"gridwidth\": 2, \"linecolor\": \"#506784\", \"showbackground\": true, \"ticks\": \"\", \"zerolinecolor\": \"#C8D4E3\"}}, \"shapedefaults\": {\"line\": {\"color\": \"#f2f5fa\"}}, \"sliderdefaults\": {\"bgcolor\": \"#C8D4E3\", \"bordercolor\": \"rgb(17,17,17)\", \"borderwidth\": 1, \"tickwidth\": 0}, \"ternary\": {\"aaxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"baxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}, \"bgcolor\": \"rgb(17,17,17)\", \"caxis\": {\"gridcolor\": \"#506784\", \"linecolor\": \"#506784\", \"ticks\": \"\"}}, \"title\": {\"x\": 0.05}, \"updatemenudefaults\": {\"bgcolor\": \"#506784\", \"borderwidth\": 0}, \"xaxis\": {\"automargin\": true, \"gridcolor\": \"#283442\", \"linecolor\": \"#506784\", \"ticks\": \"\", \"title\": {\"standoff\": 15}, \"zerolinecolor\": \"#283442\", \"zerolinewidth\": 2}, \"yaxis\": {\"automargin\": true, \"gridcolor\": \"#283442\", \"linecolor\": \"#506784\", \"ticks\": \"\", \"title\": {\"standoff\": 15}, \"zerolinecolor\": \"#283442\", \"zerolinewidth\": 2}}}, \"title\": {\"text\": \"RMSE for different k values\"}, \"xaxis\": {\"title\": {\"text\": \"K neighbors\"}}, \"yaxis\": {\"title\": {\"text\": \"RMSE\"}}},\n",
       "                        {\"responsive\": true}\n",
       "                    ).then(function(){\n",
       "                            \n",
       "var gd = document.getElementById('f5654eb3-8cf2-4006-b66a-5e6fe51f2c7d');\n",
       "var x = new MutationObserver(function (mutations, observer) {{\n",
       "        var display = window.getComputedStyle(gd).display;\n",
       "        if (!display || display === 'none') {{\n",
       "            console.log([gd, 'removed!']);\n",
       "            Plotly.purge(gd);\n",
       "            observer.disconnect();\n",
       "        }}\n",
       "}});\n",
       "\n",
       "// Listen for the removal of the full notebook cells\n",
       "var notebookContainer = gd.closest('#notebook-container');\n",
       "if (notebookContainer) {{\n",
       "    x.observe(notebookContainer, {childList: true});\n",
       "}}\n",
       "\n",
       "// Listen for the clearing of the current output cell\n",
       "var outputEl = gd.closest('.output');\n",
       "if (outputEl) {{\n",
       "    x.observe(outputEl, {childList: true});\n",
       "}}\n",
       "\n",
       "                        })\n",
       "                };\n",
       "                });\n",
       "            </script>\n",
       "        </div>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Plot RMSE for values of k to see which k minimizes the error\n",
    "rmse_value = []\n",
    "\n",
    "for k in np.arange(1,16):\n",
    "    \n",
    "    knn = KNeighborsRegressor(n_neighbors = k)\n",
    "    knn.fit(X_train, y_train)\n",
    "    pred = knn.predict(X_test)\n",
    "    error = math.sqrt(mean_squared_error(y_test, pred))\n",
    "    rmse_value.append(error)\n",
    "    \n",
    "#Plot only for test set\n",
    "fig = go.Figure()\n",
    "fig.add_trace(go.Scatter(x=np.arange(1,16), y=rmse_value, name='Test Accuracy'))\n",
    "#fig.add_trace(go.Scatter(x=np.arange(1,20),y = train_accuracy, name = 'Train Accuracy'))\n",
    "\n",
    "fig.update_layout(template='plotly_dark', xaxis_title=\"K neighbors\", title='RMSE for different k values',\n",
    "                  yaxis_title=\"RMSE\")\n",
    "\n",
    "fig.show(width=600, height=600)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "So now we have seen how k-NN can be applied in a regression setting. Based on this example, it is pretty clear that k-NN might not be the best model when it comes to predicting Yield.\n",
    "\n",
    "What may be the reasons for such poor model performance? One reason may be that the variables selected may not contain much predictive power when it comes to predicting Yield. Also, recall what k-NN does in a regression setting. It takes the average of the k nearest neighbors. So essentially, it takes the average of the closest Yields, which likely vary significantly even for bonds that share similar fundamental characteristics."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Summary of what we learned about k-NN.\n",
    "\n",
    "The k-NN algorithm is not parametric, so it makes no assumptions about the underlying data.  As the above examples show, k-NN is an easy algorithm to implement and very intuitive to understand.  We also learned that k-NN works for both regression and classification, although the algorithm tends to be used for classification more frequently in practice.\n",
    "\n",
    "Some negatives associated with k-NN is that it can be sensitive to outliers and the magnitude of the features.  This must be taken into consideration and is why preprocessing of features should be done before passing them to the algorithm.  Because the model must store all the data to calculate the distances, k-NN uses a lot of memory.  As the dataset grows, the speed of the k-NN algorithm will decline."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Additional Resources"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "\n",
    "\n",
    "### k-NN from scratch\n",
    "\n",
    "#### 1. Euclidean Distance\n",
    "#### 2. Locate neighbors\n",
    "#### 3. Make Predictions"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 521,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Issuer Name</th>\n",
       "      <th>Symbol</th>\n",
       "      <th>Callable</th>\n",
       "      <th>Sub-Product Type</th>\n",
       "      <th>Coupon</th>\n",
       "      <th>Maturity</th>\n",
       "      <th>Moody's®</th>\n",
       "      <th>S&amp;P</th>\n",
       "      <th>Price</th>\n",
       "      <th>Yield</th>\n",
       "      <th>Maturity Years</th>\n",
       "      <th>Duration</th>\n",
       "      <th>Operating Margin</th>\n",
       "      <th>Current ratio</th>\n",
       "      <th>EV/Revenue</th>\n",
       "      <th>Return on Assets</th>\n",
       "      <th>Return on Equity</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>6324</th>\n",
       "      <td>XEROX HLDGS CORP</td>\n",
       "      <td>XPO</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.0675</td>\n",
       "      <td>08/15/2024</td>\n",
       "      <td>Ba3</td>\n",
       "      <td>B</td>\n",
       "      <td>103.420</td>\n",
       "      <td>0.02530</td>\n",
       "      <td>3.019444</td>\n",
       "      <td>0.187830</td>\n",
       "      <td>0.0528</td>\n",
       "      <td>1.02</td>\n",
       "      <td>0.90</td>\n",
       "      <td>0.0395</td>\n",
       "      <td>0.1792</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2285</th>\n",
       "      <td>FORESTAR GROUP INC</td>\n",
       "      <td>DHI</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.0500</td>\n",
       "      <td>03/01/2028</td>\n",
       "      <td>B1</td>\n",
       "      <td>B</td>\n",
       "      <td>104.055</td>\n",
       "      <td>0.03839</td>\n",
       "      <td>6.613889</td>\n",
       "      <td>0.858466</td>\n",
       "      <td>0.1806</td>\n",
       "      <td>5.87</td>\n",
       "      <td>1.41</td>\n",
       "      <td>0.1480</td>\n",
       "      <td>0.2889</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>891</th>\n",
       "      <td>CHURCHILL DOWNS INC</td>\n",
       "      <td>CHDN</td>\n",
       "      <td>Yes</td>\n",
       "      <td>Corporate Bond</td>\n",
       "      <td>0.0550</td>\n",
       "      <td>04/01/2027</td>\n",
       "      <td>B1</td>\n",
       "      <td>B</td>\n",
       "      <td>103.884</td>\n",
       "      <td>0.03472</td>\n",
       "      <td>5.683333</td>\n",
       "      <td>0.701377</td>\n",
       "      <td>0.1828</td>\n",
       "      <td>1.44</td>\n",
       "      <td>6.12</td>\n",
       "      <td>0.0538</td>\n",
       "      <td>0.6371</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "              Issuer Name Symbol Callable Sub-Product Type  Coupon  \\\n",
       "6324     XEROX HLDGS CORP    XPO      Yes   Corporate Bond  0.0675   \n",
       "2285   FORESTAR GROUP INC    DHI      Yes   Corporate Bond  0.0500   \n",
       "891   CHURCHILL DOWNS INC   CHDN      Yes   Corporate Bond  0.0550   \n",
       "\n",
       "        Maturity Moody's® S&P    Price    Yield  Maturity Years  Duration  \\\n",
       "6324  08/15/2024      Ba3   B  103.420  0.02530        3.019444  0.187830   \n",
       "2285  03/01/2028       B1   B  104.055  0.03839        6.613889  0.858466   \n",
       "891   04/01/2027       B1   B  103.884  0.03472        5.683333  0.701377   \n",
       "\n",
       "      Operating Margin  Current ratio  EV/Revenue  Return on Assets  \\\n",
       "6324            0.0528           1.02        0.90            0.0395   \n",
       "2285            0.1806           5.87        1.41            0.1480   \n",
       "891             0.1828           1.44        6.12            0.0538   \n",
       "\n",
       "      Return on Equity  \n",
       "6324            0.1792  \n",
       "2285            0.2889  \n",
       "891             0.6371  "
      ]
     },
     "execution_count": 521,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#Filter our data for BBB & B ratings only\n",
    "df_BBBandB = df_ratings[df_ratings['S&P'].isin(['BBB','B'])]\n",
    "df_BBBandB.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 522,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Convert data to numpy array\n",
    "test_data = df_BBBandB[['EV/Revenue','Current ratio','S&P']].to_numpy()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1. Calculate Euclidean distance between two vectors"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 523,
   "metadata": {},
   "outputs": [],
   "source": [
    "def euclidean_distance(point1, point2):\n",
    "    sum_squared_distance = 0\n",
    "    for i in range(len(point1) - 1):\n",
    "        sum_squared_distance += math.pow(point1[i] - point2[i], 2)\n",
    "    return math.sqrt(sum_squared_distance)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Visualize 1st row in a test_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 524,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([1.19, 1.88, 'B'], dtype=object)"
      ]
     },
     "execution_count": 524,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 1st row in the test_data\n",
    "test_row = test_data[5]\n",
    "test_row"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "2. Get k nearest neighbors"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 525,
   "metadata": {},
   "outputs": [],
   "source": [
    "def locate_neighbors(train, test_row, k):\n",
    "    distances = []\n",
    "    for train_row in train:\n",
    "        dist = euclidean_distance(test_row, train_row)\n",
    "        distances.append((train_row, dist))\n",
    "    distances.sort(key = lambda tup : tup[1])\n",
    "    neighbors = []\n",
    "    for i in range(k):\n",
    "        neighbors.append(distances[i][0])\n",
    "    return neighbors"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "3. Predict"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 526,
   "metadata": {},
   "outputs": [],
   "source": [
    "def make_prediction(train, test_row, k):\n",
    "    neighbors = locate_neighbors(train, test_row , k)\n",
    "    output = [row[-1] for row in neighbors]\n",
    "    prediction = max(set(output), key = output.count)\n",
    "    return prediction"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 527,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Expected: B Predicted: B\n"
     ]
    }
   ],
   "source": [
    "prediction = make_prediction(test_data, test_row, 3)\n",
    "print( \"Expected:\", test_data[0][-1], 'Predicted:', prediction)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Python Libraries\n",
    "\n",
    "Scikit train_test_split:\n",
    "https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html\n",
    "\n",
    "Scikit k-NN:\n",
    "https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsClassifier.html\n",
    "    \n",
    "Scikit k-NN Regressor: \n",
    "https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsRegressor.html#sklearn.neighbors.KNeighborsRegressor\n",
    "\n",
    "Scikit Normalization:\n",
    "https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.MinMaxScaler.html\n",
    "\n",
    "    \n",
    "    \n",
    "#### Helpful Blog Posts\n",
    "\n",
    "Machine Learning for Investing:\n",
    "https://hdonnelly6.medium.com/list/machine-learning-for-investing-7f2690bb1826\n",
    "\n",
    "A Complete Machine Learning Project Walk-Through in Python:\n",
    "https://towardsdatascience.com/a-complete-machine-learning-walk-through-in-python-part-one-c62152f39420\n",
    "\n",
    "k-NN from Scratch:\n",
    "https://machinelearningmastery.com/tutorial-to-implement-k-nearest-neighbors-in-python-from-scratch/\n",
    "\n",
    "Normalization vs Standardization:\n",
    "https://towardsdatascience.com/normalization-vs-standardization-quantitative-analysis-a91e8a79cebf\n",
    "    \n",
    "A Practical Introduction:\n",
    "https://www.analyticsvidhya.com/blog/2018/08/k-nearest-neighbor-introduction-regression-python/"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}