hypertune/optuna.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Click [here](https://medium.com/@morihosseini/hyperparameter-optimization-with-optuna-d5b50e22f4d6) to access the associated Medium article."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Setup"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Note: you may need to restart the kernel to use updated packages.\n"
     ]
    }
   ],
   "source": [
    "%pip install -qU pip optuna scikit-learn"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "import optuna\n",
    "from sklearn.datasets import load_iris\n",
    "from sklearn.model_selection import train_test_split\n",
    "from sklearn.ensemble import RandomForestClassifier\n",
    "from sklearn.metrics import accuracy_score\n",
    "\n",
    "SEED = 77"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "X_train:\n",
      "[[6.3 2.5 4.9 1.5]\n",
      " [7.2 3.  5.8 1.6]\n",
      " [5.3 3.7 1.5 0.2]]...\n",
      "\n",
      "y_train:\n",
      "[1 2 0]...\n",
      "\n",
      "X_val:\n",
      "[[5.8 2.7 3.9 1.2]\n",
      " [6.3 2.8 5.1 1.5]\n",
      " [5.7 2.5 5.  2. ]]...\n",
      "\n",
      "y_val:\n",
      "[1 2 2]...\n",
      "\n"
     ]
    }
   ],
   "source": [
    "iris = load_iris()\n",
    "X, y = iris.data, iris.target\n",
    "\n",
    "X_train, X_val, y_train, y_val = train_test_split(\n",
    "    X, y, test_size=0.2, random_state=SEED\n",
    ")\n",
    "\n",
    "# The first 3 elements\n",
    "print(f\"X_train:\\n{X_train[:3]}...\\n\")\n",
    "print(f\"y_train:\\n{y_train[:3]}...\\n\")\n",
    "print(f\"X_val:\\n{X_val[:3]}...\\n\")\n",
    "print(f\"y_val:\\n{y_val[:3]}...\\n\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Objective function"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "def objective(trial):\n",
    "    # Hyperparameters to optimize\n",
    "    n_estimators = trial.suggest_int(\"n_estimators\", 10, 100)\n",
    "    max_depth = trial.suggest_int(\"max_depth\", 3, 20)\n",
    "    min_samples_split = trial.suggest_float(\"min_samples_split\", 0.1, 1.0)\n",
    "    \n",
    "    # Create and train the model\n",
    "    model = RandomForestClassifier(\n",
    "        n_estimators=n_estimators,\n",
    "        max_depth=max_depth,\n",
    "        min_samples_split=min_samples_split,\n",
    "        random_state=SEED\n",
    "    )\n",
    "    model.fit(X_train, y_train)\n",
    "    \n",
    "    # Evaluate on validation set\n",
    "    val_preds = model.predict(X_val)\n",
    "    val_accuracy = accuracy_score(y_val, val_preds)\n",
    "    \n",
    "    # Our goal: maximize accuracy!\n",
    "    return val_accuracy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Study"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[I 2024-02-12 11:56:10,802] A new study created in memory with name: no-name-8134c441-bdcf-452a-9ed5-ae0c8722c345\n",
      "[I 2024-02-12 11:56:10,877] Trial 0 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 65, 'max_depth': 12, 'min_samples_split': 0.3146680813827415}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:10,968] Trial 1 finished with value: 0.3 and parameters: {'n_estimators': 93, 'max_depth': 11, 'min_samples_split': 0.7188358544224039}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:11,068] Trial 2 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 97, 'max_depth': 3, 'min_samples_split': 0.17517568716403698}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:11,160] Trial 3 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 86, 'max_depth': 8, 'min_samples_split': 0.45606563440411874}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:11,208] Trial 4 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 45, 'max_depth': 5, 'min_samples_split': 0.5821986584055399}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:11,304] Trial 5 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 96, 'max_depth': 16, 'min_samples_split': 0.35485990114894905}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:11,401] Trial 6 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 89, 'max_depth': 17, 'min_samples_split': 0.7260042053870767}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:11,434] Trial 7 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 29, 'max_depth': 19, 'min_samples_split': 0.43548906020140565}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:11,505] Trial 8 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 66, 'max_depth': 3, 'min_samples_split': 0.10689194450118984}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:11,601] Trial 9 finished with value: 0.3 and parameters: {'n_estimators': 97, 'max_depth': 3, 'min_samples_split': 0.725689241454967}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:11,675] Trial 10 finished with value: 0.3 and parameters: {'n_estimators': 62, 'max_depth': 14, 'min_samples_split': 0.9766610273413818}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:11,764] Trial 11 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 75, 'max_depth': 10, 'min_samples_split': 0.16386916347052358}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:11,822] Trial 12 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 44, 'max_depth': 7, 'min_samples_split': 0.25124635454746674}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:11,848] Trial 13 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 12, 'max_depth': 13, 'min_samples_split': 0.24393339863803537}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:11,937] Trial 14 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 75, 'max_depth': 9, 'min_samples_split': 0.3011322500488195}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:12,001] Trial 15 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 50, 'max_depth': 13, 'min_samples_split': 0.10254123492916456}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:12,092] Trial 16 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 78, 'max_depth': 6, 'min_samples_split': 0.4065872528201119}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:12,138] Trial 17 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 31, 'max_depth': 20, 'min_samples_split': 0.5284956263208898}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:12,212] Trial 18 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 60, 'max_depth': 15, 'min_samples_split': 0.20896415134059537}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:12,305] Trial 19 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 80, 'max_depth': 12, 'min_samples_split': 0.3295294565454128}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:12,353] Trial 20 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 33, 'max_depth': 5, 'min_samples_split': 0.6041037517415758}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:12,459] Trial 21 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 86, 'max_depth': 9, 'min_samples_split': 0.45457138931341434}. Best is trial 0 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:56:12,574] Trial 22 finished with value: 0.9 and parameters: {'n_estimators': 100, 'max_depth': 8, 'min_samples_split': 0.48466179436910944}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:12,693] Trial 23 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 99, 'max_depth': 11, 'min_samples_split': 0.3129223567344973}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:12,797] Trial 24 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 85, 'max_depth': 5, 'min_samples_split': 0.18882127156995182}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:12,879] Trial 25 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 68, 'max_depth': 7, 'min_samples_split': 0.5460842590781649}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:12,992] Trial 26 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 100, 'max_depth': 3, 'min_samples_split': 0.36987190347995114}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:13,074] Trial 27 finished with value: 0.5666666666666667 and parameters: {'n_estimators': 69, 'max_depth': 9, 'min_samples_split': 0.6658266742110774}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:13,101] Trial 28 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 12, 'max_depth': 7, 'min_samples_split': 0.8374245403088417}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:13,231] Trial 29 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 92, 'max_depth': 11, 'min_samples_split': 0.5168943514241053}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:13,316] Trial 30 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 56, 'max_depth': 4, 'min_samples_split': 0.15474285494953113}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:13,429] Trial 31 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 83, 'max_depth': 8, 'min_samples_split': 0.48417912076938263}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:13,532] Trial 32 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 88, 'max_depth': 10, 'min_samples_split': 0.4111504333388742}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:13,637] Trial 33 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 92, 'max_depth': 12, 'min_samples_split': 0.6092190612267125}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:13,744] Trial 34 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 94, 'max_depth': 6, 'min_samples_split': 0.24843508021667937}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:13,858] Trial 35 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 100, 'max_depth': 16, 'min_samples_split': 0.2732030915287241}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:13,945] Trial 36 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 73, 'max_depth': 8, 'min_samples_split': 0.3989857043069232}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:14,049] Trial 37 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 91, 'max_depth': 10, 'min_samples_split': 0.47294204018993696}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:14,145] Trial 38 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 81, 'max_depth': 4, 'min_samples_split': 0.372589450437414}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:14,253] Trial 39 finished with value: 0.5666666666666667 and parameters: {'n_estimators': 95, 'max_depth': 18, 'min_samples_split': 0.6679403870375645}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:14,309] Trial 40 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 41, 'max_depth': 14, 'min_samples_split': 0.34128975656673144}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:14,411] Trial 41 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 88, 'max_depth': 17, 'min_samples_split': 0.46375202547862854}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:14,532] Trial 42 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 96, 'max_depth': 15, 'min_samples_split': 0.1532308691343583}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:14,636] Trial 43 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 89, 'max_depth': 13, 'min_samples_split': 0.2819901254248765}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:14,745] Trial 44 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 95, 'max_depth': 18, 'min_samples_split': 0.22018109043162376}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:14,824] Trial 45 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 63, 'max_depth': 6, 'min_samples_split': 0.35315474450692463}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:14,912] Trial 46 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 74, 'max_depth': 8, 'min_samples_split': 0.41803556485785376}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:14,979] Trial 47 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 52, 'max_depth': 4, 'min_samples_split': 0.5749346020442531}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:15,078] Trial 48 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 83, 'max_depth': 14, 'min_samples_split': 0.2994941151388527}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:15,118] Trial 49 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 21, 'max_depth': 20, 'min_samples_split': 0.5017868634061566}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:15,212] Trial 50 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 78, 'max_depth': 10, 'min_samples_split': 0.43770673791196146}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:15,264] Trial 51 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 35, 'max_depth': 19, 'min_samples_split': 0.3736199186139945}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:15,302] Trial 52 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 22, 'max_depth': 16, 'min_samples_split': 0.43982754587952183}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:15,363] Trial 53 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 45, 'max_depth': 19, 'min_samples_split': 0.32053138837684986}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:15,482] Trial 54 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 97, 'max_depth': 12, 'min_samples_split': 0.5706930346737707}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:15,595] Trial 55 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 98, 'max_depth': 17, 'min_samples_split': 0.11322469099067373}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:15,630] Trial 56 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 17, 'max_depth': 15, 'min_samples_split': 0.21635444136576282}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:15,703] Trial 57 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 58, 'max_depth': 9, 'min_samples_split': 0.5321292285067822}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:15,802] Trial 58 finished with value: 0.3 and parameters: {'n_estimators': 85, 'max_depth': 13, 'min_samples_split': 0.8491338564385121}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:15,846] Trial 59 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 27, 'max_depth': 7, 'min_samples_split': 0.3942599061845645}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:15,951] Trial 60 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 91, 'max_depth': 3, 'min_samples_split': 0.4956935122651255}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:16,030] Trial 61 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 64, 'max_depth': 5, 'min_samples_split': 0.12415160758680584}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:16,117] Trial 62 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 70, 'max_depth': 4, 'min_samples_split': 0.19608004890736178}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:16,198] Trial 63 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 65, 'max_depth': 3, 'min_samples_split': 0.269957725393545}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:16,269] Trial 64 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 54, 'max_depth': 5, 'min_samples_split': 0.17548383278523325}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:16,333] Trial 65 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 48, 'max_depth': 3, 'min_samples_split': 0.14955963082574592}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:16,392] Trial 66 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 40, 'max_depth': 16, 'min_samples_split': 0.23421721906362464}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:16,491] Trial 67 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 77, 'max_depth': 6, 'min_samples_split': 0.4289670086149209}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:16,608] Trial 68 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 99, 'max_depth': 11, 'min_samples_split': 0.10257944998682218}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:16,685] Trial 69 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 60, 'max_depth': 18, 'min_samples_split': 0.3559799671774046}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:16,776] Trial 70 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 72, 'max_depth': 7, 'min_samples_split': 0.13334753976284325}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:16,859] Trial 71 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 66, 'max_depth': 9, 'min_samples_split': 0.190007437820464}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:16,943] Trial 72 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 68, 'max_depth': 8, 'min_samples_split': 0.17057230450863362}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:17,052] Trial 73 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 93, 'max_depth': 10, 'min_samples_split': 0.46210290516436586}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:17,156] Trial 74 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 81, 'max_depth': 12, 'min_samples_split': 0.2982242369427726}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:17,262] Trial 75 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 87, 'max_depth': 9, 'min_samples_split': 0.2546501596291554}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:17,352] Trial 76 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 76, 'max_depth': 14, 'min_samples_split': 0.6082580209802311}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:17,458] Trial 77 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 90, 'max_depth': 11, 'min_samples_split': 0.400354830486524}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:17,575] Trial 78 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 95, 'max_depth': 20, 'min_samples_split': 0.5164446019017304}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:17,651] Trial 79 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 61, 'max_depth': 8, 'min_samples_split': 0.997461189620445}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:17,747] Trial 80 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 80, 'max_depth': 10, 'min_samples_split': 0.37956959409183944}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:17,793] Trial 81 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 28, 'max_depth': 7, 'min_samples_split': 0.3276356001913453}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:17,846] Trial 82 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 36, 'max_depth': 4, 'min_samples_split': 0.23012506896522375}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:17,933] Trial 83 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 70, 'max_depth': 6, 'min_samples_split': 0.2595462460555974}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:17,999] Trial 84 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 48, 'max_depth': 9, 'min_samples_split': 0.28668864445717446}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:18,115] Trial 85 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 100, 'max_depth': 8, 'min_samples_split': 0.1380637527072102}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:18,187] Trial 86 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 56, 'max_depth': 5, 'min_samples_split': 0.17181530665194583}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:18,286] Trial 87 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 83, 'max_depth': 7, 'min_samples_split': 0.1993030540991611}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:18,399] Trial 88 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 97, 'max_depth': 19, 'min_samples_split': 0.47893853838084977}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:18,516] Trial 89 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 93, 'max_depth': 13, 'min_samples_split': 0.33870633236459136}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:18,575] Trial 90 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 41, 'max_depth': 17, 'min_samples_split': 0.5487094524010259}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:18,664] Trial 91 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 72, 'max_depth': 9, 'min_samples_split': 0.30700585041437123}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:18,760] Trial 92 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 79, 'max_depth': 8, 'min_samples_split': 0.44263391123376505}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:18,852] Trial 93 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 75, 'max_depth': 10, 'min_samples_split': 0.2128194328047278}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:18,936] Trial 94 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 67, 'max_depth': 15, 'min_samples_split': 0.24327192649325546}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:19,037] Trial 95 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 85, 'max_depth': 10, 'min_samples_split': 0.35032038359807294}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:19,143] Trial 96 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 89, 'max_depth': 3, 'min_samples_split': 0.4188087092575164}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:19,256] Trial 97 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 97, 'max_depth': 8, 'min_samples_split': 0.284594211567275}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:19,332] Trial 98 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 59, 'max_depth': 6, 'min_samples_split': 0.38599015615782106}. Best is trial 22 with value: 0.9.\n",
      "[I 2024-02-12 11:56:19,405] Trial 99 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 54, 'max_depth': 11, 'min_samples_split': 0.16165709051161997}. Best is trial 22 with value: 0.9.\n"
     ]
    }
   ],
   "source": [
    "study = optuna.create_study(direction=\"maximize\")  # Maximize accuracy\n",
    "study.optimize(objective, n_trials=100)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# TPE (Tree-structured Parzen Estimator)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[I 2024-02-12 11:50:04,668] A new study created in memory with name: no-name-406e0cce-60e6-4420-8aeb-82c4bef5c2a8\n",
      "[I 2024-02-12 11:50:04,735] Trial 0 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 37, 'max_depth': 7, 'min_samples_split': 0.7885613884209568}. Best is trial 0 with value: 0.26666666666666666.\n",
      "[I 2024-02-12 11:50:04,754] Trial 1 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 15, 'max_depth': 5, 'min_samples_split': 0.6731251336910595}. Best is trial 0 with value: 0.26666666666666666.\n",
      "[I 2024-02-12 11:50:04,849] Trial 2 finished with value: 0.3 and parameters: {'n_estimators': 86, 'max_depth': 12, 'min_samples_split': 0.7460270374607401}. Best is trial 2 with value: 0.3.\n",
      "[I 2024-02-12 11:50:04,942] Trial 3 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 90, 'max_depth': 13, 'min_samples_split': 0.716405481517271}. Best is trial 2 with value: 0.3.\n",
      "[I 2024-02-12 11:50:04,968] Trial 4 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 21, 'max_depth': 12, 'min_samples_split': 0.48287034255008887}. Best is trial 4 with value: 0.8333333333333334.\n",
      "[I 2024-02-12 11:50:05,020] Trial 5 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 47, 'max_depth': 3, 'min_samples_split': 0.726478992651686}. Best is trial 4 with value: 0.8333333333333334.\n",
      "[I 2024-02-12 11:50:05,109] Trial 6 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 87, 'max_depth': 14, 'min_samples_split': 0.768396315939089}. Best is trial 4 with value: 0.8333333333333334.\n",
      "[I 2024-02-12 11:50:05,208] Trial 7 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 95, 'max_depth': 8, 'min_samples_split': 0.3373147582832043}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:05,283] Trial 8 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 72, 'max_depth': 8, 'min_samples_split': 0.49152076642861253}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:05,322] Trial 9 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 35, 'max_depth': 3, 'min_samples_split': 0.7564786664033339}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:05,405] Trial 10 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 67, 'max_depth': 19, 'min_samples_split': 0.2036385211184671}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:05,484] Trial 11 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 64, 'max_depth': 8, 'min_samples_split': 0.3983512087328144}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:05,593] Trial 12 finished with value: 0.3 and parameters: {'n_estimators': 98, 'max_depth': 8, 'min_samples_split': 0.9995775538032676}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:05,744] Trial 13 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 74, 'max_depth': 10, 'min_samples_split': 0.21481520882185579}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:05,840] Trial 14 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 74, 'max_depth': 16, 'min_samples_split': 0.3589117857147432}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:05,911] Trial 15 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 56, 'max_depth': 10, 'min_samples_split': 0.11021126290158112}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:06,023] Trial 16 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 100, 'max_depth': 6, 'min_samples_split': 0.5685161022131227}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:06,117] Trial 17 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 80, 'max_depth': 10, 'min_samples_split': 0.3436789460580176}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:06,185] Trial 18 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 54, 'max_depth': 5, 'min_samples_split': 0.5477760737441346}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:06,291] Trial 19 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 92, 'max_depth': 15, 'min_samples_split': 0.26028696279115454}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:06,405] Trial 20 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 79, 'max_depth': 9, 'min_samples_split': 0.4581553074075378}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:06,506] Trial 21 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 67, 'max_depth': 20, 'min_samples_split': 0.25365641571188685}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:06,590] Trial 22 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 65, 'max_depth': 20, 'min_samples_split': 0.15268452402359106}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:06,665] Trial 23 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 56, 'max_depth': 18, 'min_samples_split': 0.30390796084741845}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:06,756] Trial 24 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 74, 'max_depth': 17, 'min_samples_split': 0.4242490489191446}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:06,823] Trial 25 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 44, 'max_depth': 11, 'min_samples_split': 0.19026261324533997}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:06,918] Trial 26 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 81, 'max_depth': 6, 'min_samples_split': 0.5521616452781566}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,001] Trial 27 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 68, 'max_depth': 8, 'min_samples_split': 0.30436637527042054}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,111] Trial 28 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 94, 'max_depth': 18, 'min_samples_split': 0.10904259304446219}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,184] Trial 29 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 58, 'max_depth': 7, 'min_samples_split': 0.6171141894193716}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,228] Trial 30 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 28, 'max_depth': 13, 'min_samples_split': 0.857754283552912}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,305] Trial 31 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 62, 'max_depth': 8, 'min_samples_split': 0.40439616522355987}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,367] Trial 32 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 47, 'max_depth': 6, 'min_samples_split': 0.4982054696476965}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,454] Trial 33 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 71, 'max_depth': 9, 'min_samples_split': 0.3861345458114625}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,533] Trial 34 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 62, 'max_depth': 4, 'min_samples_split': 0.27966683232338113}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,599] Trial 35 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 50, 'max_depth': 11, 'min_samples_split': 0.45679537979783486}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,699] Trial 36 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 86, 'max_depth': 7, 'min_samples_split': 0.3399284202968314}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,728] Trial 37 finished with value: 0.4666666666666667 and parameters: {'n_estimators': 12, 'max_depth': 13, 'min_samples_split': 0.660158508900753}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,781] Trial 38 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 39, 'max_depth': 9, 'min_samples_split': 0.21444953638278436}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,886] Trial 39 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 84, 'max_depth': 5, 'min_samples_split': 0.519962234509439}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:07,979] Trial 40 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 78, 'max_depth': 7, 'min_samples_split': 0.4328606533510449}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:08,070] Trial 41 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 75, 'max_depth': 10, 'min_samples_split': 0.2021529321862006}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:08,155] Trial 42 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 70, 'max_depth': 8, 'min_samples_split': 0.15827395719198675}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:08,232] Trial 43 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 61, 'max_depth': 12, 'min_samples_split': 0.23411686835277568}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:08,338] Trial 44 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 90, 'max_depth': 9, 'min_samples_split': 0.35199912721566773}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:08,449] Trial 45 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 96, 'max_depth': 10, 'min_samples_split': 0.3003614018268048}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:08,538] Trial 46 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 72, 'max_depth': 11, 'min_samples_split': 0.14888835403367456}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:08,605] Trial 47 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 51, 'max_depth': 14, 'min_samples_split': 0.3604923653023533}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:08,703] Trial 48 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 83, 'max_depth': 8, 'min_samples_split': 0.4787646944525946}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:08,783] Trial 49 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 64, 'max_depth': 6, 'min_samples_split': 0.5988251998278934}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:08,893] Trial 50 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 88, 'max_depth': 4, 'min_samples_split': 0.24379758901097914}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:08,988] Trial 51 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 77, 'max_depth': 16, 'min_samples_split': 0.37918056076566153}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:09,072] Trial 52 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 67, 'max_depth': 17, 'min_samples_split': 0.3167052689481538}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:09,165] Trial 53 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 74, 'max_depth': 19, 'min_samples_split': 0.4241100615348053}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:09,241] Trial 54 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 58, 'max_depth': 19, 'min_samples_split': 0.17489094389928797}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:09,326] Trial 55 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 69, 'max_depth': 15, 'min_samples_split': 0.38789555919124774}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:09,422] Trial 56 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 81, 'max_depth': 12, 'min_samples_split': 0.28554253610373126}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:09,536] Trial 57 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 100, 'max_depth': 7, 'min_samples_split': 0.5238164375499723}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:09,616] Trial 58 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 65, 'max_depth': 9, 'min_samples_split': 0.3288410264486409}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:09,707] Trial 59 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 76, 'max_depth': 19, 'min_samples_split': 0.1283789040943628}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:09,783] Trial 60 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 60, 'max_depth': 10, 'min_samples_split': 0.23248523484769154}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:09,886] Trial 61 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 80, 'max_depth': 10, 'min_samples_split': 0.2639915522664047}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:09,978] Trial 62 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 72, 'max_depth': 8, 'min_samples_split': 0.41699666665034646}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:10,086] Trial 63 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 92, 'max_depth': 11, 'min_samples_split': 0.4581299180979884}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:10,185] Trial 64 finished with value: 0.3 and parameters: {'n_estimators': 84, 'max_depth': 13, 'min_samples_split': 0.8405237813684371}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:10,266] Trial 65 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 65, 'max_depth': 9, 'min_samples_split': 0.34967898788795304}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:10,337] Trial 66 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 54, 'max_depth': 17, 'min_samples_split': 0.3767964567751432}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:10,428] Trial 67 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 74, 'max_depth': 7, 'min_samples_split': 0.49911158111048176}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:10,514] Trial 68 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 68, 'max_depth': 20, 'min_samples_split': 0.26797256346589343}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:10,606] Trial 69 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 78, 'max_depth': 16, 'min_samples_split': 0.9932916555616906}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:10,694] Trial 70 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 71, 'max_depth': 6, 'min_samples_split': 0.20991341989002443}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:10,806] Trial 71 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 96, 'max_depth': 14, 'min_samples_split': 0.32540891970649344}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:10,919] Trial 72 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 89, 'max_depth': 18, 'min_samples_split': 0.2968690767631209}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:10,959] Trial 73 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 22, 'max_depth': 15, 'min_samples_split': 0.25168124691749383}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:11,068] Trial 74 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 93, 'max_depth': 12, 'min_samples_split': 0.18369521707499992}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:11,168] Trial 75 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 82, 'max_depth': 8, 'min_samples_split': 0.4421594179506673}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:11,271] Trial 76 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 86, 'max_depth': 10, 'min_samples_split': 0.392215727944018}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:11,379] Trial 77 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 92, 'max_depth': 15, 'min_samples_split': 0.2204009960763894}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:11,469] Trial 78 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 73, 'max_depth': 9, 'min_samples_split': 0.3469873136378321}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:11,584] Trial 79 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 96, 'max_depth': 16, 'min_samples_split': 0.27896106404575116}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:11,665] Trial 80 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 63, 'max_depth': 11, 'min_samples_split': 0.1272922297252233}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:11,761] Trial 81 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 79, 'max_depth': 9, 'min_samples_split': 0.4684332578481515}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:11,855] Trial 82 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 76, 'max_depth': 8, 'min_samples_split': 0.4077710045827576}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:11,963] Trial 83 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 86, 'max_depth': 7, 'min_samples_split': 0.5557972202501131}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:12,051] Trial 84 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 70, 'max_depth': 10, 'min_samples_split': 0.36807981461743355}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:12,133] Trial 85 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 66, 'max_depth': 18, 'min_samples_split': 0.5007806977266386}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:12,209] Trial 86 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 59, 'max_depth': 9, 'min_samples_split': 0.5837549301687412}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:12,314] Trial 87 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 90, 'max_depth': 8, 'min_samples_split': 0.44094270288175846}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:12,429] Trial 88 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 98, 'max_depth': 11, 'min_samples_split': 0.3133488374564388}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:12,529] Trial 89 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 80, 'max_depth': 9, 'min_samples_split': 0.16496280429391857}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:12,687] Trial 90 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 84, 'max_depth': 10, 'min_samples_split': 0.19857506062069225}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:12,815] Trial 91 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 68, 'max_depth': 20, 'min_samples_split': 0.3356434928132019}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:12,913] Trial 92 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 75, 'max_depth': 19, 'min_samples_split': 0.26090192347145}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:12,992] Trial 93 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 62, 'max_depth': 20, 'min_samples_split': 0.23933100852277533}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:13,079] Trial 94 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 70, 'max_depth': 8, 'min_samples_split': 0.2964414255585325}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:13,173] Trial 95 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 77, 'max_depth': 17, 'min_samples_split': 0.5294657326396106}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:13,268] Trial 96 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 73, 'max_depth': 19, 'min_samples_split': 0.40475114616232244}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:13,359] Trial 97 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 72, 'max_depth': 10, 'min_samples_split': 0.2193760150748684}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:13,444] Trial 98 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 67, 'max_depth': 18, 'min_samples_split': 0.27915755394957986}. Best is trial 7 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:50:13,518] Trial 99 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 57, 'max_depth': 7, 'min_samples_split': 0.4796829947804756}. Best is trial 7 with value: 0.8666666666666667.\n"
     ]
    }
   ],
   "source": [
    "study_tpe = optuna.create_study(\n",
    "    direction=\"maximize\", sampler=optuna.samplers.TPESampler()\n",
    ")\n",
    "study_tpe.optimize(objective, n_trials=100)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Random Search"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[I 2024-02-12 11:54:04,344] A new study created in memory with name: no-name-6a1f6b6b-86c3-480a-ae3b-ae341ab5fca1\n",
      "[I 2024-02-12 11:54:04,370] Trial 0 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 18, 'max_depth': 3, 'min_samples_split': 0.5323455027233865}. Best is trial 0 with value: 0.8333333333333334.\n",
      "[I 2024-02-12 11:54:04,448] Trial 1 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 75, 'max_depth': 7, 'min_samples_split': 0.5407936894092948}. Best is trial 0 with value: 0.8333333333333334.\n",
      "[I 2024-02-12 11:54:04,499] Trial 2 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 47, 'max_depth': 17, 'min_samples_split': 0.6854362685752783}. Best is trial 2 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:54:04,589] Trial 3 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 87, 'max_depth': 4, 'min_samples_split': 0.14004470465709454}. Best is trial 2 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:54:04,619] Trial 4 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 25, 'max_depth': 3, 'min_samples_split': 0.8836296705729724}. Best is trial 2 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:54:04,637] Trial 5 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 15, 'max_depth': 17, 'min_samples_split': 0.8614995083992175}. Best is trial 2 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:54:04,743] Trial 6 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 100, 'max_depth': 11, 'min_samples_split': 0.24829168436704172}. Best is trial 2 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:54:04,770] Trial 7 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 23, 'max_depth': 12, 'min_samples_split': 0.2750056491047102}. Best is trial 2 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:54:04,812] Trial 8 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 38, 'max_depth': 8, 'min_samples_split': 0.5944914358916622}. Best is trial 2 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:54:04,899] Trial 9 finished with value: 0.3 and parameters: {'n_estimators': 88, 'max_depth': 4, 'min_samples_split': 0.7222332459689619}. Best is trial 2 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:54:04,974] Trial 10 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 71, 'max_depth': 3, 'min_samples_split': 0.33069868590754264}. Best is trial 2 with value: 0.8666666666666667.\n",
      "[I 2024-02-12 11:54:05,034] Trial 11 finished with value: 0.9 and parameters: {'n_estimators': 56, 'max_depth': 17, 'min_samples_split': 0.5950969085882429}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,052] Trial 12 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 14, 'max_depth': 5, 'min_samples_split': 0.3856760671159427}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,124] Trial 13 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 59, 'max_depth': 17, 'min_samples_split': 0.19643175521468983}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,156] Trial 14 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 29, 'max_depth': 8, 'min_samples_split': 0.41772641468703053}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,215] Trial 15 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 57, 'max_depth': 12, 'min_samples_split': 0.44949028495865995}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,235] Trial 16 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 16, 'max_depth': 13, 'min_samples_split': 0.23629015651276333}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,342] Trial 17 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 100, 'max_depth': 17, 'min_samples_split': 0.4927050632147507}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,500] Trial 18 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 92, 'max_depth': 8, 'min_samples_split': 0.24693889132781596}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,545] Trial 19 finished with value: 0.3 and parameters: {'n_estimators': 23, 'max_depth': 17, 'min_samples_split': 0.8732232217754377}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,612] Trial 20 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 48, 'max_depth': 7, 'min_samples_split': 0.6125889983910446}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,642] Trial 21 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 27, 'max_depth': 5, 'min_samples_split': 0.6458246324583546}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,726] Trial 22 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 81, 'max_depth': 13, 'min_samples_split': 0.43490978946987957}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,772] Trial 23 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 43, 'max_depth': 19, 'min_samples_split': 0.24556483540105334}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,864] Trial 24 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 92, 'max_depth': 20, 'min_samples_split': 0.9662676615314216}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,935] Trial 25 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 68, 'max_depth': 15, 'min_samples_split': 0.5135970936919471}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,955] Trial 26 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 17, 'max_depth': 6, 'min_samples_split': 0.45133129397781324}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,969] Trial 27 finished with value: 0.9 and parameters: {'n_estimators': 10, 'max_depth': 4, 'min_samples_split': 0.3403909804197579}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:05,989] Trial 28 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 15, 'max_depth': 6, 'min_samples_split': 0.29942895932202546}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,081] Trial 29 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 89, 'max_depth': 10, 'min_samples_split': 0.3096616438643687}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,122] Trial 30 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 37, 'max_depth': 15, 'min_samples_split': 0.964854511651284}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,157] Trial 31 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 24, 'max_depth': 18, 'min_samples_split': 0.26827333214576}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,253] Trial 32 finished with value: 0.3 and parameters: {'n_estimators': 96, 'max_depth': 13, 'min_samples_split': 0.7715414060627496}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,339] Trial 33 finished with value: 0.3 and parameters: {'n_estimators': 83, 'max_depth': 20, 'min_samples_split': 0.8183653329360526}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,355] Trial 34 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 12, 'max_depth': 8, 'min_samples_split': 0.2456321740025461}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,409] Trial 35 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 50, 'max_depth': 11, 'min_samples_split': 0.2041961143460012}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,464] Trial 36 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 53, 'max_depth': 5, 'min_samples_split': 0.6796968053086895}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,499] Trial 37 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 31, 'max_depth': 20, 'min_samples_split': 0.6329021529717939}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,554] Trial 38 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 51, 'max_depth': 8, 'min_samples_split': 0.9989587136888286}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,588] Trial 39 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 29, 'max_depth': 14, 'min_samples_split': 0.7631838666307563}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,700] Trial 40 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 100, 'max_depth': 3, 'min_samples_split': 0.4249973907234267}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,778] Trial 41 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 74, 'max_depth': 19, 'min_samples_split': 0.8098359427092103}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,855] Trial 42 finished with value: 0.3 and parameters: {'n_estimators': 75, 'max_depth': 10, 'min_samples_split': 0.9834496289234863}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:06,949] Trial 43 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 92, 'max_depth': 13, 'min_samples_split': 0.530251787605544}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,025] Trial 44 finished with value: 0.5666666666666667 and parameters: {'n_estimators': 75, 'max_depth': 15, 'min_samples_split': 0.6914514956275492}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,043] Trial 45 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 14, 'max_depth': 11, 'min_samples_split': 0.8485130237825944}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,111] Trial 46 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 65, 'max_depth': 7, 'min_samples_split': 0.41475109389823805}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,184] Trial 47 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 62, 'max_depth': 20, 'min_samples_split': 0.6429588022786589}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,230] Trial 48 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 42, 'max_depth': 15, 'min_samples_split': 0.16707568736754796}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,296] Trial 49 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 64, 'max_depth': 20, 'min_samples_split': 0.5622890765977826}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,337] Trial 50 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 36, 'max_depth': 11, 'min_samples_split': 0.44108276080671693}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,359] Trial 51 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 18, 'max_depth': 14, 'min_samples_split': 0.97276818544704}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,376] Trial 52 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 14, 'max_depth': 19, 'min_samples_split': 0.8802247660139916}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,446] Trial 53 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 67, 'max_depth': 11, 'min_samples_split': 0.4582900562246236}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,491] Trial 54 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 43, 'max_depth': 7, 'min_samples_split': 0.6272911066658382}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,532] Trial 55 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 38, 'max_depth': 5, 'min_samples_split': 0.7879251112863763}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,567] Trial 56 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 31, 'max_depth': 8, 'min_samples_split': 0.14940628348198062}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,649] Trial 57 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 79, 'max_depth': 12, 'min_samples_split': 0.8558223978610688}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,746] Trial 58 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 95, 'max_depth': 3, 'min_samples_split': 0.5609008492206083}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,779] Trial 59 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 29, 'max_depth': 14, 'min_samples_split': 0.49633639217020054}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,839] Trial 60 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 57, 'max_depth': 4, 'min_samples_split': 0.33885231647689795}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,929] Trial 61 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 88, 'max_depth': 6, 'min_samples_split': 0.16540566444070037}. Best is trial 11 with value: 0.9.\n",
      "[I 2024-02-12 11:54:07,949] Trial 62 finished with value: 0.9333333333333333 and parameters: {'n_estimators': 15, 'max_depth': 19, 'min_samples_split': 0.6077644631006015}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:07,979] Trial 63 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 27, 'max_depth': 5, 'min_samples_split': 0.2609212189052139}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,017] Trial 64 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 34, 'max_depth': 8, 'min_samples_split': 0.40800086523388734}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,112] Trial 65 finished with value: 0.3 and parameters: {'n_estimators': 94, 'max_depth': 5, 'min_samples_split': 0.7692208248270049}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,212] Trial 66 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 90, 'max_depth': 11, 'min_samples_split': 0.23781914910760107}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,273] Trial 67 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 57, 'max_depth': 17, 'min_samples_split': 0.2088756330963153}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,299] Trial 68 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 22, 'max_depth': 12, 'min_samples_split': 0.3941517831629905}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,369] Trial 69 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 69, 'max_depth': 14, 'min_samples_split': 0.743318053892988}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,430] Trial 70 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 51, 'max_depth': 15, 'min_samples_split': 0.5118177839076357}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,485] Trial 71 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 29, 'max_depth': 6, 'min_samples_split': 0.23294970598375744}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,521] Trial 72 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 17, 'max_depth': 7, 'min_samples_split': 0.2802508925859067}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,652] Trial 73 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 74, 'max_depth': 6, 'min_samples_split': 0.5475144869239852}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,718] Trial 74 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 61, 'max_depth': 4, 'min_samples_split': 0.4939642409224383}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,741] Trial 75 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 20, 'max_depth': 20, 'min_samples_split': 0.9894300186521731}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,831] Trial 76 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 88, 'max_depth': 12, 'min_samples_split': 0.4428522610722704}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,900] Trial 77 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 65, 'max_depth': 9, 'min_samples_split': 0.1840378708796534}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:08,992] Trial 78 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 89, 'max_depth': 8, 'min_samples_split': 0.5595973182188653}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,045] Trial 79 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 50, 'max_depth': 18, 'min_samples_split': 0.5456783340860705}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,132] Trial 80 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 83, 'max_depth': 9, 'min_samples_split': 0.40499184933360177}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,203] Trial 81 finished with value: 0.3 and parameters: {'n_estimators': 63, 'max_depth': 15, 'min_samples_split': 0.8231831628667535}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,254] Trial 82 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 49, 'max_depth': 17, 'min_samples_split': 0.4133185099631813}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,301] Trial 83 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 45, 'max_depth': 14, 'min_samples_split': 0.34206375061135846}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,338] Trial 84 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 34, 'max_depth': 9, 'min_samples_split': 0.869422603958634}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,438] Trial 85 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 99, 'max_depth': 15, 'min_samples_split': 0.5730595320909623}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,477] Trial 86 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 34, 'max_depth': 7, 'min_samples_split': 0.985357750111304}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,523] Trial 87 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 43, 'max_depth': 6, 'min_samples_split': 0.36975250999101916}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,571] Trial 88 finished with value: 0.3 and parameters: {'n_estimators': 45, 'max_depth': 17, 'min_samples_split': 0.9157715167363756}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,639] Trial 89 finished with value: 0.3 and parameters: {'n_estimators': 66, 'max_depth': 4, 'min_samples_split': 0.9409208936140379}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,689] Trial 90 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 47, 'max_depth': 18, 'min_samples_split': 0.6317879355161596}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,778] Trial 91 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 85, 'max_depth': 5, 'min_samples_split': 0.2392796883572367}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,843] Trial 92 finished with value: 0.8333333333333334 and parameters: {'n_estimators': 61, 'max_depth': 19, 'min_samples_split': 0.5604102043460784}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:09,943] Trial 93 finished with value: 0.3 and parameters: {'n_estimators': 95, 'max_depth': 4, 'min_samples_split': 0.9945566497342614}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:10,011] Trial 94 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 61, 'max_depth': 4, 'min_samples_split': 0.7750485885092783}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:10,079] Trial 95 finished with value: 0.9333333333333333 and parameters: {'n_estimators': 64, 'max_depth': 7, 'min_samples_split': 0.6354115079087189}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:10,096] Trial 96 finished with value: 0.9 and parameters: {'n_estimators': 13, 'max_depth': 4, 'min_samples_split': 0.3292180436638348}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:10,189] Trial 97 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 86, 'max_depth': 5, 'min_samples_split': 0.17671758874989624}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:10,242] Trial 98 finished with value: 0.8666666666666667 and parameters: {'n_estimators': 45, 'max_depth': 16, 'min_samples_split': 0.5891751430666154}. Best is trial 62 with value: 0.9333333333333333.\n",
      "[I 2024-02-12 11:54:10,276] Trial 99 finished with value: 0.26666666666666666 and parameters: {'n_estimators': 30, 'max_depth': 10, 'min_samples_split': 0.9734243825309358}. Best is trial 62 with value: 0.9333333333333333.\n"
     ]
    }
   ],
   "source": [
    "study_random = optuna.create_study(\n",
    "    direction=\"maximize\", sampler=optuna.samplers.RandomSampler()\n",
    ")\n",
    "study_random.optimize(objective, n_trials=100)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Visualization"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.plotly.v1+json": {
       "config": {
        "plotlyServerURL": "https://plot.ly"
       },
       "data": [
        {
         "mode": "markers",
         "name": "Objective Value",
         "type": "scatter",
         "x": [
          0,
          1,
          2,
          3,
          4,
          5,
          6,
          7,
          8,
          9,
          10,
          11,
          12,
          13,
          14,
          15,
          16,
          17,
          18,
          19,
          20,
          21,
          22,
          23,
          24,
          25,
          26,
          27,
          28,
          29,
          30,
          31,
          32,
          33,
          34,
          35,
          36,
          37,
          38,
          39,
          40,
          41,
          42,
          43,
          44,
          45,
          46,
          47,
          48,
          49,
          50,
          51,
          52,
          53,
          54,
          55,
          56,
          57,
          58,
          59,
          60,
          61,
          62,
          63,
          64,
          65,
          66,
          67,
          68,
          69,
          70,
          71,
          72,
          73,
          74,
          75,
          76,
          77,
          78,
          79,
          80,
          81,
          82,
          83,
          84,
          85,
          86,
          87,
          88,
          89,
          90,
          91,
          92,
          93,
          94,
          95,
          96,
          97,
          98,
          99
         ],
         "y": [
          0.26666666666666666,
          0.26666666666666666,
          0.3,
          0.26666666666666666,
          0.8333333333333334,
          0.26666666666666666,
          0.26666666666666666,
          0.8666666666666667,
          0.8666666666666667,
          0.26666666666666666,
          0.8666666666666667,
          0.8666666666666667,
          0.3,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8333333333333334,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.26666666666666666,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.4666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.3,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.26666666666666666,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334
         ]
        },
        {
         "mode": "lines",
         "name": "Best Value",
         "type": "scatter",
         "x": [
          0,
          1,
          2,
          3,
          4,
          5,
          6,
          7,
          8,
          9,
          10,
          11,
          12,
          13,
          14,
          15,
          16,
          17,
          18,
          19,
          20,
          21,
          22,
          23,
          24,
          25,
          26,
          27,
          28,
          29,
          30,
          31,
          32,
          33,
          34,
          35,
          36,
          37,
          38,
          39,
          40,
          41,
          42,
          43,
          44,
          45,
          46,
          47,
          48,
          49,
          50,
          51,
          52,
          53,
          54,
          55,
          56,
          57,
          58,
          59,
          60,
          61,
          62,
          63,
          64,
          65,
          66,
          67,
          68,
          69,
          70,
          71,
          72,
          73,
          74,
          75,
          76,
          77,
          78,
          79,
          80,
          81,
          82,
          83,
          84,
          85,
          86,
          87,
          88,
          89,
          90,
          91,
          92,
          93,
          94,
          95,
          96,
          97,
          98,
          99
         ],
         "y": [
          0.26666666666666666,
          0.26666666666666666,
          0.3,
          0.3,
          0.8333333333333334,
          0.8333333333333334,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667
         ]
        },
        {
         "marker": {
          "color": "#cccccc"
         },
         "mode": "markers",
         "name": "Infeasible Trial",
         "showlegend": false,
         "type": "scatter",
         "x": [],
         "y": []
        }
       ],
       "layout": {
        "template": {
         "data": {
          "bar": [
           {
            "error_x": {
             "color": "#2a3f5f"
            },
            "error_y": {
             "color": "#2a3f5f"
            },
            "marker": {
             "line": {
              "color": "#E5ECF6",
              "width": 0.5
             },
             "pattern": {
              "fillmode": "overlay",
              "size": 10,
              "solidity": 0.2
             }
            },
            "type": "bar"
           }
          ],
          "barpolar": [
           {
            "marker": {
             "line": {
              "color": "#E5ECF6",
              "width": 0.5
             },
             "pattern": {
              "fillmode": "overlay",
              "size": 10,
              "solidity": 0.2
             }
            },
            "type": "barpolar"
           }
          ],
          "carpet": [
           {
            "aaxis": {
             "endlinecolor": "#2a3f5f",
             "gridcolor": "white",
             "linecolor": "white",
             "minorgridcolor": "white",
             "startlinecolor": "#2a3f5f"
            },
            "baxis": {
             "endlinecolor": "#2a3f5f",
             "gridcolor": "white",
             "linecolor": "white",
             "minorgridcolor": "white",
             "startlinecolor": "#2a3f5f"
            },
            "type": "carpet"
           }
          ],
          "choropleth": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "choropleth"
           }
          ],
          "contour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "contour"
           }
          ],
          "contourcarpet": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "contourcarpet"
           }
          ],
          "heatmap": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmap"
           }
          ],
          "heatmapgl": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmapgl"
           }
          ],
          "histogram": [
           {
            "marker": {
             "pattern": {
              "fillmode": "overlay",
              "size": 10,
              "solidity": 0.2
             }
            },
            "type": "histogram"
           }
          ],
          "histogram2d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2d"
           }
          ],
          "histogram2dcontour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2dcontour"
           }
          ],
          "mesh3d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "mesh3d"
           }
          ],
          "parcoords": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "parcoords"
           }
          ],
          "pie": [
           {
            "automargin": true,
            "type": "pie"
           }
          ],
          "scatter": [
           {
            "fillpattern": {
             "fillmode": "overlay",
             "size": 10,
             "solidity": 0.2
            },
            "type": "scatter"
           }
          ],
          "scatter3d": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatter3d"
           }
          ],
          "scattercarpet": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattercarpet"
           }
          ],
          "scattergeo": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattergeo"
           }
          ],
          "scattergl": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattergl"
           }
          ],
          "scattermapbox": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattermapbox"
           }
          ],
          "scatterpolar": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolar"
           }
          ],
          "scatterpolargl": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolargl"
           }
          ],
          "scatterternary": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterternary"
           }
          ],
          "surface": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "surface"
           }
          ],
          "table": [
           {
            "cells": {
             "fill": {
              "color": "#EBF0F8"
             },
             "line": {
              "color": "white"
             }
            },
            "header": {
             "fill": {
              "color": "#C8D4E3"
             },
             "line": {
              "color": "white"
             }
            },
            "type": "table"
           }
          ]
         },
         "layout": {
          "annotationdefaults": {
           "arrowcolor": "#2a3f5f",
           "arrowhead": 0,
           "arrowwidth": 1
          },
          "autotypenumbers": "strict",
          "coloraxis": {
           "colorbar": {
            "outlinewidth": 0,
            "ticks": ""
           }
          },
          "colorscale": {
           "diverging": [
            [
             0,
             "#8e0152"
            ],
            [
             0.1,
             "#c51b7d"
            ],
            [
             0.2,
             "#de77ae"
            ],
            [
             0.3,
             "#f1b6da"
            ],
            [
             0.4,
             "#fde0ef"
            ],
            [
             0.5,
             "#f7f7f7"
            ],
            [
             0.6,
             "#e6f5d0"
            ],
            [
             0.7,
             "#b8e186"
            ],
            [
             0.8,
             "#7fbc41"
            ],
            [
             0.9,
             "#4d9221"
            ],
            [
             1,
             "#276419"
            ]
           ],
           "sequential": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ],
           "sequentialminus": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ]
          },
          "colorway": [
           "#636efa",
           "#EF553B",
           "#00cc96",
           "#ab63fa",
           "#FFA15A",
           "#19d3f3",
           "#FF6692",
           "#B6E880",
           "#FF97FF",
           "#FECB52"
          ],
          "font": {
           "color": "#2a3f5f"
          },
          "geo": {
           "bgcolor": "white",
           "lakecolor": "white",
           "landcolor": "#E5ECF6",
           "showlakes": true,
           "showland": true,
           "subunitcolor": "white"
          },
          "hoverlabel": {
           "align": "left"
          },
          "hovermode": "closest",
          "mapbox": {
           "style": "light"
          },
          "paper_bgcolor": "white",
          "plot_bgcolor": "#E5ECF6",
          "polar": {
           "angularaxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           },
           "bgcolor": "#E5ECF6",
           "radialaxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           }
          },
          "scene": {
           "xaxis": {
            "backgroundcolor": "#E5ECF6",
            "gridcolor": "white",
            "gridwidth": 2,
            "linecolor": "white",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "white"
           },
           "yaxis": {
            "backgroundcolor": "#E5ECF6",
            "gridcolor": "white",
            "gridwidth": 2,
            "linecolor": "white",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "white"
           },
           "zaxis": {
            "backgroundcolor": "#E5ECF6",
            "gridcolor": "white",
            "gridwidth": 2,
            "linecolor": "white",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "white"
           }
          },
          "shapedefaults": {
           "line": {
            "color": "#2a3f5f"
           }
          },
          "ternary": {
           "aaxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           },
           "baxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           },
           "bgcolor": "#E5ECF6",
           "caxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           }
          },
          "title": {
           "x": 0.05
          },
          "xaxis": {
           "automargin": true,
           "gridcolor": "white",
           "linecolor": "white",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "white",
           "zerolinewidth": 2
          },
          "yaxis": {
           "automargin": true,
           "gridcolor": "white",
           "linecolor": "white",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "white",
           "zerolinewidth": 2
          }
         }
        },
        "title": {
         "text": "Optimization History Plot"
        },
        "xaxis": {
         "title": {
          "text": "Trial"
         }
        },
        "yaxis": {
         "title": {
          "text": "Objective Value"
         }
        }
       }
      },
      "text/html": [
       "<div>                            <div id=\"b7c033a4-2449-4463-8b7f-8372325ef6be\" class=\"plotly-graph-div\" style=\"height:525px; width:100%;\"></div>            <script type=\"text/javascript\">                require([\"plotly\"], function(Plotly) {                    window.PLOTLYENV=window.PLOTLYENV || {};                                    if (document.getElementById(\"b7c033a4-2449-4463-8b7f-8372325ef6be\")) {                    Plotly.newPlot(                        \"b7c033a4-2449-4463-8b7f-8372325ef6be\",                        [{\"mode\":\"markers\",\"name\":\"Objective Value\",\"x\":[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99],\"y\":[0.26666666666666666,0.26666666666666666,0.3,0.26666666666666666,0.8333333333333334,0.26666666666666666,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.3,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8333333333333334,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.4666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.3,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334],\"type\":\"scatter\"},{\"mode\":\"lines\",\"name\":\"Best Value\",\"x\":[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99],\"y\":[0.26666666666666666,0.26666666666666666,0.3,0.3,0.8333333333333334,0.8333333333333334,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667],\"type\":\"scatter\"},{\"marker\":{\"color\":\"#cccccc\"},\"mode\":\"markers\",\"name\":\"Infeasible Trial\",\"showlegend\":false,\"x\":[],\"y\":[],\"type\":\"scatter\"}],                        {\"title\":{\"text\":\"Optimization History Plot\"},\"xaxis\":{\"title\":{\"text\":\"Trial\"}},\"yaxis\":{\"title\":{\"text\":\"Objective Value\"}},\"template\":{\"data\":{\"histogram2dcontour\":[{\"type\":\"histogram2dcontour\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"choropleth\":[{\"type\":\"choropleth\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}],\"histogram2d\":[{\"type\":\"histogram2d\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"heatmap\":[{\"type\":\"heatmap\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"heatmapgl\":[{\"type\":\"heatmapgl\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"contourcarpet\":[{\"type\":\"contourcarpet\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}],\"contour\":[{\"type\":\"contour\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"surface\":[{\"type\":\"surface\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"mesh3d\":[{\"type\":\"mesh3d\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}],\"scatter\":[{\"fillpattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2},\"type\":\"scatter\"}],\"parcoords\":[{\"type\":\"parcoords\",\"line\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatterpolargl\":[{\"type\":\"scatterpolargl\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"bar\":[{\"error_x\":{\"color\":\"#2a3f5f\"},\"error_y\":{\"color\":\"#2a3f5f\"},\"marker\":{\"line\":{\"color\":\"#E5ECF6\",\"width\":0.5},\"pattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2}},\"type\":\"bar\"}],\"scattergeo\":[{\"type\":\"scattergeo\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatterpolar\":[{\"type\":\"scatterpolar\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"histogram\":[{\"marker\":{\"pattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2}},\"type\":\"histogram\"}],\"scattergl\":[{\"type\":\"scattergl\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatter3d\":[{\"type\":\"scatter3d\",\"line\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}},\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scattermapbox\":[{\"type\":\"scattermapbox\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatterternary\":[{\"type\":\"scatterternary\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scattercarpet\":[{\"type\":\"scattercarpet\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"carpet\":[{\"aaxis\":{\"endlinecolor\":\"#2a3f5f\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"minorgridcolor\":\"white\",\"startlinecolor\":\"#2a3f5f\"},\"baxis\":{\"endlinecolor\":\"#2a3f5f\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"minorgridcolor\":\"white\",\"startlinecolor\":\"#2a3f5f\"},\"type\":\"carpet\"}],\"table\":[{\"cells\":{\"fill\":{\"color\":\"#EBF0F8\"},\"line\":{\"color\":\"white\"}},\"header\":{\"fill\":{\"color\":\"#C8D4E3\"},\"line\":{\"color\":\"white\"}},\"type\":\"table\"}],\"barpolar\":[{\"marker\":{\"line\":{\"color\":\"#E5ECF6\",\"width\":0.5},\"pattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2}},\"type\":\"barpolar\"}],\"pie\":[{\"automargin\":true,\"type\":\"pie\"}]},\"layout\":{\"autotypenumbers\":\"strict\",\"colorway\":[\"#636efa\",\"#EF553B\",\"#00cc96\",\"#ab63fa\",\"#FFA15A\",\"#19d3f3\",\"#FF6692\",\"#B6E880\",\"#FF97FF\",\"#FECB52\"],\"font\":{\"color\":\"#2a3f5f\"},\"hovermode\":\"closest\",\"hoverlabel\":{\"align\":\"left\"},\"paper_bgcolor\":\"white\",\"plot_bgcolor\":\"#E5ECF6\",\"polar\":{\"bgcolor\":\"#E5ECF6\",\"angularaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"},\"radialaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"}},\"ternary\":{\"bgcolor\":\"#E5ECF6\",\"aaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"},\"baxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"},\"caxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"}},\"coloraxis\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}},\"colorscale\":{\"sequential\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]],\"sequentialminus\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]],\"diverging\":[[0,\"#8e0152\"],[0.1,\"#c51b7d\"],[0.2,\"#de77ae\"],[0.3,\"#f1b6da\"],[0.4,\"#fde0ef\"],[0.5,\"#f7f7f7\"],[0.6,\"#e6f5d0\"],[0.7,\"#b8e186\"],[0.8,\"#7fbc41\"],[0.9,\"#4d9221\"],[1,\"#276419\"]]},\"xaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\",\"title\":{\"standoff\":15},\"zerolinecolor\":\"white\",\"automargin\":true,\"zerolinewidth\":2},\"yaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\",\"title\":{\"standoff\":15},\"zerolinecolor\":\"white\",\"automargin\":true,\"zerolinewidth\":2},\"scene\":{\"xaxis\":{\"backgroundcolor\":\"#E5ECF6\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"showbackground\":true,\"ticks\":\"\",\"zerolinecolor\":\"white\",\"gridwidth\":2},\"yaxis\":{\"backgroundcolor\":\"#E5ECF6\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"showbackground\":true,\"ticks\":\"\",\"zerolinecolor\":\"white\",\"gridwidth\":2},\"zaxis\":{\"backgroundcolor\":\"#E5ECF6\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"showbackground\":true,\"ticks\":\"\",\"zerolinecolor\":\"white\",\"gridwidth\":2}},\"shapedefaults\":{\"line\":{\"color\":\"#2a3f5f\"}},\"annotationdefaults\":{\"arrowcolor\":\"#2a3f5f\",\"arrowhead\":0,\"arrowwidth\":1},\"geo\":{\"bgcolor\":\"white\",\"landcolor\":\"#E5ECF6\",\"subunitcolor\":\"white\",\"showland\":true,\"showlakes\":true,\"lakecolor\":\"white\"},\"title\":{\"x\":0.05},\"mapbox\":{\"style\":\"light\"}}}},                        {\"responsive\": true}                    ).then(function(){\n",
       "                            \n",
       "var gd = document.getElementById('b7c033a4-2449-4463-8b7f-8372325ef6be');\n",
       "var x = new MutationObserver(function (mutations, observer) {{\n",
       "        var display = window.getComputedStyle(gd).display;\n",
       "        if (!display || display === 'none') {{\n",
       "            console.log([gd, 'removed!']);\n",
       "            Plotly.purge(gd);\n",
       "            observer.disconnect();\n",
       "        }}\n",
       "}});\n",
       "\n",
       "// Listen for the removal of the full notebook cells\n",
       "var notebookContainer = gd.closest('#notebook-container');\n",
       "if (notebookContainer) {{\n",
       "    x.observe(notebookContainer, {childList: true});\n",
       "}}\n",
       "\n",
       "// Listen for the clearing of the current output cell\n",
       "var outputEl = gd.closest('.output');\n",
       "if (outputEl) {{\n",
       "    x.observe(outputEl, {childList: true});\n",
       "}}\n",
       "\n",
       "                        })                };                });            </script>        </div>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "optuna.visualization.plot_optimization_history(study_tpe)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.plotly.v1+json": {
       "config": {
        "plotlyServerURL": "https://plot.ly"
       },
       "data": [
        {
         "cliponaxis": false,
         "hovertemplate": [
          "max_depth (IntDistribution): 5.485900629377825e-05<extra></extra>",
          "n_estimators (IntDistribution): 0.0017519017416994585<extra></extra>",
          "min_samples_split (FloatDistribution): 0.9981932392520068<extra></extra>"
         ],
         "name": "Objective Value",
         "orientation": "h",
         "text": [
          "<0.01",
          "<0.01",
          "1.00"
         ],
         "textposition": "outside",
         "type": "bar",
         "x": [
          0.00005485900629377825,
          0.0017519017416994585,
          0.9981932392520068
         ],
         "y": [
          "max_depth",
          "n_estimators",
          "min_samples_split"
         ]
        }
       ],
       "layout": {
        "template": {
         "data": {
          "bar": [
           {
            "error_x": {
             "color": "#2a3f5f"
            },
            "error_y": {
             "color": "#2a3f5f"
            },
            "marker": {
             "line": {
              "color": "#E5ECF6",
              "width": 0.5
             },
             "pattern": {
              "fillmode": "overlay",
              "size": 10,
              "solidity": 0.2
             }
            },
            "type": "bar"
           }
          ],
          "barpolar": [
           {
            "marker": {
             "line": {
              "color": "#E5ECF6",
              "width": 0.5
             },
             "pattern": {
              "fillmode": "overlay",
              "size": 10,
              "solidity": 0.2
             }
            },
            "type": "barpolar"
           }
          ],
          "carpet": [
           {
            "aaxis": {
             "endlinecolor": "#2a3f5f",
             "gridcolor": "white",
             "linecolor": "white",
             "minorgridcolor": "white",
             "startlinecolor": "#2a3f5f"
            },
            "baxis": {
             "endlinecolor": "#2a3f5f",
             "gridcolor": "white",
             "linecolor": "white",
             "minorgridcolor": "white",
             "startlinecolor": "#2a3f5f"
            },
            "type": "carpet"
           }
          ],
          "choropleth": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "choropleth"
           }
          ],
          "contour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "contour"
           }
          ],
          "contourcarpet": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "contourcarpet"
           }
          ],
          "heatmap": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmap"
           }
          ],
          "heatmapgl": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmapgl"
           }
          ],
          "histogram": [
           {
            "marker": {
             "pattern": {
              "fillmode": "overlay",
              "size": 10,
              "solidity": 0.2
             }
            },
            "type": "histogram"
           }
          ],
          "histogram2d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2d"
           }
          ],
          "histogram2dcontour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2dcontour"
           }
          ],
          "mesh3d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "mesh3d"
           }
          ],
          "parcoords": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "parcoords"
           }
          ],
          "pie": [
           {
            "automargin": true,
            "type": "pie"
           }
          ],
          "scatter": [
           {
            "fillpattern": {
             "fillmode": "overlay",
             "size": 10,
             "solidity": 0.2
            },
            "type": "scatter"
           }
          ],
          "scatter3d": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatter3d"
           }
          ],
          "scattercarpet": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattercarpet"
           }
          ],
          "scattergeo": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattergeo"
           }
          ],
          "scattergl": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattergl"
           }
          ],
          "scattermapbox": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattermapbox"
           }
          ],
          "scatterpolar": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolar"
           }
          ],
          "scatterpolargl": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolargl"
           }
          ],
          "scatterternary": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterternary"
           }
          ],
          "surface": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "surface"
           }
          ],
          "table": [
           {
            "cells": {
             "fill": {
              "color": "#EBF0F8"
             },
             "line": {
              "color": "white"
             }
            },
            "header": {
             "fill": {
              "color": "#C8D4E3"
             },
             "line": {
              "color": "white"
             }
            },
            "type": "table"
           }
          ]
         },
         "layout": {
          "annotationdefaults": {
           "arrowcolor": "#2a3f5f",
           "arrowhead": 0,
           "arrowwidth": 1
          },
          "autotypenumbers": "strict",
          "coloraxis": {
           "colorbar": {
            "outlinewidth": 0,
            "ticks": ""
           }
          },
          "colorscale": {
           "diverging": [
            [
             0,
             "#8e0152"
            ],
            [
             0.1,
             "#c51b7d"
            ],
            [
             0.2,
             "#de77ae"
            ],
            [
             0.3,
             "#f1b6da"
            ],
            [
             0.4,
             "#fde0ef"
            ],
            [
             0.5,
             "#f7f7f7"
            ],
            [
             0.6,
             "#e6f5d0"
            ],
            [
             0.7,
             "#b8e186"
            ],
            [
             0.8,
             "#7fbc41"
            ],
            [
             0.9,
             "#4d9221"
            ],
            [
             1,
             "#276419"
            ]
           ],
           "sequential": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ],
           "sequentialminus": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ]
          },
          "colorway": [
           "#636efa",
           "#EF553B",
           "#00cc96",
           "#ab63fa",
           "#FFA15A",
           "#19d3f3",
           "#FF6692",
           "#B6E880",
           "#FF97FF",
           "#FECB52"
          ],
          "font": {
           "color": "#2a3f5f"
          },
          "geo": {
           "bgcolor": "white",
           "lakecolor": "white",
           "landcolor": "#E5ECF6",
           "showlakes": true,
           "showland": true,
           "subunitcolor": "white"
          },
          "hoverlabel": {
           "align": "left"
          },
          "hovermode": "closest",
          "mapbox": {
           "style": "light"
          },
          "paper_bgcolor": "white",
          "plot_bgcolor": "#E5ECF6",
          "polar": {
           "angularaxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           },
           "bgcolor": "#E5ECF6",
           "radialaxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           }
          },
          "scene": {
           "xaxis": {
            "backgroundcolor": "#E5ECF6",
            "gridcolor": "white",
            "gridwidth": 2,
            "linecolor": "white",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "white"
           },
           "yaxis": {
            "backgroundcolor": "#E5ECF6",
            "gridcolor": "white",
            "gridwidth": 2,
            "linecolor": "white",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "white"
           },
           "zaxis": {
            "backgroundcolor": "#E5ECF6",
            "gridcolor": "white",
            "gridwidth": 2,
            "linecolor": "white",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "white"
           }
          },
          "shapedefaults": {
           "line": {
            "color": "#2a3f5f"
           }
          },
          "ternary": {
           "aaxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           },
           "baxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           },
           "bgcolor": "#E5ECF6",
           "caxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           }
          },
          "title": {
           "x": 0.05
          },
          "xaxis": {
           "automargin": true,
           "gridcolor": "white",
           "linecolor": "white",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "white",
           "zerolinewidth": 2
          },
          "yaxis": {
           "automargin": true,
           "gridcolor": "white",
           "linecolor": "white",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "white",
           "zerolinewidth": 2
          }
         }
        },
        "title": {
         "text": "Hyperparameter Importances"
        },
        "xaxis": {
         "title": {
          "text": "Hyperparameter Importance"
         }
        },
        "yaxis": {
         "title": {
          "text": "Hyperparameter"
         }
        }
       }
      },
      "text/html": [
       "<div>                            <div id=\"44aba8c2-ba53-443a-a3a6-caeeb79af41b\" class=\"plotly-graph-div\" style=\"height:525px; width:100%;\"></div>            <script type=\"text/javascript\">                require([\"plotly\"], function(Plotly) {                    window.PLOTLYENV=window.PLOTLYENV || {};                                    if (document.getElementById(\"44aba8c2-ba53-443a-a3a6-caeeb79af41b\")) {                    Plotly.newPlot(                        \"44aba8c2-ba53-443a-a3a6-caeeb79af41b\",                        [{\"cliponaxis\":false,\"hovertemplate\":[\"max_depth (IntDistribution): 5.485900629377825e-05\\u003cextra\\u003e\\u003c\\u002fextra\\u003e\",\"n_estimators (IntDistribution): 0.0017519017416994585\\u003cextra\\u003e\\u003c\\u002fextra\\u003e\",\"min_samples_split (FloatDistribution): 0.9981932392520068\\u003cextra\\u003e\\u003c\\u002fextra\\u003e\"],\"name\":\"Objective Value\",\"orientation\":\"h\",\"text\":[\"\\u003c0.01\",\"\\u003c0.01\",\"1.00\"],\"textposition\":\"outside\",\"x\":[5.485900629377825e-05,0.0017519017416994585,0.9981932392520068],\"y\":[\"max_depth\",\"n_estimators\",\"min_samples_split\"],\"type\":\"bar\"}],                        {\"title\":{\"text\":\"Hyperparameter Importances\"},\"xaxis\":{\"title\":{\"text\":\"Hyperparameter Importance\"}},\"yaxis\":{\"title\":{\"text\":\"Hyperparameter\"}},\"template\":{\"data\":{\"histogram2dcontour\":[{\"type\":\"histogram2dcontour\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"choropleth\":[{\"type\":\"choropleth\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}],\"histogram2d\":[{\"type\":\"histogram2d\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"heatmap\":[{\"type\":\"heatmap\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"heatmapgl\":[{\"type\":\"heatmapgl\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"contourcarpet\":[{\"type\":\"contourcarpet\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}],\"contour\":[{\"type\":\"contour\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"surface\":[{\"type\":\"surface\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"mesh3d\":[{\"type\":\"mesh3d\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}],\"scatter\":[{\"fillpattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2},\"type\":\"scatter\"}],\"parcoords\":[{\"type\":\"parcoords\",\"line\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatterpolargl\":[{\"type\":\"scatterpolargl\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"bar\":[{\"error_x\":{\"color\":\"#2a3f5f\"},\"error_y\":{\"color\":\"#2a3f5f\"},\"marker\":{\"line\":{\"color\":\"#E5ECF6\",\"width\":0.5},\"pattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2}},\"type\":\"bar\"}],\"scattergeo\":[{\"type\":\"scattergeo\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatterpolar\":[{\"type\":\"scatterpolar\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"histogram\":[{\"marker\":{\"pattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2}},\"type\":\"histogram\"}],\"scattergl\":[{\"type\":\"scattergl\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatter3d\":[{\"type\":\"scatter3d\",\"line\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}},\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scattermapbox\":[{\"type\":\"scattermapbox\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatterternary\":[{\"type\":\"scatterternary\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scattercarpet\":[{\"type\":\"scattercarpet\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"carpet\":[{\"aaxis\":{\"endlinecolor\":\"#2a3f5f\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"minorgridcolor\":\"white\",\"startlinecolor\":\"#2a3f5f\"},\"baxis\":{\"endlinecolor\":\"#2a3f5f\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"minorgridcolor\":\"white\",\"startlinecolor\":\"#2a3f5f\"},\"type\":\"carpet\"}],\"table\":[{\"cells\":{\"fill\":{\"color\":\"#EBF0F8\"},\"line\":{\"color\":\"white\"}},\"header\":{\"fill\":{\"color\":\"#C8D4E3\"},\"line\":{\"color\":\"white\"}},\"type\":\"table\"}],\"barpolar\":[{\"marker\":{\"line\":{\"color\":\"#E5ECF6\",\"width\":0.5},\"pattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2}},\"type\":\"barpolar\"}],\"pie\":[{\"automargin\":true,\"type\":\"pie\"}]},\"layout\":{\"autotypenumbers\":\"strict\",\"colorway\":[\"#636efa\",\"#EF553B\",\"#00cc96\",\"#ab63fa\",\"#FFA15A\",\"#19d3f3\",\"#FF6692\",\"#B6E880\",\"#FF97FF\",\"#FECB52\"],\"font\":{\"color\":\"#2a3f5f\"},\"hovermode\":\"closest\",\"hoverlabel\":{\"align\":\"left\"},\"paper_bgcolor\":\"white\",\"plot_bgcolor\":\"#E5ECF6\",\"polar\":{\"bgcolor\":\"#E5ECF6\",\"angularaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"},\"radialaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"}},\"ternary\":{\"bgcolor\":\"#E5ECF6\",\"aaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"},\"baxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"},\"caxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"}},\"coloraxis\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}},\"colorscale\":{\"sequential\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]],\"sequentialminus\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]],\"diverging\":[[0,\"#8e0152\"],[0.1,\"#c51b7d\"],[0.2,\"#de77ae\"],[0.3,\"#f1b6da\"],[0.4,\"#fde0ef\"],[0.5,\"#f7f7f7\"],[0.6,\"#e6f5d0\"],[0.7,\"#b8e186\"],[0.8,\"#7fbc41\"],[0.9,\"#4d9221\"],[1,\"#276419\"]]},\"xaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\",\"title\":{\"standoff\":15},\"zerolinecolor\":\"white\",\"automargin\":true,\"zerolinewidth\":2},\"yaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\",\"title\":{\"standoff\":15},\"zerolinecolor\":\"white\",\"automargin\":true,\"zerolinewidth\":2},\"scene\":{\"xaxis\":{\"backgroundcolor\":\"#E5ECF6\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"showbackground\":true,\"ticks\":\"\",\"zerolinecolor\":\"white\",\"gridwidth\":2},\"yaxis\":{\"backgroundcolor\":\"#E5ECF6\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"showbackground\":true,\"ticks\":\"\",\"zerolinecolor\":\"white\",\"gridwidth\":2},\"zaxis\":{\"backgroundcolor\":\"#E5ECF6\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"showbackground\":true,\"ticks\":\"\",\"zerolinecolor\":\"white\",\"gridwidth\":2}},\"shapedefaults\":{\"line\":{\"color\":\"#2a3f5f\"}},\"annotationdefaults\":{\"arrowcolor\":\"#2a3f5f\",\"arrowhead\":0,\"arrowwidth\":1},\"geo\":{\"bgcolor\":\"white\",\"landcolor\":\"#E5ECF6\",\"subunitcolor\":\"white\",\"showland\":true,\"showlakes\":true,\"lakecolor\":\"white\"},\"title\":{\"x\":0.05},\"mapbox\":{\"style\":\"light\"}}}},                        {\"responsive\": true}                    ).then(function(){\n",
       "                            \n",
       "var gd = document.getElementById('44aba8c2-ba53-443a-a3a6-caeeb79af41b');\n",
       "var x = new MutationObserver(function (mutations, observer) {{\n",
       "        var display = window.getComputedStyle(gd).display;\n",
       "        if (!display || display === 'none') {{\n",
       "            console.log([gd, 'removed!']);\n",
       "            Plotly.purge(gd);\n",
       "            observer.disconnect();\n",
       "        }}\n",
       "}});\n",
       "\n",
       "// Listen for the removal of the full notebook cells\n",
       "var notebookContainer = gd.closest('#notebook-container');\n",
       "if (notebookContainer) {{\n",
       "    x.observe(notebookContainer, {childList: true});\n",
       "}}\n",
       "\n",
       "// Listen for the clearing of the current output cell\n",
       "var outputEl = gd.closest('.output');\n",
       "if (outputEl) {{\n",
       "    x.observe(outputEl, {childList: true});\n",
       "}}\n",
       "\n",
       "                        })                };                });            </script>        </div>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "optuna.visualization.plot_param_importances(study_tpe)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.plotly.v1+json": {
       "config": {
        "plotlyServerURL": "https://plot.ly"
       },
       "data": [
        {
         "dimensions": [
          {
           "label": "Objective Value",
           "range": [
            0.26666666666666666,
            0.8666666666666667
           ],
           "values": [
            0.26666666666666666,
            0.26666666666666666,
            0.3,
            0.26666666666666666,
            0.8333333333333334,
            0.26666666666666666,
            0.26666666666666666,
            0.8666666666666667,
            0.8666666666666667,
            0.26666666666666666,
            0.8666666666666667,
            0.8666666666666667,
            0.3,
            0.8666666666666667,
            0.8666666666666667,
            0.8333333333333334,
            0.8333333333333334,
            0.8666666666666667,
            0.8333333333333334,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8333333333333334,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.26666666666666666,
            0.8666666666666667,
            0.8333333333333334,
            0.8666666666666667,
            0.8666666666666667,
            0.8333333333333334,
            0.8666666666666667,
            0.4666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8333333333333334,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.3,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.26666666666666666,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8333333333333334,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8333333333333334,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8333333333333334,
            0.8666666666666667,
            0.8666666666666667,
            0.8666666666666667,
            0.8333333333333334
           ]
          },
          {
           "label": "max_depth",
           "range": [
            3,
            20
           ],
           "values": [
            7,
            5,
            12,
            13,
            12,
            3,
            14,
            8,
            8,
            3,
            19,
            8,
            8,
            10,
            16,
            10,
            6,
            10,
            5,
            15,
            9,
            20,
            20,
            18,
            17,
            11,
            6,
            8,
            18,
            7,
            13,
            8,
            6,
            9,
            4,
            11,
            7,
            13,
            9,
            5,
            7,
            10,
            8,
            12,
            9,
            10,
            11,
            14,
            8,
            6,
            4,
            16,
            17,
            19,
            19,
            15,
            12,
            7,
            9,
            19,
            10,
            10,
            8,
            11,
            13,
            9,
            17,
            7,
            20,
            16,
            6,
            14,
            18,
            15,
            12,
            8,
            10,
            15,
            9,
            16,
            11,
            9,
            8,
            7,
            10,
            18,
            9,
            8,
            11,
            9,
            10,
            20,
            19,
            20,
            8,
            17,
            19,
            10,
            18,
            7
           ]
          },
          {
           "label": "min_samples_split",
           "range": [
            0.10904259304446219,
            0.9995775538032676
           ],
           "values": [
            0.7885613884209568,
            0.6731251336910595,
            0.7460270374607401,
            0.716405481517271,
            0.48287034255008887,
            0.726478992651686,
            0.768396315939089,
            0.3373147582832043,
            0.49152076642861253,
            0.7564786664033339,
            0.2036385211184671,
            0.3983512087328144,
            0.9995775538032676,
            0.21481520882185579,
            0.3589117857147432,
            0.11021126290158112,
            0.5685161022131227,
            0.3436789460580176,
            0.5477760737441346,
            0.26028696279115454,
            0.4581553074075378,
            0.25365641571188685,
            0.15268452402359106,
            0.30390796084741845,
            0.4242490489191446,
            0.19026261324533997,
            0.5521616452781566,
            0.30436637527042054,
            0.10904259304446219,
            0.6171141894193716,
            0.857754283552912,
            0.40439616522355987,
            0.4982054696476965,
            0.3861345458114625,
            0.27966683232338113,
            0.45679537979783486,
            0.3399284202968314,
            0.660158508900753,
            0.21444953638278436,
            0.519962234509439,
            0.4328606533510449,
            0.2021529321862006,
            0.15827395719198675,
            0.23411686835277568,
            0.35199912721566773,
            0.3003614018268048,
            0.14888835403367456,
            0.3604923653023533,
            0.4787646944525946,
            0.5988251998278934,
            0.24379758901097914,
            0.37918056076566153,
            0.3167052689481538,
            0.4241100615348053,
            0.17489094389928797,
            0.38789555919124774,
            0.28554253610373126,
            0.5238164375499723,
            0.3288410264486409,
            0.1283789040943628,
            0.23248523484769154,
            0.2639915522664047,
            0.41699666665034646,
            0.4581299180979884,
            0.8405237813684371,
            0.34967898788795304,
            0.3767964567751432,
            0.49911158111048176,
            0.26797256346589343,
            0.9932916555616906,
            0.20991341989002443,
            0.32540891970649344,
            0.2968690767631209,
            0.25168124691749383,
            0.18369521707499992,
            0.4421594179506673,
            0.392215727944018,
            0.2204009960763894,
            0.3469873136378321,
            0.27896106404575116,
            0.1272922297252233,
            0.4684332578481515,
            0.4077710045827576,
            0.5557972202501131,
            0.36807981461743355,
            0.5007806977266386,
            0.5837549301687412,
            0.44094270288175846,
            0.3133488374564388,
            0.16496280429391857,
            0.19857506062069225,
            0.3356434928132019,
            0.26090192347145,
            0.23933100852277533,
            0.2964414255585325,
            0.5294657326396106,
            0.40475114616232244,
            0.2193760150748684,
            0.27915755394957986,
            0.4796829947804756
           ]
          },
          {
           "label": "n_estimators",
           "range": [
            12,
            100
           ],
           "values": [
            37,
            15,
            86,
            90,
            21,
            47,
            87,
            95,
            72,
            35,
            67,
            64,
            98,
            74,
            74,
            56,
            100,
            80,
            54,
            92,
            79,
            67,
            65,
            56,
            74,
            44,
            81,
            68,
            94,
            58,
            28,
            62,
            47,
            71,
            62,
            50,
            86,
            12,
            39,
            84,
            78,
            75,
            70,
            61,
            90,
            96,
            72,
            51,
            83,
            64,
            88,
            77,
            67,
            74,
            58,
            69,
            81,
            100,
            65,
            76,
            60,
            80,
            72,
            92,
            84,
            65,
            54,
            74,
            68,
            78,
            71,
            96,
            89,
            22,
            93,
            82,
            86,
            92,
            73,
            96,
            63,
            79,
            76,
            86,
            70,
            66,
            59,
            90,
            98,
            80,
            84,
            68,
            75,
            62,
            70,
            77,
            73,
            72,
            67,
            57
           ]
          }
         ],
         "labelangle": 30,
         "labelside": "bottom",
         "line": {
          "color": [
           0.26666666666666666,
           0.26666666666666666,
           0.3,
           0.26666666666666666,
           0.8333333333333334,
           0.26666666666666666,
           0.26666666666666666,
           0.8666666666666667,
           0.8666666666666667,
           0.26666666666666666,
           0.8666666666666667,
           0.8666666666666667,
           0.3,
           0.8666666666666667,
           0.8666666666666667,
           0.8333333333333334,
           0.8333333333333334,
           0.8666666666666667,
           0.8333333333333334,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8333333333333334,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.26666666666666666,
           0.8666666666666667,
           0.8333333333333334,
           0.8666666666666667,
           0.8666666666666667,
           0.8333333333333334,
           0.8666666666666667,
           0.4666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8333333333333334,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.3,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.26666666666666666,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8333333333333334,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8333333333333334,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8333333333333334,
           0.8666666666666667,
           0.8666666666666667,
           0.8666666666666667,
           0.8333333333333334
          ],
          "colorbar": {
           "title": {
            "text": "Objective Value"
           }
          },
          "colorscale": [
           [
            0,
            "rgb(247,251,255)"
           ],
           [
            0.125,
            "rgb(222,235,247)"
           ],
           [
            0.25,
            "rgb(198,219,239)"
           ],
           [
            0.375,
            "rgb(158,202,225)"
           ],
           [
            0.5,
            "rgb(107,174,214)"
           ],
           [
            0.625,
            "rgb(66,146,198)"
           ],
           [
            0.75,
            "rgb(33,113,181)"
           ],
           [
            0.875,
            "rgb(8,81,156)"
           ],
           [
            1,
            "rgb(8,48,107)"
           ]
          ],
          "reversescale": false,
          "showscale": true
         },
         "type": "parcoords"
        }
       ],
       "layout": {
        "template": {
         "data": {
          "bar": [
           {
            "error_x": {
             "color": "#2a3f5f"
            },
            "error_y": {
             "color": "#2a3f5f"
            },
            "marker": {
             "line": {
              "color": "#E5ECF6",
              "width": 0.5
             },
             "pattern": {
              "fillmode": "overlay",
              "size": 10,
              "solidity": 0.2
             }
            },
            "type": "bar"
           }
          ],
          "barpolar": [
           {
            "marker": {
             "line": {
              "color": "#E5ECF6",
              "width": 0.5
             },
             "pattern": {
              "fillmode": "overlay",
              "size": 10,
              "solidity": 0.2
             }
            },
            "type": "barpolar"
           }
          ],
          "carpet": [
           {
            "aaxis": {
             "endlinecolor": "#2a3f5f",
             "gridcolor": "white",
             "linecolor": "white",
             "minorgridcolor": "white",
             "startlinecolor": "#2a3f5f"
            },
            "baxis": {
             "endlinecolor": "#2a3f5f",
             "gridcolor": "white",
             "linecolor": "white",
             "minorgridcolor": "white",
             "startlinecolor": "#2a3f5f"
            },
            "type": "carpet"
           }
          ],
          "choropleth": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "choropleth"
           }
          ],
          "contour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "contour"
           }
          ],
          "contourcarpet": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "contourcarpet"
           }
          ],
          "heatmap": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmap"
           }
          ],
          "heatmapgl": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmapgl"
           }
          ],
          "histogram": [
           {
            "marker": {
             "pattern": {
              "fillmode": "overlay",
              "size": 10,
              "solidity": 0.2
             }
            },
            "type": "histogram"
           }
          ],
          "histogram2d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2d"
           }
          ],
          "histogram2dcontour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2dcontour"
           }
          ],
          "mesh3d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "mesh3d"
           }
          ],
          "parcoords": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "parcoords"
           }
          ],
          "pie": [
           {
            "automargin": true,
            "type": "pie"
           }
          ],
          "scatter": [
           {
            "fillpattern": {
             "fillmode": "overlay",
             "size": 10,
             "solidity": 0.2
            },
            "type": "scatter"
           }
          ],
          "scatter3d": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatter3d"
           }
          ],
          "scattercarpet": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattercarpet"
           }
          ],
          "scattergeo": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattergeo"
           }
          ],
          "scattergl": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattergl"
           }
          ],
          "scattermapbox": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattermapbox"
           }
          ],
          "scatterpolar": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolar"
           }
          ],
          "scatterpolargl": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolargl"
           }
          ],
          "scatterternary": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterternary"
           }
          ],
          "surface": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "surface"
           }
          ],
          "table": [
           {
            "cells": {
             "fill": {
              "color": "#EBF0F8"
             },
             "line": {
              "color": "white"
             }
            },
            "header": {
             "fill": {
              "color": "#C8D4E3"
             },
             "line": {
              "color": "white"
             }
            },
            "type": "table"
           }
          ]
         },
         "layout": {
          "annotationdefaults": {
           "arrowcolor": "#2a3f5f",
           "arrowhead": 0,
           "arrowwidth": 1
          },
          "autotypenumbers": "strict",
          "coloraxis": {
           "colorbar": {
            "outlinewidth": 0,
            "ticks": ""
           }
          },
          "colorscale": {
           "diverging": [
            [
             0,
             "#8e0152"
            ],
            [
             0.1,
             "#c51b7d"
            ],
            [
             0.2,
             "#de77ae"
            ],
            [
             0.3,
             "#f1b6da"
            ],
            [
             0.4,
             "#fde0ef"
            ],
            [
             0.5,
             "#f7f7f7"
            ],
            [
             0.6,
             "#e6f5d0"
            ],
            [
             0.7,
             "#b8e186"
            ],
            [
             0.8,
             "#7fbc41"
            ],
            [
             0.9,
             "#4d9221"
            ],
            [
             1,
             "#276419"
            ]
           ],
           "sequential": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ],
           "sequentialminus": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ]
          },
          "colorway": [
           "#636efa",
           "#EF553B",
           "#00cc96",
           "#ab63fa",
           "#FFA15A",
           "#19d3f3",
           "#FF6692",
           "#B6E880",
           "#FF97FF",
           "#FECB52"
          ],
          "font": {
           "color": "#2a3f5f"
          },
          "geo": {
           "bgcolor": "white",
           "lakecolor": "white",
           "landcolor": "#E5ECF6",
           "showlakes": true,
           "showland": true,
           "subunitcolor": "white"
          },
          "hoverlabel": {
           "align": "left"
          },
          "hovermode": "closest",
          "mapbox": {
           "style": "light"
          },
          "paper_bgcolor": "white",
          "plot_bgcolor": "#E5ECF6",
          "polar": {
           "angularaxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           },
           "bgcolor": "#E5ECF6",
           "radialaxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           }
          },
          "scene": {
           "xaxis": {
            "backgroundcolor": "#E5ECF6",
            "gridcolor": "white",
            "gridwidth": 2,
            "linecolor": "white",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "white"
           },
           "yaxis": {
            "backgroundcolor": "#E5ECF6",
            "gridcolor": "white",
            "gridwidth": 2,
            "linecolor": "white",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "white"
           },
           "zaxis": {
            "backgroundcolor": "#E5ECF6",
            "gridcolor": "white",
            "gridwidth": 2,
            "linecolor": "white",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "white"
           }
          },
          "shapedefaults": {
           "line": {
            "color": "#2a3f5f"
           }
          },
          "ternary": {
           "aaxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           },
           "baxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           },
           "bgcolor": "#E5ECF6",
           "caxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           }
          },
          "title": {
           "x": 0.05
          },
          "xaxis": {
           "automargin": true,
           "gridcolor": "white",
           "linecolor": "white",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "white",
           "zerolinewidth": 2
          },
          "yaxis": {
           "automargin": true,
           "gridcolor": "white",
           "linecolor": "white",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "white",
           "zerolinewidth": 2
          }
         }
        },
        "title": {
         "text": "Parallel Coordinate Plot"
        }
       }
      },
      "text/html": [
       "<div>                            <div id=\"9f9640c5-7881-4fde-9510-d7a5ee038b6f\" class=\"plotly-graph-div\" style=\"height:525px; width:100%;\"></div>            <script type=\"text/javascript\">                require([\"plotly\"], function(Plotly) {                    window.PLOTLYENV=window.PLOTLYENV || {};                                    if (document.getElementById(\"9f9640c5-7881-4fde-9510-d7a5ee038b6f\")) {                    Plotly.newPlot(                        \"9f9640c5-7881-4fde-9510-d7a5ee038b6f\",                        [{\"dimensions\":[{\"label\":\"Objective Value\",\"range\":[0.26666666666666666,0.8666666666666667],\"values\":[0.26666666666666666,0.26666666666666666,0.3,0.26666666666666666,0.8333333333333334,0.26666666666666666,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.3,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8333333333333334,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.4666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.3,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334]},{\"label\":\"max_depth\",\"range\":[3,20],\"values\":[7,5,12,13,12,3,14,8,8,3,19,8,8,10,16,10,6,10,5,15,9,20,20,18,17,11,6,8,18,7,13,8,6,9,4,11,7,13,9,5,7,10,8,12,9,10,11,14,8,6,4,16,17,19,19,15,12,7,9,19,10,10,8,11,13,9,17,7,20,16,6,14,18,15,12,8,10,15,9,16,11,9,8,7,10,18,9,8,11,9,10,20,19,20,8,17,19,10,18,7]},{\"label\":\"min_samples_split\",\"range\":[0.10904259304446219,0.9995775538032676],\"values\":[0.7885613884209568,0.6731251336910595,0.7460270374607401,0.716405481517271,0.48287034255008887,0.726478992651686,0.768396315939089,0.3373147582832043,0.49152076642861253,0.7564786664033339,0.2036385211184671,0.3983512087328144,0.9995775538032676,0.21481520882185579,0.3589117857147432,0.11021126290158112,0.5685161022131227,0.3436789460580176,0.5477760737441346,0.26028696279115454,0.4581553074075378,0.25365641571188685,0.15268452402359106,0.30390796084741845,0.4242490489191446,0.19026261324533997,0.5521616452781566,0.30436637527042054,0.10904259304446219,0.6171141894193716,0.857754283552912,0.40439616522355987,0.4982054696476965,0.3861345458114625,0.27966683232338113,0.45679537979783486,0.3399284202968314,0.660158508900753,0.21444953638278436,0.519962234509439,0.4328606533510449,0.2021529321862006,0.15827395719198675,0.23411686835277568,0.35199912721566773,0.3003614018268048,0.14888835403367456,0.3604923653023533,0.4787646944525946,0.5988251998278934,0.24379758901097914,0.37918056076566153,0.3167052689481538,0.4241100615348053,0.17489094389928797,0.38789555919124774,0.28554253610373126,0.5238164375499723,0.3288410264486409,0.1283789040943628,0.23248523484769154,0.2639915522664047,0.41699666665034646,0.4581299180979884,0.8405237813684371,0.34967898788795304,0.3767964567751432,0.49911158111048176,0.26797256346589343,0.9932916555616906,0.20991341989002443,0.32540891970649344,0.2968690767631209,0.25168124691749383,0.18369521707499992,0.4421594179506673,0.392215727944018,0.2204009960763894,0.3469873136378321,0.27896106404575116,0.1272922297252233,0.4684332578481515,0.4077710045827576,0.5557972202501131,0.36807981461743355,0.5007806977266386,0.5837549301687412,0.44094270288175846,0.3133488374564388,0.16496280429391857,0.19857506062069225,0.3356434928132019,0.26090192347145,0.23933100852277533,0.2964414255585325,0.5294657326396106,0.40475114616232244,0.2193760150748684,0.27915755394957986,0.4796829947804756]},{\"label\":\"n_estimators\",\"range\":[12,100],\"values\":[37,15,86,90,21,47,87,95,72,35,67,64,98,74,74,56,100,80,54,92,79,67,65,56,74,44,81,68,94,58,28,62,47,71,62,50,86,12,39,84,78,75,70,61,90,96,72,51,83,64,88,77,67,74,58,69,81,100,65,76,60,80,72,92,84,65,54,74,68,78,71,96,89,22,93,82,86,92,73,96,63,79,76,86,70,66,59,90,98,80,84,68,75,62,70,77,73,72,67,57]}],\"labelangle\":30,\"labelside\":\"bottom\",\"line\":{\"color\":[0.26666666666666666,0.26666666666666666,0.3,0.26666666666666666,0.8333333333333334,0.26666666666666666,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.3,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8333333333333334,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.4666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.3,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334],\"colorbar\":{\"title\":{\"text\":\"Objective Value\"}},\"colorscale\":[[0.0,\"rgb(247,251,255)\"],[0.125,\"rgb(222,235,247)\"],[0.25,\"rgb(198,219,239)\"],[0.375,\"rgb(158,202,225)\"],[0.5,\"rgb(107,174,214)\"],[0.625,\"rgb(66,146,198)\"],[0.75,\"rgb(33,113,181)\"],[0.875,\"rgb(8,81,156)\"],[1.0,\"rgb(8,48,107)\"]],\"reversescale\":false,\"showscale\":true},\"type\":\"parcoords\"}],                        {\"title\":{\"text\":\"Parallel Coordinate Plot\"},\"template\":{\"data\":{\"histogram2dcontour\":[{\"type\":\"histogram2dcontour\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"choropleth\":[{\"type\":\"choropleth\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}],\"histogram2d\":[{\"type\":\"histogram2d\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"heatmap\":[{\"type\":\"heatmap\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"heatmapgl\":[{\"type\":\"heatmapgl\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"contourcarpet\":[{\"type\":\"contourcarpet\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}],\"contour\":[{\"type\":\"contour\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"surface\":[{\"type\":\"surface\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"mesh3d\":[{\"type\":\"mesh3d\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}],\"scatter\":[{\"fillpattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2},\"type\":\"scatter\"}],\"parcoords\":[{\"type\":\"parcoords\",\"line\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatterpolargl\":[{\"type\":\"scatterpolargl\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"bar\":[{\"error_x\":{\"color\":\"#2a3f5f\"},\"error_y\":{\"color\":\"#2a3f5f\"},\"marker\":{\"line\":{\"color\":\"#E5ECF6\",\"width\":0.5},\"pattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2}},\"type\":\"bar\"}],\"scattergeo\":[{\"type\":\"scattergeo\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatterpolar\":[{\"type\":\"scatterpolar\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"histogram\":[{\"marker\":{\"pattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2}},\"type\":\"histogram\"}],\"scattergl\":[{\"type\":\"scattergl\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatter3d\":[{\"type\":\"scatter3d\",\"line\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}},\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scattermapbox\":[{\"type\":\"scattermapbox\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatterternary\":[{\"type\":\"scatterternary\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scattercarpet\":[{\"type\":\"scattercarpet\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"carpet\":[{\"aaxis\":{\"endlinecolor\":\"#2a3f5f\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"minorgridcolor\":\"white\",\"startlinecolor\":\"#2a3f5f\"},\"baxis\":{\"endlinecolor\":\"#2a3f5f\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"minorgridcolor\":\"white\",\"startlinecolor\":\"#2a3f5f\"},\"type\":\"carpet\"}],\"table\":[{\"cells\":{\"fill\":{\"color\":\"#EBF0F8\"},\"line\":{\"color\":\"white\"}},\"header\":{\"fill\":{\"color\":\"#C8D4E3\"},\"line\":{\"color\":\"white\"}},\"type\":\"table\"}],\"barpolar\":[{\"marker\":{\"line\":{\"color\":\"#E5ECF6\",\"width\":0.5},\"pattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2}},\"type\":\"barpolar\"}],\"pie\":[{\"automargin\":true,\"type\":\"pie\"}]},\"layout\":{\"autotypenumbers\":\"strict\",\"colorway\":[\"#636efa\",\"#EF553B\",\"#00cc96\",\"#ab63fa\",\"#FFA15A\",\"#19d3f3\",\"#FF6692\",\"#B6E880\",\"#FF97FF\",\"#FECB52\"],\"font\":{\"color\":\"#2a3f5f\"},\"hovermode\":\"closest\",\"hoverlabel\":{\"align\":\"left\"},\"paper_bgcolor\":\"white\",\"plot_bgcolor\":\"#E5ECF6\",\"polar\":{\"bgcolor\":\"#E5ECF6\",\"angularaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"},\"radialaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"}},\"ternary\":{\"bgcolor\":\"#E5ECF6\",\"aaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"},\"baxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"},\"caxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"}},\"coloraxis\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}},\"colorscale\":{\"sequential\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]],\"sequentialminus\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]],\"diverging\":[[0,\"#8e0152\"],[0.1,\"#c51b7d\"],[0.2,\"#de77ae\"],[0.3,\"#f1b6da\"],[0.4,\"#fde0ef\"],[0.5,\"#f7f7f7\"],[0.6,\"#e6f5d0\"],[0.7,\"#b8e186\"],[0.8,\"#7fbc41\"],[0.9,\"#4d9221\"],[1,\"#276419\"]]},\"xaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\",\"title\":{\"standoff\":15},\"zerolinecolor\":\"white\",\"automargin\":true,\"zerolinewidth\":2},\"yaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\",\"title\":{\"standoff\":15},\"zerolinecolor\":\"white\",\"automargin\":true,\"zerolinewidth\":2},\"scene\":{\"xaxis\":{\"backgroundcolor\":\"#E5ECF6\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"showbackground\":true,\"ticks\":\"\",\"zerolinecolor\":\"white\",\"gridwidth\":2},\"yaxis\":{\"backgroundcolor\":\"#E5ECF6\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"showbackground\":true,\"ticks\":\"\",\"zerolinecolor\":\"white\",\"gridwidth\":2},\"zaxis\":{\"backgroundcolor\":\"#E5ECF6\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"showbackground\":true,\"ticks\":\"\",\"zerolinecolor\":\"white\",\"gridwidth\":2}},\"shapedefaults\":{\"line\":{\"color\":\"#2a3f5f\"}},\"annotationdefaults\":{\"arrowcolor\":\"#2a3f5f\",\"arrowhead\":0,\"arrowwidth\":1},\"geo\":{\"bgcolor\":\"white\",\"landcolor\":\"#E5ECF6\",\"subunitcolor\":\"white\",\"showland\":true,\"showlakes\":true,\"lakecolor\":\"white\"},\"title\":{\"x\":0.05},\"mapbox\":{\"style\":\"light\"}}}},                        {\"responsive\": true}                    ).then(function(){\n",
       "                            \n",
       "var gd = document.getElementById('9f9640c5-7881-4fde-9510-d7a5ee038b6f');\n",
       "var x = new MutationObserver(function (mutations, observer) {{\n",
       "        var display = window.getComputedStyle(gd).display;\n",
       "        if (!display || display === 'none') {{\n",
       "            console.log([gd, 'removed!']);\n",
       "            Plotly.purge(gd);\n",
       "            observer.disconnect();\n",
       "        }}\n",
       "}});\n",
       "\n",
       "// Listen for the removal of the full notebook cells\n",
       "var notebookContainer = gd.closest('#notebook-container');\n",
       "if (notebookContainer) {{\n",
       "    x.observe(notebookContainer, {childList: true});\n",
       "}}\n",
       "\n",
       "// Listen for the clearing of the current output cell\n",
       "var outputEl = gd.closest('.output');\n",
       "if (outputEl) {{\n",
       "    x.observe(outputEl, {childList: true});\n",
       "}}\n",
       "\n",
       "                        })                };                });            </script>        </div>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "optuna.visualization.plot_parallel_coordinate(study_tpe)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.plotly.v1+json": {
       "config": {
        "plotlyServerURL": "https://plot.ly"
       },
       "data": [
        {
         "marker": {
          "color": [
           0,
           1,
           2,
           3,
           4,
           5,
           6,
           7,
           8,
           9,
           10,
           11,
           12,
           13,
           14,
           15,
           16,
           17,
           18,
           19,
           20,
           21,
           22,
           23,
           24,
           25,
           26,
           27,
           28,
           29,
           30,
           31,
           32,
           33,
           34,
           35,
           36,
           37,
           38,
           39,
           40,
           41,
           42,
           43,
           44,
           45,
           46,
           47,
           48,
           49,
           50,
           51,
           52,
           53,
           54,
           55,
           56,
           57,
           58,
           59,
           60,
           61,
           62,
           63,
           64,
           65,
           66,
           67,
           68,
           69,
           70,
           71,
           72,
           73,
           74,
           75,
           76,
           77,
           78,
           79,
           80,
           81,
           82,
           83,
           84,
           85,
           86,
           87,
           88,
           89,
           90,
           91,
           92,
           93,
           94,
           95,
           96,
           97,
           98,
           99
          ],
          "colorbar": {
           "title": {
            "text": "Trial"
           },
           "x": 1,
           "xpad": 40
          },
          "colorscale": [
           [
            0,
            "rgb(247,251,255)"
           ],
           [
            0.125,
            "rgb(222,235,247)"
           ],
           [
            0.25,
            "rgb(198,219,239)"
           ],
           [
            0.375,
            "rgb(158,202,225)"
           ],
           [
            0.5,
            "rgb(107,174,214)"
           ],
           [
            0.625,
            "rgb(66,146,198)"
           ],
           [
            0.75,
            "rgb(33,113,181)"
           ],
           [
            0.875,
            "rgb(8,81,156)"
           ],
           [
            1,
            "rgb(8,48,107)"
           ]
          ],
          "line": {
           "color": "Grey",
           "width": 0.5
          },
          "showscale": true
         },
         "mode": "markers",
         "name": "Feasible Trial",
         "showlegend": false,
         "type": "scatter",
         "x": [
          7,
          5,
          12,
          13,
          12,
          3,
          14,
          8,
          8,
          3,
          19,
          8,
          8,
          10,
          16,
          10,
          6,
          10,
          5,
          15,
          9,
          20,
          20,
          18,
          17,
          11,
          6,
          8,
          18,
          7,
          13,
          8,
          6,
          9,
          4,
          11,
          7,
          13,
          9,
          5,
          7,
          10,
          8,
          12,
          9,
          10,
          11,
          14,
          8,
          6,
          4,
          16,
          17,
          19,
          19,
          15,
          12,
          7,
          9,
          19,
          10,
          10,
          8,
          11,
          13,
          9,
          17,
          7,
          20,
          16,
          6,
          14,
          18,
          15,
          12,
          8,
          10,
          15,
          9,
          16,
          11,
          9,
          8,
          7,
          10,
          18,
          9,
          8,
          11,
          9,
          10,
          20,
          19,
          20,
          8,
          17,
          19,
          10,
          18,
          7
         ],
         "xaxis": "x",
         "y": [
          0.26666666666666666,
          0.26666666666666666,
          0.3,
          0.26666666666666666,
          0.8333333333333334,
          0.26666666666666666,
          0.26666666666666666,
          0.8666666666666667,
          0.8666666666666667,
          0.26666666666666666,
          0.8666666666666667,
          0.8666666666666667,
          0.3,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8333333333333334,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.26666666666666666,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.4666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.3,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.26666666666666666,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334
         ],
         "yaxis": "y"
        },
        {
         "marker": {
          "color": [
           0,
           1,
           2,
           3,
           4,
           5,
           6,
           7,
           8,
           9,
           10,
           11,
           12,
           13,
           14,
           15,
           16,
           17,
           18,
           19,
           20,
           21,
           22,
           23,
           24,
           25,
           26,
           27,
           28,
           29,
           30,
           31,
           32,
           33,
           34,
           35,
           36,
           37,
           38,
           39,
           40,
           41,
           42,
           43,
           44,
           45,
           46,
           47,
           48,
           49,
           50,
           51,
           52,
           53,
           54,
           55,
           56,
           57,
           58,
           59,
           60,
           61,
           62,
           63,
           64,
           65,
           66,
           67,
           68,
           69,
           70,
           71,
           72,
           73,
           74,
           75,
           76,
           77,
           78,
           79,
           80,
           81,
           82,
           83,
           84,
           85,
           86,
           87,
           88,
           89,
           90,
           91,
           92,
           93,
           94,
           95,
           96,
           97,
           98,
           99
          ],
          "colorbar": {
           "title": {
            "text": "Trial"
           },
           "x": 1,
           "xpad": 40
          },
          "colorscale": [
           [
            0,
            "rgb(247,251,255)"
           ],
           [
            0.125,
            "rgb(222,235,247)"
           ],
           [
            0.25,
            "rgb(198,219,239)"
           ],
           [
            0.375,
            "rgb(158,202,225)"
           ],
           [
            0.5,
            "rgb(107,174,214)"
           ],
           [
            0.625,
            "rgb(66,146,198)"
           ],
           [
            0.75,
            "rgb(33,113,181)"
           ],
           [
            0.875,
            "rgb(8,81,156)"
           ],
           [
            1,
            "rgb(8,48,107)"
           ]
          ],
          "line": {
           "color": "Grey",
           "width": 0.5
          },
          "showscale": false
         },
         "mode": "markers",
         "name": "Feasible Trial",
         "showlegend": false,
         "type": "scatter",
         "x": [
          0.7885613884209568,
          0.6731251336910595,
          0.7460270374607401,
          0.716405481517271,
          0.48287034255008887,
          0.726478992651686,
          0.768396315939089,
          0.3373147582832043,
          0.49152076642861253,
          0.7564786664033339,
          0.2036385211184671,
          0.3983512087328144,
          0.9995775538032676,
          0.21481520882185579,
          0.3589117857147432,
          0.11021126290158112,
          0.5685161022131227,
          0.3436789460580176,
          0.5477760737441346,
          0.26028696279115454,
          0.4581553074075378,
          0.25365641571188685,
          0.15268452402359106,
          0.30390796084741845,
          0.4242490489191446,
          0.19026261324533997,
          0.5521616452781566,
          0.30436637527042054,
          0.10904259304446219,
          0.6171141894193716,
          0.857754283552912,
          0.40439616522355987,
          0.4982054696476965,
          0.3861345458114625,
          0.27966683232338113,
          0.45679537979783486,
          0.3399284202968314,
          0.660158508900753,
          0.21444953638278436,
          0.519962234509439,
          0.4328606533510449,
          0.2021529321862006,
          0.15827395719198675,
          0.23411686835277568,
          0.35199912721566773,
          0.3003614018268048,
          0.14888835403367456,
          0.3604923653023533,
          0.4787646944525946,
          0.5988251998278934,
          0.24379758901097914,
          0.37918056076566153,
          0.3167052689481538,
          0.4241100615348053,
          0.17489094389928797,
          0.38789555919124774,
          0.28554253610373126,
          0.5238164375499723,
          0.3288410264486409,
          0.1283789040943628,
          0.23248523484769154,
          0.2639915522664047,
          0.41699666665034646,
          0.4581299180979884,
          0.8405237813684371,
          0.34967898788795304,
          0.3767964567751432,
          0.49911158111048176,
          0.26797256346589343,
          0.9932916555616906,
          0.20991341989002443,
          0.32540891970649344,
          0.2968690767631209,
          0.25168124691749383,
          0.18369521707499992,
          0.4421594179506673,
          0.392215727944018,
          0.2204009960763894,
          0.3469873136378321,
          0.27896106404575116,
          0.1272922297252233,
          0.4684332578481515,
          0.4077710045827576,
          0.5557972202501131,
          0.36807981461743355,
          0.5007806977266386,
          0.5837549301687412,
          0.44094270288175846,
          0.3133488374564388,
          0.16496280429391857,
          0.19857506062069225,
          0.3356434928132019,
          0.26090192347145,
          0.23933100852277533,
          0.2964414255585325,
          0.5294657326396106,
          0.40475114616232244,
          0.2193760150748684,
          0.27915755394957986,
          0.4796829947804756
         ],
         "xaxis": "x2",
         "y": [
          0.26666666666666666,
          0.26666666666666666,
          0.3,
          0.26666666666666666,
          0.8333333333333334,
          0.26666666666666666,
          0.26666666666666666,
          0.8666666666666667,
          0.8666666666666667,
          0.26666666666666666,
          0.8666666666666667,
          0.8666666666666667,
          0.3,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8333333333333334,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.26666666666666666,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.4666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.3,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.26666666666666666,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334
         ],
         "yaxis": "y2"
        },
        {
         "marker": {
          "color": [
           0,
           1,
           2,
           3,
           4,
           5,
           6,
           7,
           8,
           9,
           10,
           11,
           12,
           13,
           14,
           15,
           16,
           17,
           18,
           19,
           20,
           21,
           22,
           23,
           24,
           25,
           26,
           27,
           28,
           29,
           30,
           31,
           32,
           33,
           34,
           35,
           36,
           37,
           38,
           39,
           40,
           41,
           42,
           43,
           44,
           45,
           46,
           47,
           48,
           49,
           50,
           51,
           52,
           53,
           54,
           55,
           56,
           57,
           58,
           59,
           60,
           61,
           62,
           63,
           64,
           65,
           66,
           67,
           68,
           69,
           70,
           71,
           72,
           73,
           74,
           75,
           76,
           77,
           78,
           79,
           80,
           81,
           82,
           83,
           84,
           85,
           86,
           87,
           88,
           89,
           90,
           91,
           92,
           93,
           94,
           95,
           96,
           97,
           98,
           99
          ],
          "colorbar": {
           "title": {
            "text": "Trial"
           },
           "x": 1,
           "xpad": 40
          },
          "colorscale": [
           [
            0,
            "rgb(247,251,255)"
           ],
           [
            0.125,
            "rgb(222,235,247)"
           ],
           [
            0.25,
            "rgb(198,219,239)"
           ],
           [
            0.375,
            "rgb(158,202,225)"
           ],
           [
            0.5,
            "rgb(107,174,214)"
           ],
           [
            0.625,
            "rgb(66,146,198)"
           ],
           [
            0.75,
            "rgb(33,113,181)"
           ],
           [
            0.875,
            "rgb(8,81,156)"
           ],
           [
            1,
            "rgb(8,48,107)"
           ]
          ],
          "line": {
           "color": "Grey",
           "width": 0.5
          },
          "showscale": false
         },
         "mode": "markers",
         "name": "Feasible Trial",
         "showlegend": false,
         "type": "scatter",
         "x": [
          37,
          15,
          86,
          90,
          21,
          47,
          87,
          95,
          72,
          35,
          67,
          64,
          98,
          74,
          74,
          56,
          100,
          80,
          54,
          92,
          79,
          67,
          65,
          56,
          74,
          44,
          81,
          68,
          94,
          58,
          28,
          62,
          47,
          71,
          62,
          50,
          86,
          12,
          39,
          84,
          78,
          75,
          70,
          61,
          90,
          96,
          72,
          51,
          83,
          64,
          88,
          77,
          67,
          74,
          58,
          69,
          81,
          100,
          65,
          76,
          60,
          80,
          72,
          92,
          84,
          65,
          54,
          74,
          68,
          78,
          71,
          96,
          89,
          22,
          93,
          82,
          86,
          92,
          73,
          96,
          63,
          79,
          76,
          86,
          70,
          66,
          59,
          90,
          98,
          80,
          84,
          68,
          75,
          62,
          70,
          77,
          73,
          72,
          67,
          57
         ],
         "xaxis": "x3",
         "y": [
          0.26666666666666666,
          0.26666666666666666,
          0.3,
          0.26666666666666666,
          0.8333333333333334,
          0.26666666666666666,
          0.26666666666666666,
          0.8666666666666667,
          0.8666666666666667,
          0.26666666666666666,
          0.8666666666666667,
          0.8666666666666667,
          0.3,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8333333333333334,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.26666666666666666,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.4666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.3,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.26666666666666666,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334,
          0.8666666666666667,
          0.8666666666666667,
          0.8666666666666667,
          0.8333333333333334
         ],
         "yaxis": "y3"
        }
       ],
       "layout": {
        "template": {
         "data": {
          "bar": [
           {
            "error_x": {
             "color": "#2a3f5f"
            },
            "error_y": {
             "color": "#2a3f5f"
            },
            "marker": {
             "line": {
              "color": "#E5ECF6",
              "width": 0.5
             },
             "pattern": {
              "fillmode": "overlay",
              "size": 10,
              "solidity": 0.2
             }
            },
            "type": "bar"
           }
          ],
          "barpolar": [
           {
            "marker": {
             "line": {
              "color": "#E5ECF6",
              "width": 0.5
             },
             "pattern": {
              "fillmode": "overlay",
              "size": 10,
              "solidity": 0.2
             }
            },
            "type": "barpolar"
           }
          ],
          "carpet": [
           {
            "aaxis": {
             "endlinecolor": "#2a3f5f",
             "gridcolor": "white",
             "linecolor": "white",
             "minorgridcolor": "white",
             "startlinecolor": "#2a3f5f"
            },
            "baxis": {
             "endlinecolor": "#2a3f5f",
             "gridcolor": "white",
             "linecolor": "white",
             "minorgridcolor": "white",
             "startlinecolor": "#2a3f5f"
            },
            "type": "carpet"
           }
          ],
          "choropleth": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "choropleth"
           }
          ],
          "contour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "contour"
           }
          ],
          "contourcarpet": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "contourcarpet"
           }
          ],
          "heatmap": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmap"
           }
          ],
          "heatmapgl": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "heatmapgl"
           }
          ],
          "histogram": [
           {
            "marker": {
             "pattern": {
              "fillmode": "overlay",
              "size": 10,
              "solidity": 0.2
             }
            },
            "type": "histogram"
           }
          ],
          "histogram2d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2d"
           }
          ],
          "histogram2dcontour": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "histogram2dcontour"
           }
          ],
          "mesh3d": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "type": "mesh3d"
           }
          ],
          "parcoords": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "parcoords"
           }
          ],
          "pie": [
           {
            "automargin": true,
            "type": "pie"
           }
          ],
          "scatter": [
           {
            "fillpattern": {
             "fillmode": "overlay",
             "size": 10,
             "solidity": 0.2
            },
            "type": "scatter"
           }
          ],
          "scatter3d": [
           {
            "line": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatter3d"
           }
          ],
          "scattercarpet": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattercarpet"
           }
          ],
          "scattergeo": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattergeo"
           }
          ],
          "scattergl": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattergl"
           }
          ],
          "scattermapbox": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scattermapbox"
           }
          ],
          "scatterpolar": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolar"
           }
          ],
          "scatterpolargl": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterpolargl"
           }
          ],
          "scatterternary": [
           {
            "marker": {
             "colorbar": {
              "outlinewidth": 0,
              "ticks": ""
             }
            },
            "type": "scatterternary"
           }
          ],
          "surface": [
           {
            "colorbar": {
             "outlinewidth": 0,
             "ticks": ""
            },
            "colorscale": [
             [
              0,
              "#0d0887"
             ],
             [
              0.1111111111111111,
              "#46039f"
             ],
             [
              0.2222222222222222,
              "#7201a8"
             ],
             [
              0.3333333333333333,
              "#9c179e"
             ],
             [
              0.4444444444444444,
              "#bd3786"
             ],
             [
              0.5555555555555556,
              "#d8576b"
             ],
             [
              0.6666666666666666,
              "#ed7953"
             ],
             [
              0.7777777777777778,
              "#fb9f3a"
             ],
             [
              0.8888888888888888,
              "#fdca26"
             ],
             [
              1,
              "#f0f921"
             ]
            ],
            "type": "surface"
           }
          ],
          "table": [
           {
            "cells": {
             "fill": {
              "color": "#EBF0F8"
             },
             "line": {
              "color": "white"
             }
            },
            "header": {
             "fill": {
              "color": "#C8D4E3"
             },
             "line": {
              "color": "white"
             }
            },
            "type": "table"
           }
          ]
         },
         "layout": {
          "annotationdefaults": {
           "arrowcolor": "#2a3f5f",
           "arrowhead": 0,
           "arrowwidth": 1
          },
          "autotypenumbers": "strict",
          "coloraxis": {
           "colorbar": {
            "outlinewidth": 0,
            "ticks": ""
           }
          },
          "colorscale": {
           "diverging": [
            [
             0,
             "#8e0152"
            ],
            [
             0.1,
             "#c51b7d"
            ],
            [
             0.2,
             "#de77ae"
            ],
            [
             0.3,
             "#f1b6da"
            ],
            [
             0.4,
             "#fde0ef"
            ],
            [
             0.5,
             "#f7f7f7"
            ],
            [
             0.6,
             "#e6f5d0"
            ],
            [
             0.7,
             "#b8e186"
            ],
            [
             0.8,
             "#7fbc41"
            ],
            [
             0.9,
             "#4d9221"
            ],
            [
             1,
             "#276419"
            ]
           ],
           "sequential": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ],
           "sequentialminus": [
            [
             0,
             "#0d0887"
            ],
            [
             0.1111111111111111,
             "#46039f"
            ],
            [
             0.2222222222222222,
             "#7201a8"
            ],
            [
             0.3333333333333333,
             "#9c179e"
            ],
            [
             0.4444444444444444,
             "#bd3786"
            ],
            [
             0.5555555555555556,
             "#d8576b"
            ],
            [
             0.6666666666666666,
             "#ed7953"
            ],
            [
             0.7777777777777778,
             "#fb9f3a"
            ],
            [
             0.8888888888888888,
             "#fdca26"
            ],
            [
             1,
             "#f0f921"
            ]
           ]
          },
          "colorway": [
           "#636efa",
           "#EF553B",
           "#00cc96",
           "#ab63fa",
           "#FFA15A",
           "#19d3f3",
           "#FF6692",
           "#B6E880",
           "#FF97FF",
           "#FECB52"
          ],
          "font": {
           "color": "#2a3f5f"
          },
          "geo": {
           "bgcolor": "white",
           "lakecolor": "white",
           "landcolor": "#E5ECF6",
           "showlakes": true,
           "showland": true,
           "subunitcolor": "white"
          },
          "hoverlabel": {
           "align": "left"
          },
          "hovermode": "closest",
          "mapbox": {
           "style": "light"
          },
          "paper_bgcolor": "white",
          "plot_bgcolor": "#E5ECF6",
          "polar": {
           "angularaxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           },
           "bgcolor": "#E5ECF6",
           "radialaxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           }
          },
          "scene": {
           "xaxis": {
            "backgroundcolor": "#E5ECF6",
            "gridcolor": "white",
            "gridwidth": 2,
            "linecolor": "white",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "white"
           },
           "yaxis": {
            "backgroundcolor": "#E5ECF6",
            "gridcolor": "white",
            "gridwidth": 2,
            "linecolor": "white",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "white"
           },
           "zaxis": {
            "backgroundcolor": "#E5ECF6",
            "gridcolor": "white",
            "gridwidth": 2,
            "linecolor": "white",
            "showbackground": true,
            "ticks": "",
            "zerolinecolor": "white"
           }
          },
          "shapedefaults": {
           "line": {
            "color": "#2a3f5f"
           }
          },
          "ternary": {
           "aaxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           },
           "baxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           },
           "bgcolor": "#E5ECF6",
           "caxis": {
            "gridcolor": "white",
            "linecolor": "white",
            "ticks": ""
           }
          },
          "title": {
           "x": 0.05
          },
          "xaxis": {
           "automargin": true,
           "gridcolor": "white",
           "linecolor": "white",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "white",
           "zerolinewidth": 2
          },
          "yaxis": {
           "automargin": true,
           "gridcolor": "white",
           "linecolor": "white",
           "ticks": "",
           "title": {
            "standoff": 15
           },
           "zerolinecolor": "white",
           "zerolinewidth": 2
          }
         }
        },
        "title": {
         "text": "Slice Plot"
        },
        "xaxis": {
         "anchor": "y",
         "domain": [
          0,
          0.2888888888888889
         ],
         "title": {
          "text": "max_depth"
         }
        },
        "xaxis2": {
         "anchor": "y2",
         "domain": [
          0.35555555555555557,
          0.6444444444444445
         ],
         "title": {
          "text": "min_samples_split"
         }
        },
        "xaxis3": {
         "anchor": "y3",
         "domain": [
          0.7111111111111111,
          1
         ],
         "title": {
          "text": "n_estimators"
         }
        },
        "yaxis": {
         "anchor": "x",
         "domain": [
          0,
          1
         ],
         "title": {
          "text": "Objective Value"
         }
        },
        "yaxis2": {
         "anchor": "x2",
         "domain": [
          0,
          1
         ],
         "matches": "y",
         "showticklabels": false
        },
        "yaxis3": {
         "anchor": "x3",
         "domain": [
          0,
          1
         ],
         "matches": "y",
         "showticklabels": false
        }
       }
      },
      "text/html": [
       "<div>                            <div id=\"9063514a-ce2b-404f-9157-fcccd5f85f49\" class=\"plotly-graph-div\" style=\"height:525px; width:100%;\"></div>            <script type=\"text/javascript\">                require([\"plotly\"], function(Plotly) {                    window.PLOTLYENV=window.PLOTLYENV || {};                                    if (document.getElementById(\"9063514a-ce2b-404f-9157-fcccd5f85f49\")) {                    Plotly.newPlot(                        \"9063514a-ce2b-404f-9157-fcccd5f85f49\",                        [{\"marker\":{\"color\":[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99],\"colorbar\":{\"title\":{\"text\":\"Trial\"},\"x\":1.0,\"xpad\":40},\"colorscale\":[[0.0,\"rgb(247,251,255)\"],[0.125,\"rgb(222,235,247)\"],[0.25,\"rgb(198,219,239)\"],[0.375,\"rgb(158,202,225)\"],[0.5,\"rgb(107,174,214)\"],[0.625,\"rgb(66,146,198)\"],[0.75,\"rgb(33,113,181)\"],[0.875,\"rgb(8,81,156)\"],[1.0,\"rgb(8,48,107)\"]],\"line\":{\"color\":\"Grey\",\"width\":0.5},\"showscale\":true},\"mode\":\"markers\",\"name\":\"Feasible Trial\",\"showlegend\":false,\"x\":[7,5,12,13,12,3,14,8,8,3,19,8,8,10,16,10,6,10,5,15,9,20,20,18,17,11,6,8,18,7,13,8,6,9,4,11,7,13,9,5,7,10,8,12,9,10,11,14,8,6,4,16,17,19,19,15,12,7,9,19,10,10,8,11,13,9,17,7,20,16,6,14,18,15,12,8,10,15,9,16,11,9,8,7,10,18,9,8,11,9,10,20,19,20,8,17,19,10,18,7],\"y\":[0.26666666666666666,0.26666666666666666,0.3,0.26666666666666666,0.8333333333333334,0.26666666666666666,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.3,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8333333333333334,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.4666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.3,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334],\"type\":\"scatter\",\"xaxis\":\"x\",\"yaxis\":\"y\"},{\"marker\":{\"color\":[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99],\"colorbar\":{\"title\":{\"text\":\"Trial\"},\"x\":1.0,\"xpad\":40},\"colorscale\":[[0.0,\"rgb(247,251,255)\"],[0.125,\"rgb(222,235,247)\"],[0.25,\"rgb(198,219,239)\"],[0.375,\"rgb(158,202,225)\"],[0.5,\"rgb(107,174,214)\"],[0.625,\"rgb(66,146,198)\"],[0.75,\"rgb(33,113,181)\"],[0.875,\"rgb(8,81,156)\"],[1.0,\"rgb(8,48,107)\"]],\"line\":{\"color\":\"Grey\",\"width\":0.5},\"showscale\":false},\"mode\":\"markers\",\"name\":\"Feasible Trial\",\"showlegend\":false,\"x\":[0.7885613884209568,0.6731251336910595,0.7460270374607401,0.716405481517271,0.48287034255008887,0.726478992651686,0.768396315939089,0.3373147582832043,0.49152076642861253,0.7564786664033339,0.2036385211184671,0.3983512087328144,0.9995775538032676,0.21481520882185579,0.3589117857147432,0.11021126290158112,0.5685161022131227,0.3436789460580176,0.5477760737441346,0.26028696279115454,0.4581553074075378,0.25365641571188685,0.15268452402359106,0.30390796084741845,0.4242490489191446,0.19026261324533997,0.5521616452781566,0.30436637527042054,0.10904259304446219,0.6171141894193716,0.857754283552912,0.40439616522355987,0.4982054696476965,0.3861345458114625,0.27966683232338113,0.45679537979783486,0.3399284202968314,0.660158508900753,0.21444953638278436,0.519962234509439,0.4328606533510449,0.2021529321862006,0.15827395719198675,0.23411686835277568,0.35199912721566773,0.3003614018268048,0.14888835403367456,0.3604923653023533,0.4787646944525946,0.5988251998278934,0.24379758901097914,0.37918056076566153,0.3167052689481538,0.4241100615348053,0.17489094389928797,0.38789555919124774,0.28554253610373126,0.5238164375499723,0.3288410264486409,0.1283789040943628,0.23248523484769154,0.2639915522664047,0.41699666665034646,0.4581299180979884,0.8405237813684371,0.34967898788795304,0.3767964567751432,0.49911158111048176,0.26797256346589343,0.9932916555616906,0.20991341989002443,0.32540891970649344,0.2968690767631209,0.25168124691749383,0.18369521707499992,0.4421594179506673,0.392215727944018,0.2204009960763894,0.3469873136378321,0.27896106404575116,0.1272922297252233,0.4684332578481515,0.4077710045827576,0.5557972202501131,0.36807981461743355,0.5007806977266386,0.5837549301687412,0.44094270288175846,0.3133488374564388,0.16496280429391857,0.19857506062069225,0.3356434928132019,0.26090192347145,0.23933100852277533,0.2964414255585325,0.5294657326396106,0.40475114616232244,0.2193760150748684,0.27915755394957986,0.4796829947804756],\"y\":[0.26666666666666666,0.26666666666666666,0.3,0.26666666666666666,0.8333333333333334,0.26666666666666666,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.3,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8333333333333334,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.4666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.3,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334],\"type\":\"scatter\",\"xaxis\":\"x2\",\"yaxis\":\"y2\"},{\"marker\":{\"color\":[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99],\"colorbar\":{\"title\":{\"text\":\"Trial\"},\"x\":1.0,\"xpad\":40},\"colorscale\":[[0.0,\"rgb(247,251,255)\"],[0.125,\"rgb(222,235,247)\"],[0.25,\"rgb(198,219,239)\"],[0.375,\"rgb(158,202,225)\"],[0.5,\"rgb(107,174,214)\"],[0.625,\"rgb(66,146,198)\"],[0.75,\"rgb(33,113,181)\"],[0.875,\"rgb(8,81,156)\"],[1.0,\"rgb(8,48,107)\"]],\"line\":{\"color\":\"Grey\",\"width\":0.5},\"showscale\":false},\"mode\":\"markers\",\"name\":\"Feasible Trial\",\"showlegend\":false,\"x\":[37,15,86,90,21,47,87,95,72,35,67,64,98,74,74,56,100,80,54,92,79,67,65,56,74,44,81,68,94,58,28,62,47,71,62,50,86,12,39,84,78,75,70,61,90,96,72,51,83,64,88,77,67,74,58,69,81,100,65,76,60,80,72,92,84,65,54,74,68,78,71,96,89,22,93,82,86,92,73,96,63,79,76,86,70,66,59,90,98,80,84,68,75,62,70,77,73,72,67,57],\"y\":[0.26666666666666666,0.26666666666666666,0.3,0.26666666666666666,0.8333333333333334,0.26666666666666666,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.3,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8333333333333334,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.4666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.3,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.26666666666666666,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334,0.8666666666666667,0.8666666666666667,0.8666666666666667,0.8333333333333334],\"type\":\"scatter\",\"xaxis\":\"x3\",\"yaxis\":\"y3\"}],                        {\"template\":{\"data\":{\"histogram2dcontour\":[{\"type\":\"histogram2dcontour\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"choropleth\":[{\"type\":\"choropleth\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}],\"histogram2d\":[{\"type\":\"histogram2d\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"heatmap\":[{\"type\":\"heatmap\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"heatmapgl\":[{\"type\":\"heatmapgl\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"contourcarpet\":[{\"type\":\"contourcarpet\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}],\"contour\":[{\"type\":\"contour\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"surface\":[{\"type\":\"surface\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"},\"colorscale\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]]}],\"mesh3d\":[{\"type\":\"mesh3d\",\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}],\"scatter\":[{\"fillpattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2},\"type\":\"scatter\"}],\"parcoords\":[{\"type\":\"parcoords\",\"line\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatterpolargl\":[{\"type\":\"scatterpolargl\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"bar\":[{\"error_x\":{\"color\":\"#2a3f5f\"},\"error_y\":{\"color\":\"#2a3f5f\"},\"marker\":{\"line\":{\"color\":\"#E5ECF6\",\"width\":0.5},\"pattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2}},\"type\":\"bar\"}],\"scattergeo\":[{\"type\":\"scattergeo\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatterpolar\":[{\"type\":\"scatterpolar\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"histogram\":[{\"marker\":{\"pattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2}},\"type\":\"histogram\"}],\"scattergl\":[{\"type\":\"scattergl\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatter3d\":[{\"type\":\"scatter3d\",\"line\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}},\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scattermapbox\":[{\"type\":\"scattermapbox\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scatterternary\":[{\"type\":\"scatterternary\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"scattercarpet\":[{\"type\":\"scattercarpet\",\"marker\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}}}],\"carpet\":[{\"aaxis\":{\"endlinecolor\":\"#2a3f5f\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"minorgridcolor\":\"white\",\"startlinecolor\":\"#2a3f5f\"},\"baxis\":{\"endlinecolor\":\"#2a3f5f\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"minorgridcolor\":\"white\",\"startlinecolor\":\"#2a3f5f\"},\"type\":\"carpet\"}],\"table\":[{\"cells\":{\"fill\":{\"color\":\"#EBF0F8\"},\"line\":{\"color\":\"white\"}},\"header\":{\"fill\":{\"color\":\"#C8D4E3\"},\"line\":{\"color\":\"white\"}},\"type\":\"table\"}],\"barpolar\":[{\"marker\":{\"line\":{\"color\":\"#E5ECF6\",\"width\":0.5},\"pattern\":{\"fillmode\":\"overlay\",\"size\":10,\"solidity\":0.2}},\"type\":\"barpolar\"}],\"pie\":[{\"automargin\":true,\"type\":\"pie\"}]},\"layout\":{\"autotypenumbers\":\"strict\",\"colorway\":[\"#636efa\",\"#EF553B\",\"#00cc96\",\"#ab63fa\",\"#FFA15A\",\"#19d3f3\",\"#FF6692\",\"#B6E880\",\"#FF97FF\",\"#FECB52\"],\"font\":{\"color\":\"#2a3f5f\"},\"hovermode\":\"closest\",\"hoverlabel\":{\"align\":\"left\"},\"paper_bgcolor\":\"white\",\"plot_bgcolor\":\"#E5ECF6\",\"polar\":{\"bgcolor\":\"#E5ECF6\",\"angularaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"},\"radialaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"}},\"ternary\":{\"bgcolor\":\"#E5ECF6\",\"aaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"},\"baxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"},\"caxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\"}},\"coloraxis\":{\"colorbar\":{\"outlinewidth\":0,\"ticks\":\"\"}},\"colorscale\":{\"sequential\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]],\"sequentialminus\":[[0.0,\"#0d0887\"],[0.1111111111111111,\"#46039f\"],[0.2222222222222222,\"#7201a8\"],[0.3333333333333333,\"#9c179e\"],[0.4444444444444444,\"#bd3786\"],[0.5555555555555556,\"#d8576b\"],[0.6666666666666666,\"#ed7953\"],[0.7777777777777778,\"#fb9f3a\"],[0.8888888888888888,\"#fdca26\"],[1.0,\"#f0f921\"]],\"diverging\":[[0,\"#8e0152\"],[0.1,\"#c51b7d\"],[0.2,\"#de77ae\"],[0.3,\"#f1b6da\"],[0.4,\"#fde0ef\"],[0.5,\"#f7f7f7\"],[0.6,\"#e6f5d0\"],[0.7,\"#b8e186\"],[0.8,\"#7fbc41\"],[0.9,\"#4d9221\"],[1,\"#276419\"]]},\"xaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\",\"title\":{\"standoff\":15},\"zerolinecolor\":\"white\",\"automargin\":true,\"zerolinewidth\":2},\"yaxis\":{\"gridcolor\":\"white\",\"linecolor\":\"white\",\"ticks\":\"\",\"title\":{\"standoff\":15},\"zerolinecolor\":\"white\",\"automargin\":true,\"zerolinewidth\":2},\"scene\":{\"xaxis\":{\"backgroundcolor\":\"#E5ECF6\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"showbackground\":true,\"ticks\":\"\",\"zerolinecolor\":\"white\",\"gridwidth\":2},\"yaxis\":{\"backgroundcolor\":\"#E5ECF6\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"showbackground\":true,\"ticks\":\"\",\"zerolinecolor\":\"white\",\"gridwidth\":2},\"zaxis\":{\"backgroundcolor\":\"#E5ECF6\",\"gridcolor\":\"white\",\"linecolor\":\"white\",\"showbackground\":true,\"ticks\":\"\",\"zerolinecolor\":\"white\",\"gridwidth\":2}},\"shapedefaults\":{\"line\":{\"color\":\"#2a3f5f\"}},\"annotationdefaults\":{\"arrowcolor\":\"#2a3f5f\",\"arrowhead\":0,\"arrowwidth\":1},\"geo\":{\"bgcolor\":\"white\",\"landcolor\":\"#E5ECF6\",\"subunitcolor\":\"white\",\"showland\":true,\"showlakes\":true,\"lakecolor\":\"white\"},\"title\":{\"x\":0.05},\"mapbox\":{\"style\":\"light\"}}},\"xaxis\":{\"anchor\":\"y\",\"domain\":[0.0,0.2888888888888889],\"title\":{\"text\":\"max_depth\"}},\"yaxis\":{\"anchor\":\"x\",\"domain\":[0.0,1.0],\"title\":{\"text\":\"Objective Value\"}},\"xaxis2\":{\"anchor\":\"y2\",\"domain\":[0.35555555555555557,0.6444444444444445],\"title\":{\"text\":\"min_samples_split\"}},\"yaxis2\":{\"anchor\":\"x2\",\"domain\":[0.0,1.0],\"matches\":\"y\",\"showticklabels\":false},\"xaxis3\":{\"anchor\":\"y3\",\"domain\":[0.7111111111111111,1.0],\"title\":{\"text\":\"n_estimators\"}},\"yaxis3\":{\"anchor\":\"x3\",\"domain\":[0.0,1.0],\"matches\":\"y\",\"showticklabels\":false},\"title\":{\"text\":\"Slice Plot\"}},                        {\"responsive\": true}                    ).then(function(){\n",
       "                            \n",
       "var gd = document.getElementById('9063514a-ce2b-404f-9157-fcccd5f85f49');\n",
       "var x = new MutationObserver(function (mutations, observer) {{\n",
       "        var display = window.getComputedStyle(gd).display;\n",
       "        if (!display || display === 'none') {{\n",
       "            console.log([gd, 'removed!']);\n",
       "            Plotly.purge(gd);\n",
       "            observer.disconnect();\n",
       "        }}\n",
       "}});\n",
       "\n",
       "// Listen for the removal of the full notebook cells\n",
       "var notebookContainer = gd.closest('#notebook-container');\n",
       "if (notebookContainer) {{\n",
       "    x.observe(notebookContainer, {childList: true});\n",
       "}}\n",
       "\n",
       "// Listen for the clearing of the current output cell\n",
       "var outputEl = gd.closest('.output');\n",
       "if (outputEl) {{\n",
       "    x.observe(outputEl, {childList: true});\n",
       "}}\n",
       "\n",
       "                        })                };                });            </script>        </div>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "optuna.visualization.plot_slice(study_tpe)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}