グリッドサーチで便利なnp.logspace関数 グリッドサーチで桁の違う小数などを使いたい場合、np.logspace関数が便利です。 例 np.logspace(-3, 2, num=6) 10の-3乗から10の2乗の範囲を6等分した配列 [0.001, 0.01, 0.1, 1, 10, 100] を作成します。 乳がんデータ良性、悪性判定で >>続きを読む
PandasのDataFrameで作成した表のデータを省略しない方法 PandasのDataFrameで表を作成した時大量のデータがあると途中が省略されて表示されます。 たまには省略せずに全てのデータを見たい場合もあるでしょう。 その場合は次の記述で表示できます。 データの表示を省略なしで表示する方法 それぞれ第2引数が表示行数 行の省略を無くす pd.set_op >>続きを読む
機械学習で大量のデータが欲しい時のまとめ オープンデータ DATA.GO.JP LinkData.org 画像系 「機械学習はデータ集めるのが一番大変・・・」 YouTube-8M Open Images Dataset V5 + Extensions arXivTimes まとめサイト データ分析に必要なオープンデータ20選 機械学習に使 >>続きを読む
matplotlibの日本語化 matplotlibの日本語化面倒くさいですね。 バージョンが変わるとまた表示されなくなったりで。。 超簡単な方法がありました。 zerofromlightさんのサイトからの情報です。 次のように、インストールします。 WinやColaboratoryの場合はpip pip3 install jap >>続きを読む
Google Colaboratoryを使用開始する方法 Google Colaboratoryを使用するための方法です。2019-10-3現在の方法です。 新規でColaboratoryを使うときに困ったら確認してください。 GoogleアカウントでGoogleドライブに入ります。 左上にある「新規」ボタンをクリックします。 「その他」の中にColabo >>続きを読む
Python〜matplotlibで描くグラフで日本語を使う方法 matplotlibでグラフを描くときにタイトルなどに日本語を使うと文字化けします。 今回は、Colaboratoryでグラフを描くときの日本語の文字化け対策についてです。 まずは日本語表示できるフォントをColaboratoryにインストールします。 !apt-get -y install fon >>続きを読む
データスヌーピングバイアス（data snooping bias）について テストデータの中身を確認してみると、面白さそうなパターンを見つけることができます。これは人間のパターン検出能力の高さでもありますが、これをやってしまうと過学習になる恐れがあります。 特定のパターンのための特定の機械学習モデルを選択すると、推定が楽観的になりすぎて期待通りの性能を発揮できない結果になる >>続きを読む
Google Colaboratory 猫モードとかコーギーモードについて Google Colaboratory の設定メニューに「その他」の項目があります。その中に、ちょっと気になるメニューがあります。 コーギーモード 猫モード とりあえず、チェックを入れたらコーギーモードは犬らしきもの、そして猫モードは猫が上のメニューあたりをうろうろし始めます。 パワーレベル 設定メ >>続きを読む
Pandasデータからヒストグラムが描けない場合にはnumpyのflatten() を使おう Pandasデータからある項目をスライスしてその値でヒストグラムを作成するときにうまく行かなくて困ったことがありませんでしょうか。 具体的には次のようなデータがあったとします。 このデータからグレードの列を抜き出してヒストグラムを描くとします。 うまく行く場合 次のようにデータをスライスするとser >>続きを読む
Pandasのインポートについて PandasのインポートはPythonのimport文を使うだけです。 import pandas as pd 機械学習を勉強していると時々次のようなインポートが行われています。from import 文を使うと、読み込んだモジュール内の関数にモジュール名をつける必要がなくなります。 import >>続きを読む
