AI

RidgeとLasso

過学習と正則化 機械学習で回帰分析する場合、多くの説明変数を使ってしまいがちです。しかし、大量の説明変数を使用すると隔たった学習用データに必要以上に対応してしまう「過学習」の状態になる場合があります。 そこで過学習になるのを防ぐために、極端な重みのデータに対してペナルティを与えるという正則化の方法が  >>続きを読む

Pandasのカテゴリ型

Pandasのカテゴリ型をうまく使うとことで、シンプルで効率の良いデータ加工ができます。 unique()関数 Seriesデータを作成 import numpy as np import pandas as pd values = pd.Series(['Apple',  >>続きを読む

scikit-learnで教師あり学習

教師あり学習とは、説明変数から目的変数を予測するモデルを作成するために、正解の目的変数から学習する方法です。 そのため、必ず説明変数と同時に正解となるような目的変数を用意する必要があります。 ちなみに、教師なし学習は正解例となる目的変数がない学習のことです。 *パラメータの表はscikit-lear  >>続きを読む

Numpyのmat関数について

Numpyには行列オブジェクトを作成するためのmat()が用意されています。 一般的にNumpyの大多数の操作がndarray型を返しているためmat()関数は特別な理由が無い限り使用しない方が良いでしょう。 けれども、知っておいて損は無いかもしれません。 次の例は、ndarray型の行列とmatr  >>続きを読む

ニューラルネットワークの重みの計算〜なぜ線形代数(行列の内積)が必要か

ニューラルネットワークを理解するためには、まず重みの計算について知っておかなければなりません。 複数の重みの計算は線形代数の行列の内積を使い、しかもPythonのnumpyを使うと数行でプログラムできるのです。行列の内積を使う理由とその計算方法を高度な数学の知識なしで説明します。

PandasのDataFrame作成と結合方法

Pandasは機械学習やディープラーニングを行う上で、データの前処理など頻繁に使用します。 まずは徹底して使いなれるようにしましょう。エクセルを扱うよりもPandas を扱う方が楽だと思えるようになるまでいじり倒しましょう。 DataFrameの作成 まずは、簡単なDataFrame作成を覚えます  >>続きを読む