Pythonで機械学習　Scikit -learnで単回帰分析を行う方法

単回帰分析とは、1つの説明変数から目的変数を予測する分析手法です。重回帰分析は複数の説明変数を使う所が単回帰分析との違いとなります。 Pythonで使えるscikit-learnライブラリを用いた単回帰分析は、sklearn.linear_model.LinearRegression()を呼び出すことで実装できます。

Scikit-learnを使った単回帰分析のポイント

1. データの準備： 単回帰分析では、説明変数と目的変数の2つの変数が必要です。これらの変数を準備します。また、データセットをトレーニングデータとテストデータに分割する必要があります。
2. モデルの作成： Scikit-learnでは、線形回帰モデルを使って単回帰分析を行います。線形回帰モデルを作成するには、LinearRegressionクラスをインポートし、インスタンスを作成します。
3. モデルのトレーニング： トレーニングデータを使って、モデルをトレーニングします。LinearRegressionクラスのfit()メソッドを使ってトレーニングを行います。
4. モデルの評価： テストデータを使って、モデルの予測精度を評価します。LinearRegressionクラスのscore()メソッドを使って、R2スコアを計算します。
5. モデルの利用： トレーニングが完了したモデルを使って、新しいデータに対する予測を行います。LinearRegressionクラスのpredict()メソッドを使って予測を行います。

ボストン住宅価格のデータセット（学習用サンプル）で行う単回帰分析

ボストン住宅価格データのロード

Boston Housingデータセットは、1970年代にアメリカ合衆国のボストン市で収集された住宅価格データを含む、scikit-learnのサンプルデータセットの一つです。以下のようにして、scikit-learnでBoston Housingデータセットを読み込むことができます。

from sklearn.datasets import load_boston
boston = load_boston()

読み込んだデータセットは、boston.dataに説明変数（13種類）が、boston.targetに目的変数（住宅価格）が格納されています。また、boston.feature_namesには説明変数の名前が、boston.DESCRにはデータセットの説明が含まれています。

bostonデータセットはBunch型（辞書型に似ている）になっていますので辞書のようにキーを指定することでデータを取り出すことが可能です。
または、ドット（.）でつなぐ属性の取り出し方でも取り出すことができます。

＊Bunch型は辞書類似型のクラスで、データセットのパッケージに用いられます。

説明変数と目的変数

説明変数とは、分析対象のデータにおいて、その結果を説明するために使用される変数のことです。また、独立変数、予測変数、入力変数などとも呼ばれます。一般的には、説明変数は縦軸に表示される変数で、その値に基づいて横軸に表示される目的変数の値を説明する役割を持ちます。

一方、目的変数とは、説明変数によって予測される対象の変数のことです。また、従属変数、応答変数、出力変数などとも呼ばれます。例えば、ある商品の売上を予測する場合、売上が目的変数であり、その売上に影響を与える要因（価格、広告費、天気など）が説明変数となります。

説明変数と目的変数は、データ分析や機械学習において非常に重要な役割を持ちます。目的変数を説明するために最も効果的な説明変数を見つけることで、予測精度を高めたり、効果的な意思決定を行うことができます。

説明変数の構成

目的変数

MEDV 住宅価格の中央値（単位 1000ドル）

データ観察

分析をする時はまずデータの特徴をしっかりと観察しておくことが大事です。
PandasのDataFrame型に変換してデータを観察すると非常にわかりやすくなります。

boston_pd = pd.DataFrame(boston.data, columns=boston.feature_names) boston_pd.head(10)

表示結果　（最左列にある太字の０〜９は行番号）

目的変数を追加

ボストンデータセットは説明変数（boston.data）と目的変数（boston.target）が別々になっています。そのため、boston_pd に目的変数を追加して一覧表示させます。

boston_pd['PRICE'] = boston.target boston_pd

要約統計量

Pandasの要約統計量（summary statistics）とは、データフレームやシリーズの各列に対して、平均値、中央値、標準偏差、四分位数などの基本的な統計量を計算して表示する機能のことです。Pandasは、describe()メソッドを使って要約統計量を簡単に出力できます。

boston_pd.describe()

相関関係の確認

pandas.DataFrameオブジェクトからcorr()メソッドを呼ぶと、相関係数が算出されます。
単回帰分析では、説明変数と目的変数で相関が高い説明変数を見つけることが重要です。

相関係数（Correlation coefficient）は、2つの変数の間の関係を示す統計指標の一つです。具体的には、2つの変数がどの程度一緒に変動するかを表現します。相関係数は、-1から1までの値をとり、以下のように解釈されます。

• 相関係数が1に近い場合、2つの変数は強い正の相関があると言えます。つまり、一方が増加するともう一方も増加する傾向があるということです。
• 相関係数が0に近い場合、2つの変数は相関がないと言えます。つまり、一方が増加してももう一方に影響を与えないということです。
• 相関係数が-1に近い場合、2つの変数は強い負の相関があると言えます。つまり、一方が増加するともう一方が減少する傾向があるということです。

相関係数は、データの分布や外れ値の影響を受けやすいため、単に相関があるとして因果関係があるとは言えません。

boston_pd.corr()

最後のPRICEの行を注目すると価格と相関関係の高い説明変数がわかります。

この場合、LSTATが -0.737663で負の相関にありますが、相関関係が高いことがわかります。
そのため、単回帰分析にはLSTATを使うことにします。

分かりやすいように説明変数LSTATと目的変数PRICEをそれぞれ変数に代入しておきます。

# 説明変数をfeatures 
features = boston_pd['LSTAT'] 
# 目的変数をtarget 
target = boston['target']

相関関係を図示

seabornを使うと簡単にグラフ化できます。
下図は LSTAT と PRICE の散布図です。負の相関が見て取れます。

sns.pairplot(boston_pd[['LSTAT', 'PRICE']])

説明変数の次元を２次元に変更

この処理はScikit-learnで単回帰分析を行う際必須です 。
Scikit-learnで学習させるデータは２次元以上の配列のデータにする必要があります。
単回帰分析の場合は説明変数が１つだけということもあり、データはフラットな配列（１次元の配列）になってしまいます。従ってフラットな配列をreshapeする必要があります。

現在の features の型はnumpy配列のndarray型のため、numpyのreshape()メソッドを使って次元を変更します。

reshape()の引数指定は reshape(行数, 列数) ですが、このメソッドの面白い使い方として列数だけ決めて行数を-1にすることで行数はその列数に応じて自動で行数を決めることができます。

reshape(-1, 1)の場合は、フラットな配列を１列にした状態で必要な行数はNumpyが自動で決めます。

例えば、次のような配列を [1, 2, 3, 4, 5] を [[1], [2], [3], [4], [5]]のように配列の形態を変えることができます。

features = features.values.reshape(-1, 1)

トレーニングデータとテストデータの分割

データ分析を行うには全てのデータを学習させてモデルを作成するのではなく、学習用のデータとトレーニング用のデータにデータを分割して学習用のデータでモデルを作成します。そうすることで学習用のデータで作成したモデルが過学習に陥ってもテストデータの予測と比較することでモデルの過学習が発見できるようになります。

Scikit-learnにはテストデータは盗み見ができない（意図的なデータの分類をしない）ように機械的に抽出する train_test_split() があります。
このメソッドはランダムな関数を活用してテストデータを抜き出すことができます。
けれども、これを何度か繰り返すと毎回テスト用とトレーニング用のデータが変わります。 それはつまりテストデータの特徴を知ってしまうことになります。
このようなことを避けるために、シードを作ることで解決することができます。
乱数シードを設定すると毎回同じ疑似乱数が得られため、いつも同じ結果を得ることができます。そうすることで再現性のあるプログラムにすることができます。

# トレーニングデータとテストデータの分割
X_train, X_test, y_train, y_test = train_test_split( features, target, random_state=1 )

線形回帰器を作成

LinearRegressionをインスタンス化して線形回帰器を作成します。

# 線形回帰器を作成 
regression = LinearRegression()

モデルの学習

モデルの学習は regression.fit()を使います。
これでmodelには学習ずみのモデルが出来上がります。modelは変数なので自分の好きな名前にすることができます。

# 線形回帰器を訓練 
model = regression.fit(X_train, y_train)

切片を求める

intercept_ 属性を使っうと切片を取得できます。アンダースコアが必要なので忘れないようにしましょう。

# 切片(intercept)を表示 
model.intercept_

表示結果 34.12464993748093

回帰係数を求める

coef_ 属性で回帰係数が取得できます。アンダースコアが必要なので忘れないようにしましょう。

# 特徴量の係数(coefficient)を表示 
model.coef_

# 表示結果
array([-0.91062928])

決定係数 (R^2)

決定係数 (R2, R-squared, coefficient of determination) は、モデルの当てはまりの良さを示す指標で、最も当てはまりの良い場合、1.0 となります (当てはまりの悪い場合、マイナスとなることもあります)。寄与率 (きよりつ) とも呼ばれます。

model.score(features, target)

# 表示結果
0.543152101306229

ボストン住宅価格を重回帰分析するための考え方

ボストン住宅価格を重回帰分析するには単回帰分析の手法とほとんど変わりません。変える必要があるのは、説明変数を一つに絞るのではなく複数の説明変数を使用することが特徴です。

複数の説明変数を使用することから、単回帰分析のように散布図と回帰直線を描くことができず可視化できないところに直感的な分かりにくさがありますが、精度としては単回帰分析より上がる場合が多いです。

Scikit-learnを使う上での注意点は、単回帰分析では説明変数の次元を２次元にreshapeする工程がありましたが、重回帰分析ではその必要がありません。

多重共線性