機械学習のためのデータ準備 CSVデータの読み込みとデータの確認と欠損値の確認

機械学習をする場合にまずデータを準備しますが、csv形式でデータが準備される場合も多いと思います。 データの確認や加工が簡単になるpandas形式で読み込むのがスタンダードになります。 必要なライブラリをまず読み込んでお  >>続きを読む

Pandasデータからヒストグラムが描けない場合にはnumpyのflatten() を使おう

Pandasデータからある項目をスライスしてその値でヒストグラムを作成するときにうまく行かなくて困ったことがありませんでしょうか。 具体的には次のようなデータがあったとします。 このデータからグレードの列を抜き出してヒス  >>続きを読む

PandasのDataFrame作成と結合方法

Pandasは機械学習やディープラーニングを行う上で、データの前処理など頻繁に使用します。 まずは徹底して使いなれるようにしましょう。エクセルを扱うよりもPandas を扱う方が楽だと思えるようになるまでいじり倒しまし  >>続きを読む

混同行列と性能評価指標

学習済みモデルが、どの程度良いか判定するする指標を性能評価指標といいます。 そこで登場するのが混同行列です。 混同行列について 余談ですが、普通に「こんどうぎょうれつ」と入力すると「近藤行列」と変換されてしまい、「混同行  >>続きを読む

numpy.ndarray型とPandas DataFrame型との相互変換する方法

Scikit-learnで機械学習する場合に、numpy.ndarray型とPandasのDataFrame型をそれぞれ変換したくなるケースがあります。 Scikit-learnが用意しているdatasetを活用するとデ  >>続きを読む

Pandasのインポートについて

PandasのインポートはPythonのimport文を使うだけです。 import pandas as pd 機械学習を勉強していると時々次のようなインポートが行われています。from import 文を使うと、読み込  >>続きを読む

Pythonの例外処理について

例外処理とは、エラーが起こりそうな特定のコードが実行された時に、エラーになった場合に例外ハンドラーを準備しとおいて、そのエラーをキャッチする仕組みです。 具体的にはtryブロックに問題が起こりそうなコードを記述しておき、  >>続きを読む

SNS対策でOGP設定をする

WebサイトでSNS対策をする場合はOGPの設定をしておきましょう。 OGPとは、Open Graph Protocol(オープン・グラフ・プロトコル)のことです。 Facebookやtwitter、などのSNSでシェア  >>続きを読む

python 〜複数の戻り値にオブジェクトを使う

Pythonで関数からの戻り値が複数ある場合、最も簡単な方法はタプルで返す方法です。 例 >>> def myfunc(): … a = 1 … b = 2 … c = 3 … d =   >>続きを読む

Python〜 join()の使い方

リストで用意されたリストの中の値を文字列として書き出す場合に便利な関数です。 names = ['tahara','yamada','suzuki',&#039  >>続きを読む

BeautifulSoupを使ったスクレイピング(1)

BeautifulSoupを使うと簡単にスクレイピングが行えます。 この名前は不思議の国のアリスで出てくる詩からつけられました。 確かに美味しいスープです。 beautifulsoup4の導入 ターミナルなどからpipで  >>続きを読む

スプレッドシート(エクセルなど)で統計分析(4) 重回帰分析の方法

線形回帰モデル (Linear Regression) とは、回帰式を用いて、説明変数の値から目的変数の値を予測するモデルです。 説明変数が2変数以上の場合「重回帰分析」と呼ばれます。 重回帰分析を行う上でのポイントは「  >>続きを読む

統計の基礎〜クロス集計2 活用方法 

クロス集計を行って、その内容を確認します。 次の例ではA商品とB商品の評価をクロス集計したものです。 原因と結果に何らかの関係が認められる場合、因果関係があるといいます。 因果関係にあるようなクロス集計表は原因になるもの  >>続きを読む

統計の基礎〜クロス集計1 Googleスプレッドシートでピボットテーブル作成

クロス集計とは クロス集計は2つの質的変数の組み合わせで集計して、この2つの変数の関連性を確認するために活用されるものです。 クロス集計表は行と列それぞれの変数の項目を設定して、その組み合わせに対応した度数を集計すること  >>続きを読む

DialogflowのIntentとAgentのインポートとエクスポート

Intentはユーザーとの会話を作成するものです。 Intentのデータを過去に作成したAgentのものを流用したいときなど、importとexportをすれば可能です。 Intentのimport と export I  >>続きを読む

統計の基礎〜偏差、平均偏差、標準偏差、分散、標準化、偏差値について

データのバラツキで出てくる言葉で、「偏差」、「平均偏差」「標準偏差」、「分散」とは何を行っているのか復習です。 データのバラツキを見るときにまず基準になるのは、平均です。 平均との関係を視点にして見ていくとわかりやすいと  >>続きを読む

z-indexこうすれば思い通り動く〜ネットや入門書では誤解を生む説明が多いので注意!

HTMLとCSSのレイアウトで親要素の裏側に子要素を移動したい。つまり親子間での重ね順を変える場合どうしてますか? positionプロパティとz-indexプロパティを使って移動させるはずです。 でも、なかなか思い通り  >>続きを読む

散布図と回帰直線を簡単に描く方法

回帰分析で散布図を描く時、通常は matplotlib を使うと思いますが、seaborn を使うともっと楽に描くことができます。 matplotlib を使った散布図 import pandas as pd impor  >>続きを読む

スプレッドシート(エクセルなど)とPythonで統計分析(3) scikit-learn で単回帰分析の方法

今回はscikit-learn で単回帰分析する方法について解説します。 分析対象は「スプレッドシート(エクセル)とPythonで統計分析(2) 単回帰分析の方法」で行った「1日の最高気温とアイスクリームの販売個数」のデ  >>続きを読む

最小二乗法で傾きを求める方法を数学的に理解しよう

回帰直線の傾きは公式で簡単に求められますが、数学的な意味を理解しておくとなぜそうなるかがわかります。今回は数学的な意味を見ていきます。 問題設定:最高気温とアイスクリーム販売数のデータを用いて、今日の気温予報からアイスク  >>続きを読む

スプレッドシート(エクセル)とPythonで統計分析(2) 単回帰分析の方法

単回帰分析 単回帰分析とは、以下のような回帰式を用いて、1つの説明変数の値から目的変数の値を予測するモデルです。 単回帰分析の公式 $$ y = ax + b $$ データの準備 用意したデータはある店舗における1日の最  >>続きを読む

pandasで同じ値の個数を調べる方法

pandasで1次元の配列状態のデータを処理するにはSeriesを使います。下の例では配列を作成して、pandasのseriesにしています。 次に条件として値が2のデータのみを抽出してその総個数を求めています。 複数の  >>続きを読む

コマンド引数で住所を指定するとGoogle Mapが開く〜Python

Pythonで簡単なアプリの例です。 ネタ元はO’REILLYの「退屈なことはPythonにやらせよう」からです。 この本はノンプログラマーにもわかりやすく書かれている良本です。他に何らかプログラム入門くらい  >>続きを読む

ColaboratoryとGoogle ドライブをマウントする方法

2019年07月6日追記 ColaboratoryとGoogle ドライブをマウントについては、標準でその機能がつきました。 やっていることは下記同様のこととなりますが、より直感的にマウントできるようになっています。 G  >>続きを読む

Visual Studio CodeでEmmetのlang属性を変更する方法〜なぜか変更できなかったら試して!

Visual Studio CodeでEmmetを使って一発でHTML基本構文を書き出せますが、初期状態ではlang属性が「en」になっています。 この初期状態を「ja」にする方法はネットに多く出回っていますが、なぜか自  >>続きを読む

スプレッドシート(エクセルなど)とPythonで統計分析(1) 相関係数の求め方

Pythonで統計分析の勉強をするには、一度スプレッドシート (エクセルなど)で試してみると理解が早いと思います。 今回は無料で使えるGoogleスプレッドシートで説明します。 相関分析 データの準備 用意したデータはあ  >>続きを読む

スクレイピングで同じclass名の要素を複数取得する方法

次のコードはseleniumを使ったスクレイピングでclass名「item」の要素からデータを取得するためのものです。class名「item」は複数存在して複数のデータを取得するつもりのものです。 elemには複数のデー  >>続きを読む

Colaboratoryでスクレイピングする方法

seleniumの導入方法 seleniumの導入はまずインストールする必要があります。ColaboratoryのJupyter Notebookdでpipを使ってインストールする場合は下記のようにします。「!」を付ける  >>続きを読む

Vue.jsの基本(9)v-forの使い方

Vue.jsの基本(1)Vue.jsの基本的な使い方 Vue.jsの基本(2)dataプロパティについて Vue.jsの基本(3)computedとmethodsの違い Vue.jsの基本(4)監視プロパティについて V  >>続きを読む

Vue.jsの基本(8)v-ifのポイント

Vue.jsの基本(1)Vue.jsの基本的な使い方 Vue.jsの基本(2)dataプロパティについて Vue.jsの基本(3)computedとmethodsの違い Vue.jsの基本(4)監視プロパティについて V  >>続きを読む