lecture

機械学習のためのデータ準備 CSVデータの読み込みとデータの確認と欠損値の確認

機械学習をする場合にまずデータを準備しますが、csv形式でデータが準備される場合も多いと思います。 データの確認や加工が簡単になるpandas形式で読み込むのがスタンダードになります。 必要なライブラリをまず読み込んでお  >>続きを読む

PandasのDataFrame作成と結合方法

Pandasは機械学習やディープラーニングを行う上で、データの前処理など頻繁に使用します。 まずは徹底して使いなれるようにしましょう。エクセルを扱うよりもPandas を扱う方が楽だと思えるようになるまでいじり倒しまし  >>続きを読む

混同行列と性能評価指標

学習済みモデルが、どの程度良いか判定するする指標を性能評価指標といいます。 そこで登場するのが混同行列です。 混同行列について 余談ですが、普通に「こんどうぎょうれつ」と入力すると「近藤行列」と変換されてしまい、「混同行  >>続きを読む

numpy.ndarray型とPandas DataFrame型との相互変換する方法

Scikit-learnで機械学習する場合に、numpy.ndarray型とPandasのDataFrame型をそれぞれ変換したくなるケースがあります。 Scikit-learnが用意しているdatasetを活用するとデ  >>続きを読む

SNS対策でOGP設定をする

WebサイトでSNS対策をする場合はOGPの設定をしておきましょう。 OGPとは、Open Graph Protocol(オープン・グラフ・プロトコル)のことです。 Facebookやtwitter、などのSNSでシェア  >>続きを読む

BeautifulSoupを使ったスクレイピング(1)

BeautifulSoupを使うと簡単にスクレイピングが行えます。 この名前は不思議の国のアリスで出てくる詩からつけられました。 確かに美味しいスープです。 beautifulsoup4の導入 ターミナルなどからpipで  >>続きを読む

スプレッドシート(エクセルなど)で統計分析(4) 重回帰分析の方法

線形回帰モデル (Linear Regression) とは、回帰式を用いて、説明変数の値から目的変数の値を予測するモデルです。 説明変数が2変数以上の場合「重回帰分析」と呼ばれます。 重回帰分析を行う上でのポイントは「  >>続きを読む

統計の基礎〜クロス集計2 活用方法 

クロス集計を行って、その内容を確認します。 次の例ではA商品とB商品の評価をクロス集計したものです。 原因と結果に何らかの関係が認められる場合、因果関係があるといいます。 因果関係にあるようなクロス集計表は原因になるもの  >>続きを読む

統計の基礎〜クロス集計1 Googleスプレッドシートでピボットテーブル作成

クロス集計とは クロス集計は2つの質的変数の組み合わせで集計して、この2つの変数の関連性を確認するために活用されるものです。 クロス集計表は行と列それぞれの変数の項目を設定して、その組み合わせに対応した度数を集計すること  >>続きを読む

DialogflowのIntentとAgentのインポートとエクスポート

Intentはユーザーとの会話を作成するものです。 Intentのデータを過去に作成したAgentのものを流用したいときなど、importとexportをすれば可能です。 Intentのimport と export I  >>続きを読む

統計の基礎〜偏差、平均偏差、標準偏差、分散、標準化、偏差値について

データのバラツキで出てくる言葉で、「偏差」、「平均偏差」「標準偏差」、「分散」とは何を行っているのか復習です。 データのバラツキを見るときにまず基準になるのは、平均です。 平均との関係を視点にして見ていくとわかりやすいと  >>続きを読む

z-indexこうすれば思い通り動く〜ネットや入門書では誤解を生む説明が多いので注意!

HTMLとCSSのレイアウトで親要素の裏側に子要素を移動したい。つまり親子間での重ね順を変える場合どうしてますか? positionプロパティとz-indexプロパティを使って移動させるはずです。 でも、なかなか思い通り  >>続きを読む

スプレッドシート(エクセルなど)とPythonで統計分析(3) scikit-learn で単回帰分析の方法

今回はscikit-learn で単回帰分析する方法について解説します。 分析対象は「スプレッドシート(エクセル)とPythonで統計分析(2) 単回帰分析の方法」で行った「1日の最高気温とアイスクリームの販売個数」のデ  >>続きを読む

最小二乗法で傾きを求める方法を数学的に理解しよう

回帰直線の傾きは公式で簡単に求められますが、数学的な意味を理解しておくとなぜそうなるかがわかります。今回は数学的な意味を見ていきます。 問題設定:最高気温とアイスクリーム販売数のデータを用いて、今日の気温予報からアイスク  >>続きを読む

スプレッドシート(エクセル)とPythonで統計分析(2) 単回帰分析の方法

単回帰分析 単回帰分析とは、以下のような回帰式を用いて、1つの説明変数の値から目的変数の値を予測するモデルです。 単回帰分析の公式 $$ y = ax + b $$ データの準備 用意したデータはある店舗における1日の最  >>続きを読む

pandasで同じ値の個数を調べる方法

pandasで1次元の配列状態のデータを処理するにはSeriesを使います。下の例では配列を作成して、pandasのseriesにしています。 次に条件として値が2のデータのみを抽出してその総個数を求めています。 複数の  >>続きを読む

ColaboratoryとGoogle ドライブをマウントする方法

2019年07月6日追記 ColaboratoryとGoogle ドライブをマウントについては、標準でその機能がつきました。 やっていることは下記同様のこととなりますが、より直感的にマウントできるようになっています。 G  >>続きを読む

スプレッドシート(エクセルなど)とPythonで統計分析(1) 相関係数の求め方

Pythonで統計分析の勉強をするには、一度スプレッドシート (エクセルなど)で試してみると理解が早いと思います。 今回は無料で使えるGoogleスプレッドシートで説明します。 相関分析 データの準備 用意したデータはあ  >>続きを読む

スクレイピングで同じclass名の要素を複数取得する方法

次のコードはseleniumを使ったスクレイピングでclass名「item」の要素からデータを取得するためのものです。class名「item」は複数存在して複数のデータを取得するつもりのものです。 elemには複数のデー  >>続きを読む

Colaboratoryでスクレイピングする方法

seleniumの導入方法 seleniumの導入はまずインストールする必要があります。ColaboratoryのJupyter Notebookdでpipを使ってインストールする場合は下記のようにします。「!」を付ける  >>続きを読む

Vue.jsの基本(9)v-forの使い方

Vue.jsの基本(1)Vue.jsの基本的な使い方 Vue.jsの基本(2)dataプロパティについて Vue.jsの基本(3)computedとmethodsの違い Vue.jsの基本(4)監視プロパティについて V  >>続きを読む

Vue.jsの基本(8)v-ifのポイント

Vue.jsの基本(1)Vue.jsの基本的な使い方 Vue.jsの基本(2)dataプロパティについて Vue.jsの基本(3)computedとmethodsの違い Vue.jsの基本(4)監視プロパティについて V  >>続きを読む

Vue.jsの基本(7)classとスタイルのバインディング

Vue.jsの基本(1)Vue.jsの基本的な使い方 Vue.jsの基本(2)dataプロパティについて Vue.jsの基本(3)computedとmethodsの違い Vue.jsの基本(4)監視プロパティについて V  >>続きを読む

AI入門〜Google Colaboratoryの使い方

Google Colaboratoryとは Colaboratoryとはgoogleが提供する教育や研究機関へ機械学習の普及を目的としたGoogleの研究プロジェクトの一つでです。 Colaboratory へようこそペ  >>続きを読む

Pythonでスクレイピング(4)Flickr APIを使って画像収集

データの収集はFlickrの写真をクローリングします。今回の内容はFlicKrのAPIを使用してプログラムから収集する方法です。 作業フローは次の通りです。 YahooアカウントでFlickrのAPIキーを取得 ファイル  >>続きを読む

XAMPPやMAMPでバーチャルホストの作成

バーチャルホストとは1つのサーバで複数のドメインを運用することです。 バーチャルホストはXAMPPやMAMPでも作成することができます。 今回はXAMPPやMAMPでのバーチャルホスト作成の手順について説明します。 XA  >>続きを読む

seleniumでブラウザ操作する際に出る問題〜hostsファイルが原因

seleniumはブラウザを操作するためのライブラリです。これを使うことで便利にブラウザを操作することができます。 Pythonでスクレイピング seleniumの導入とh1要素のテキストを取得する ところがある日突然ブ  >>続きを読む

Pythonでスクレイピング(3)seleniumで画像収集

特定の要素を取得できるようになったら、Pythonの画像処理ライブラリ「Pillow」を使った画像の収集を行ってみましょう。 簡単な画像の読み込み方法 Jupyter notebookのファイルと同じフォルダにサンプル画  >>続きを読む

Pythonでスクレイピング(2)seleniumの使い方

seleniumとブラウザ用driverを導入します。ブラウザはChromeを使用する事とします。 情報収集するサンプルページ from selenium import webdriver browser = webdr  >>続きを読む

JavaScript,PHP,Pythonの型についてまとめ

JavaScriptの型 プリミティブデータ型 真偽値 (boolean) null値 (Null) 未定義 (Undefined) 数値 (Number) 文字列 (String) シンボル (Symbol (ECMA  >>続きを読む