Python〜join()の使い方

Pythonの文法では、join()メソッドはsplit()メソッドの逆の使い方として、文字を連結するメソッドと紹介されています。 なんとなくそんなものかと通り過ぎてしまいますが、大切なことはjoin()はリストのメソッ  >>続きを読む

Python入門で気をつけるポイント(2)

リストで使えるメソッド メソッド 使い方 append(x) リストの末尾に要素を一つ追加します。 extend(iterable) イテラブルのすべての要素を対象のリストに追加し、リストを拡張します。 insert(i  >>続きを読む

Python入門で気をつけるポイント(1)

Python文法の入門編段階で気をつけておくポイントです。 Pythonの語源はニシキヘビではなく、イギリスの代表的なコメディグループのMonty Pythonのコメディ番組「空飛ぶモンティ・パイソン」です。 とはいえ、  >>続きを読む

Pythonの関数についてもう少し詳しくなる

フィボナッチ級数を任意の数値まで書き出す関数を定義することで関数の基本を勉強します。 ネタ元はO’REILLYのPythonチュートリアル 第3版です。 作者はGuido van Rossum氏でPython  >>続きを読む

Python リストの内包表記について

内包表記を覚えるとfor in 文を使った処理を簡単に書き換えることができます。 リストの内包表記 [expression for item in iterable] 例えば、空のリストに1から5までの整数のリストを作成  >>続きを読む

Python split()と正規表現で不要なテキストを削除

次のようなコードの意味がわからないと質問がありましたので解説します。 尚、コードのtext内容の文章の一部にある「\」はテキスト内容を見やすくするためにテキスト部分を折り返していますが、エラーが出ないための対策です。 i  >>続きを読む

Google Colaboratory 猫モードとかコーギーモードについて

Google Colaboratory の設定メニューに「その他」の項目があります。その中に、ちょっと気になるメニューがあります。 コーギーモード 猫モード とりあえず、チェックを入れたらコーギーモードは犬らしきもの、そ  >>続きを読む

機械学習のためのデータ準備 CSVデータの読み込みとデータの確認と欠損値の確認

機械学習をする場合にまずデータを準備しますが、csv形式でデータが準備される場合も多いと思います。 データの確認や加工が簡単になるpandas形式で読み込むのがスタンダードになります。 必要なライブラリをまず読み込んでお  >>続きを読む

Pandasデータからヒストグラムが描けない場合にはnumpyのflatten() を使おう

Pandasデータからある項目をスライスしてその値でヒストグラムを作成するときにうまく行かなくて困ったことがありませんでしょうか。 具体的には次のようなデータがあったとします。 このデータからグレードの列を抜き出してヒス  >>続きを読む

PandasのDataFrame作成と結合方法

Pandasは機械学習やディープラーニングを行う上で、データの前処理など頻繁に使用します。 まずは徹底して使いなれるようにしましょう。エクセルを扱うよりもPandas を扱う方が楽だと思えるようになるまでいじり倒しまし  >>続きを読む

混同行列と性能評価指標

学習済みモデルが、どの程度良いか判定するする指標を性能評価指標といいます。 そこで登場するのが混同行列です。 混同行列について 余談ですが、普通に「こんどうぎょうれつ」と入力すると「近藤行列」と変換されてしまい、「混同行  >>続きを読む

numpy.ndarray型とPandas DataFrame型との相互変換する方法

Scikit-learnで機械学習する場合に、numpy.ndarray型とPandasのDataFrame型をそれぞれ変換したくなるケースがあります。 Scikit-learnが用意しているdatasetを活用するとデ  >>続きを読む

Pandasのインポートについて

PandasのインポートはPythonのimport文を使うだけです。 import pandas as pd 機械学習を勉強していると時々次のようなインポートが行われています。from import 文を使うと、読み込  >>続きを読む

Pythonの例外処理について

例外処理とは、エラーが起こりそうな特定のコードが実行された時に、エラーになった場合に例外ハンドラーを準備しとおいて、そのエラーをキャッチする仕組みです。 具体的にはtryブロックに問題が起こりそうなコードを記述しておき、  >>続きを読む

SNS対策でOGP設定をする

WebサイトでSNS対策をする場合はOGPの設定をしておきましょう。 OGPとは、Open Graph Protocol(オープン・グラフ・プロトコル)のことです。 Facebookやtwitter、などのSNSでシェア  >>続きを読む

python 〜複数の戻り値にオブジェクトを使う

Pythonで関数からの戻り値が複数ある場合、最も簡単な方法はタプルで返す方法です。 例 >>> def myfunc(): … a = 1 … b = 2 … c = 3 … d =   >>続きを読む

Python〜 join()の使い方

リストで用意されたリストの中の値を文字列として書き出す場合に便利な関数です。 names = ['tahara','yamada','suzuki',&#039  >>続きを読む

BeautifulSoupを使ったスクレイピング(1)

BeautifulSoupを使うと簡単にスクレイピングが行えます。 この名前は不思議の国のアリスで出てくる詩からつけられました。 確かに美味しいスープです。 beautifulsoup4の導入 ターミナルなどからpipで  >>続きを読む

スプレッドシート(エクセルなど)で統計分析(4) 重回帰分析の方法

線形回帰モデル (Linear Regression) とは、回帰式を用いて、説明変数の値から目的変数の値を予測するモデルです。 説明変数が2変数以上の場合「重回帰分析」と呼ばれます。 重回帰分析を行う上でのポイントは「  >>続きを読む

統計の基礎〜クロス集計2 活用方法 

クロス集計を行って、その内容を確認します。 次の例ではA商品とB商品の評価をクロス集計したものです。 原因と結果に何らかの関係が認められる場合、因果関係があるといいます。 因果関係にあるようなクロス集計表は原因になるもの  >>続きを読む

統計の基礎〜クロス集計1 Googleスプレッドシートでピボットテーブル作成

クロス集計とは クロス集計は2つの質的変数の組み合わせで集計して、この2つの変数の関連性を確認するために活用されるものです。 クロス集計表は行と列それぞれの変数の項目を設定して、その組み合わせに対応した度数を集計すること  >>続きを読む

DialogflowのIntentとAgentのインポートとエクスポート

Intentはユーザーとの会話を作成するものです。 Intentのデータを過去に作成したAgentのものを流用したいときなど、importとexportをすれば可能です。 Intentのimport と export I  >>続きを読む

統計の基礎〜偏差、平均偏差、標準偏差、分散、標準化、偏差値について

データのバラツキで出てくる言葉で、「偏差」、「平均偏差」「標準偏差」、「分散」とは何を行っているのか復習です。 データのバラツキを見るときにまず基準になるのは、平均です。 平均との関係を視点にして見ていくとわかりやすいと  >>続きを読む

z-indexこうすれば思い通り動く〜ネットや入門書では誤解を生む説明が多いので注意!

HTMLとCSSのレイアウトで親要素の裏側に子要素を移動したい。つまり親子間での重ね順を変える場合どうしてますか? positionプロパティとz-indexプロパティを使って移動させるはずです。 でも、なかなか思い通り  >>続きを読む

散布図と回帰直線を簡単に描く方法

回帰分析で散布図を描く時、通常は matplotlib を使うと思いますが、seaborn を使うともっと楽に描くことができます。 matplotlib を使った散布図 import pandas as pd impor  >>続きを読む

スプレッドシート(エクセルなど)とPythonで統計分析(3) scikit-learn で単回帰分析の方法

今回はscikit-learn で単回帰分析する方法について解説します。 分析対象は「スプレッドシート(エクセル)とPythonで統計分析(2) 単回帰分析の方法」で行った「1日の最高気温とアイスクリームの販売個数」のデ  >>続きを読む

最小二乗法で傾きを求める方法を数学的に理解しよう

回帰直線の傾きは公式で簡単に求められますが、数学的な意味を理解しておくとなぜそうなるかがわかります。今回は数学的な意味を見ていきます。 問題設定:最高気温とアイスクリーム販売数のデータを用いて、今日の気温予報からアイスク  >>続きを読む

スプレッドシート(エクセル)とPythonで統計分析(2) 単回帰分析の方法

単回帰分析 単回帰分析とは、以下のような回帰式を用いて、1つの説明変数の値から目的変数の値を予測するモデルです。 単回帰分析の公式 $$ y = ax + b $$ データの準備 用意したデータはある店舗における1日の最  >>続きを読む

pandasで同じ値の個数を調べる方法

pandasで1次元の配列状態のデータを処理するにはSeriesを使います。下の例では配列を作成して、pandasのseriesにしています。 次に条件として値が2のデータのみを抽出してその総個数を求めています。 複数の  >>続きを読む

コマンド引数で住所を指定するとGoogle Mapが開く〜Python

Pythonで簡単なアプリの例です。 ネタ元はO’REILLYの「退屈なことはPythonにやらせよう」からです。 この本はノンプログラマーにもわかりやすく書かれている良本です。他に何らかプログラム入門くらい  >>続きを読む