OpenCV Haar Cascadesを使った顔検出（動画あり）

Haar Cascadesの仕組み

Haar特徴ベースのCascade型分類器を使った物体検出はポール・ビオラ（Paul Viola）とマイケル・ジョーンズ（Michael Jones）が2001年に論文で発表しています。
この手法は機械学習を基にした手法で，正例(顔画像)と負例(顔が写っていない画像)から分類器であるcascade関数を学習します。
顔検出のために、何かしらの特徴を抽出するため、以下の画像に示すようなHaar特徴量を使います。

この特徴量はconvolutionで使うカーネルのようなものです．黒い四角形の領域に含まれる画素値の総和から白い四角形の領域に含まれる画素値の総和を引いた値がこの特徴量になります。
ところが、大量の特徴量を計算するためには、各カーネルに対してあらゆるサイズ・位置を計算します。例えば、24×24のウィンドウでさえも16万個以上の特徴量になります。
計算を簡単にするために、integral images(積分画像)を提案しました。

積分画像が高速な訳

計算される大量の特徴量の大半は，実は重要ではありません。
最初の特徴は目の辺りの領域は鼻や頬の領域に比べて暗いという性質を捉えており，二番目の特徴は目は眉間より暗いという性質を捉えるようにHaar特徴カーネルが配置されています。
しかしながら，頬の上やそれ以外の領域に全く同じカーネルを適用しても意味がありません。それでは，どうすれば160000個以上もある特徴から最適なものを選べるのでしょうか?

この選択に Adaboost が使われます。
#### ブースティング
Adaboost はアンサンブル 学習の中のブースティングのひとつです。
Adaboost は、弱識別器が判別を誤った訓練データは重要なので、重みを大きくすることでモデルを完成させます。一般的に弱学習器には決定木が使用される場合が多いです。

Adaboost参考サイトAdaboost参考サイト

Haar Cascadesを使った顔検出のポイント

* Haar-like特徴で濃淡のパターンを見る
* Adaboostで特徴選択
* 積分画像とカスケード型分類器で高速化

Haar分類器

Haar分類器は、オブジェクトを検出するために、 あらかじめ顔の特徴を学習させて作成した識別器をカスケードさせたものが入っているxmlファイルになっています。

OpenCVで実装

from google.colab.patches import cv2_imshow #colaboratoryの場合必要
import cv2
import numpy as np

画像とHaarcascadesデータの読み込み

face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

img = cv2.imread('sibling.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

faces = face_cascade.detectMultiScale(gray, 1.3, 5)
for (x,y,w,h) in faces:
    img = cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
       
cv2_imshow(img)

結果

print(x,y,w,h)
faces

結果
146 195 79 79
array([[183, 46, 89, 89],
[304, 90, 80, 80],
[422, 177, 72, 72],
[146, 195, 79, 79]], dtype=int32)

eye_cascade = cv2.CascadeClassifier('haarcascade_eye.xml')

for (x,y,w,h) in faces:
    img = cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
    roi_gray = gray[y:y+h, x:x+w] #grayの顔の領域をスライス
    roi_color = img[y:y+h, x:x+w] #imgの顔の領域をスライス
    eyes = eye_cascade.detectMultiScale(roi_gray)
    for (ex,ey,ew,eh) in eyes:
        cv2.rectangle(roi_color,(ex,ey),(ex+ew,ey+eh),(0,255,0),2)

cv2_imshow(img)

結果

OpenCV 顔検出と切り出し

必要なライブラリをインポートします。

from google.colab.patches import cv2_imshow #colaboratoryの場合必要
import cv2
import numpy as np
import copy

画像の読み込みとxmlデータの読み込みを行います。

cascade = cv2.CascadeClassifier('./haarcascade_frontalface_default.xml')

img = cv2.imread('sibling.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

顔を判定して座標を配列にしています。

face = cascade.detectMultiScale(gray, 1.3, 5)

ここで画像をトリミングします。
動画では境界線画わかりやすいように矩形の線を描いてトリミングしていますが、境界線を描いてトリミングすると境界線もトリミングされます。
一般的に境界線は不要な場合が多いと思いますので、境界線を描く前にトリミングを行います。

face_detect_count = 0
for (x,y,w,h) in face:
  cv2.imwrite('cutted' + str(face_detect_count) + '.jpg',img[y:y+h,  x:x+w])
  face_detect_count += 1

ここで境界線を引きます。特に確認の必要がない場合はこの処理は省略しても良いでしょう。

for (x,y,w,h) in face:
  cv2.rectangle(img,(x,y),(x+w,y+h),(0,0,255),2)
cv2_imshow(img)

結果

参考サイト

* OpenCVを使ったHaar Cascadesを使った顔検出マニュアルOpenCVを使ったHaar Cascadesを使った顔検出マニュアル
* haarcascadesデータhaarcascadesデータ
* CascadeClassifierの種類と効果CascadeClassifierの種類と効果
* Cascade Classifier TrainingCascade Classifier Training

参考になった書籍

OpenCVというよりも、画像認識の理論面が幅広く数式を使って説明されています。画像分析を自分のものにしたい場合に最適です。

Pythonサンプルのダウンロード

ここでダウンロードする「OpenCv_face1.ipynb」と「OpenCV_face2.ipynb」ファイルは、このPython動画で使用したものです。

OpenCv_face1.ipynb

OpenCV_face2.ipynb

OpenCV動画一覧

• OpenCV 様々なフィルタについて
• OpenCV Haar Cascadesを使った顔検出（動画あり）
• OpenCV 画像の微分（動画あり）
• OpenCV　アフィン変換（動画あり）
• OpenCV 画像の畳み込み演算（動画あり）
• OpenCV NumpyでRGB変換、トリミング
• OpenCV BGRをRGBに変換（動画あり）
• OpenCV　画像の読み込みと表示（動画あり）