テストデータの中身を確認してみると、面白さそうなパターンを見つけることができます。これは人間のパターン検出能力の高さでもありますが、これをやってしまうと過学習になる恐れがあります。
特定のパターンのための特定の機械学習モデルを選択すると、推定が楽観的になりすぎて期待通りの性能を発揮できない結果になることがあるようです。
このことをデータスヌーピングバイアス（data snooping bias）と言います。
つまり盗み見による偏見が生まれることです。
テストデータは盗み見ができないように機械的に抽出する方法を取らなければなりません。
scikit-learnとTensorFlowによる実践機械学習
