Feature, Feature Space

昨日の例でもでてきましたが、Classifierは、結局、Featureとして与えられた部分だけしか見ずに分類をしています。　

いくら賢い、理論が素晴らしい Support Vector Machine を使っても、与えられた Featureが身長と体重だけでは、男と女を区別するのは難しい。　なら、どんなデータを与えれば男か女か分かるんでしょうか？？　　画像の中には十分な情報があるはずです。　でも、単にピクセルをひとつ一つ順番に見たのでは、人間にだってその画像が、男か女か区別は付かないでしょう。　ではどうするのか？　どうやってFeature を作るべきなのか？　それは良く分かりません。　

同じく、Kernel Trickに使う Kernelで、次元が高い Feature Space を定義するさいの、Kernelの作り方、選びかたは、謎のブラックボックスです。　

高い予測精度を出すには、芸術的なエンジニアリングが必要です。　
機械学習のシステムはそんなに賢くないのです。