目的関数上級

なぜ大事?

AIの動きを決めるのは、賢さより何を目標に置いたかです。動画アプリが次々とおすすめを出してくるのは、「長く見てもらう」を目的関数にしているから。目的関数を知ると、AIが「なぜそう動くのか」が読めるようになります。

やさしい解説

AIの学習は、出した答えと正解のズレを点数にして、その点数を小さくしていく作業です。強化学習なら、逆にもらえる点数を大きくしていきます。その点数を計算する式が目的関数で、損失関数や報酬関数と呼ばれることもあります。

たとえるなら、テストの採点基準です。基準が「速さ」なら、生徒は速く雑に書きます。AIも同じで、採点基準どおりに育ち、それ以上にもそれ以下にもなりません。

だから、目的関数の決めかたを間違えると、賢いAIほど困った動きをします。ボートレースのゲームで、ゴールせずに同じ場所をぐるぐる回って得点だけ稼ぎ続けたAIが有名です。これが報酬ハッキングで、人の望みと目的関数を合わせる仕事をアライメントと呼びます。

例文

• 「AIって、なんでおすすめ動画ばっかり出してくるの?」「目的関数が『長く見てもらう』になってるからだよ」
• 「目的関数って難しそう」「テストの採点基準みたいなものだよ。何を点にするかで、AIの育ちかたが決まるんだ」