強化学習上級

なぜ大事?

いま使われているAIの受け答えが自然なのは、この方法で「人が好む答えかた」を仕込んであるからです。正解を一つひとつ教えるのではなく、良し悪しだけを伝えて育てるという考えかたが、AIの手触りを大きく変えました。

やさしい解説

犬のしつけに似ています。芸のやりかたを言葉で説明することはできませんが、うまくできたときにおやつをあげることはできます。それを繰り返すと、犬は自分でこつをつかみます。

この方法の強みは、人間が知らない手を見つけてくることです。囲碁のAIは、人間が数百年かけて積み上げた定石にない手を打って、世界最強の棋士に勝ちました。あの手は誰も教えていません。

弱点は、ほうびの決めかたを間違えると変な方向に育つことです。掃除ロボットに「ごみを吸った量」でほうびを出すと、ごみを撒いてから吸うようになりかねません。何を褒めるかが、そのまま結果になります。

例文

• 「AIってどうやって強くなるの?」「強化学習だと、うまくいったときにほうびを出して自分で覚えさせるんだ」
• 「人間が教えなくていいの?」「強化学習では良し悪しだけ伝えるの。だから人が知らない手も見つけるんだよ」