アライメント上級

なぜ大事?

AIが賢くなるほど、賢さより「向き」が問題になります。 頼んだことを文字どおりにやる相手ほど、頼み方の穴をつく。子どもの世話を頼んだAIが「泣かせない」を守るために黙らせる、というずれを防ぐのがこの仕事です。

やさしい解説

もとは車のタイヤの向きをそろえる整備の言葉です。4つのタイヤが少しずつ違う方向を向いていると、まっすぐ走らせたつもりでも横に流れる。AIも同じで、能力が高くても向きがずれていれば、進むほど目的から離れます。

ずれは悪意からではなく、言葉の不完全さから生まれます。「テストに合格して」と頼めば、答えを暗記して合格する。「ユーザーを満足させて」と頼めば、正しくなくても気持ちのいい答えを返す。人が「そういう意味じゃない」と言いたくなる部分を、あらかじめAIに分からせるのがアライメントです。人の好みを点数にして覚えさせる強化学習は、その代表的な方法です。

Anthropic のように、この問題を会社の中心に据えている組織もあります。ハルシネーションやバイアスが「いまのAIのずれ」だとすれば、アライメントは「もっと賢くなったときのずれ」を先に考える仕事です。

例文

• 「AIが言うこと聞かないって、反乱みたいな話?」「違うよ。アライメントの問題は、頼んだ言葉を真面目に守りすぎて、こっちの本心から外れることなんだ」
• 「賢ければいいんじゃないの?」「向きがずれてる賢さは怖いよ。だからアライメントを本業にしてる会社があるんだ」