推論上級

なぜ大事?

AIが賢くなる道が、2つあると分かってきました。 ひとつは学習で賢くすること。もうひとつが、その場で長く考えさせることです。後者は使う側が選べるので、知っておくと結果が変わります。

やさしい解説

AIを作るには2つの段階があります。

• 学習 … 大量の文章を読ませて、中身を作り込む。作る側の仕事で、何か月もかかる
• 推論 … できあがったものに質問して、答えを出させる。使う側が毎回やっていること

長いあいだ、賢さは学習だけで決まると考えられていました。大きく作れば賢くなる。 そのために巨大な設備が要る、という話です。

ところが近年、答える前に長く考えさせると、同じAIでも正解が増えると分かってきました。人が難しい問題で紙に書いて考えるのと似ています。頭の良さを変えずに、考える時間を増やしただけで結果が良くなる。

考える時間は選べる

多くの道具には、どれくらい考えさせるかの段があります。「速さ優先」「じっくり」といった選びかたです。

• 難しい問題ほど、長く考えさせる価値があります。 筋道を追う必要のあること、計算、設計
• 簡単な問題に長く考えさせても、無駄が増えるだけです。時間もお金もかかります

考えた分もトークンとして数えられるので、じっくり考えさせると費用は上がります。 使い分けが要るのはこのためです。

設定が無い道具でも、頼みかたで変わります。「順を追って考えてから答えて」と一言添えるだけで、答えが変わることがあります。

例文

• 「同じAIなのに答えが違う」「推論にかけた時間が違うのかもね。長く考えさせると変わるんだ」
• 「難しいことを頼みたい」「じっくり考える設定にするか、順を追って考えてって伝えるといいよ」