大規模言語モデル中級

なぜ大事?

ChatGPTのようなAIが、なぜときどき平気でうその答えを返すのか。その理由がここにあります。中身を知っておくと、便利に使いながらも、鵜呑みにしない距離感が持てます。

やさしい解説

大規模言語モデルがやっていることは、たったひとつです。「ここまでの文章の、次の言葉は何か」を当てる。それだけを、想像を超える回数くり返して練習しました。

「昔々あるところに」と言われると、私たちはつい「おじいさんとおばあさんが」と続けたくなります。世界中の本や記事を読み続けた人なら、その反射はもっと鋭くなるはずです。大規模言語モデルは次の一語を選び、それを含めてまた次の一語を選ぶ。この積み重ねで、長い答えができあがります。

ここが面白いところで、大規模言語モデルは答えを調べているのではなく、それらしい言葉を並べているだけです。だから存在しない本の題名を、なめらかに作ってしまうことがあります。ちなみに今のAIの土台になった技術は、2017年に発表されたたった十数ページの論文から広まりました。

例文

• 「AIってどうやって文章を作るの?」「大規模言語モデルが、次に来る言葉を1つずつ選んでるんだよ」
• 「LLMって聞くけど何の略?」「大規模言語モデル。調べてるんじゃなくて、それっぽく並べてるだけなんだ」