トランスフォーマー特級

なぜ大事?

ChatGPTもClaudeもGeminiも、土台はこれです。 2017年に十数ページの論文で発表され、そこから10年足らずで世界が変わりました。ひとつの設計がこれほど広く行き渡った例は珍しく、AIの歴史を語るときの分かれ目になっています。

やさしい解説

それまでのやりかたは、文章を前から順番に読んでいました。長い文になるほど、初めのほうを忘れてしまいます。「その本は、去年おじが京都の古書店で買ったもので、とても面白い」という文で、「面白い」のが本だと結びつけるのが苦手でした。

トランスフォーマーは、順番に読むのをやめました。文の全部を一度に見て、どの言葉とどの言葉が関係が深いかに注目します。 この「注目する」仕組みを英語でアテンションと呼び、論文の題も「注目こそがすべて」という意味です。

副産物が大きな意味を持ちました。順番に読む必要がないので、計算をまとめて並行して進められます。 GPUが得意なのがまさにこれで、大量の文章を現実的な時間で学習させられるようになりました。設計と部品がかみ合ったことが、いまのAIを生んでいます。

なお、変形ロボットの作品名とは関係ありません。

例文

• 「AIの中身ってどうなってるの?」「トランスフォーマーという設計だよ。いまのAIはほとんどこれ」
• 「何がすごかったの?」「文を前から順に読むのをやめたんだ。おかげで計算をまとめて進められるようになった」