マルチモーダル上級

なぜ大事?

「この写真、なんて書いてある?」が通じるようになりました。文字を打つのが苦手な方にとって、これは大きな変化です。撮って見せれば伝わるなら、キーボードの壁を越えられます。教室でも、写真を撮って質問する方が増えています。

やさしい解説

以前のAIは、文章は文章、画像は画像と、別々の道具に分かれていました。いまは同じAIが、写真を見ながら文章で答えます。人が目と耳と口を同時に使うのに近づいたというわけです。

できることは、思ったより広がります。撮った料理から作りかたを聞く、届いた書類の意味を聞く、薬の袋を見せて飲みかたを確かめる。どれも打ち込む文字はほとんどいりません。

「モーダル」は感覚の種類という意味です。文字、画像、音声、動画がそれぞれ1つのモーダルで、それらをまたげるから「マルチ」と呼ばれます。

例文

• 「この書類、何が書いてあるか分からなくて」「写真を撮ってAIに見せてみて。マルチモーダルだから読んでくれるよ」
• 「文字を打たなくていいの?」「マルチモーダルのAIなら、写真だけでも質問できるんだ」