香月 リサ 先生
いきなりクイズ!
テキスト・画像・音声を全部1つのモデルで処理できる AI のことを何と呼ぶでしょう?
戸倉 ジャスミン
え、マルチなんとかってやつ?
マルチタスクAI?
雪村 ましろ
うぅ〜ん…マルチモーダル?
どこかで聞いた気がするのぉ…
香月 リサ 先生
ましろちゃん、正解!
マルチモーダルAIね。
「モーダル」は「情報の種類・様式」という意味で、テキスト・画像・音声・動画・3Dなどを指すの。
深見 つむぎ
補足すると、モーダルが一種類のみのモデルを『シングルモーダル』、複数扱えるものが『マルチモーダル』です。
GPT-3 までは主にテキストのみのシングルモーダルでした。
戸倉 ジャスミン
じゃあ最近の GPT-4o とか Gemini は、マルチモーダルってこと?
香月 リサ 先生
そう。
GPT-4o は音声入出力まで統合、Gemini はテキスト・画像・動画も扱える、Claude 3 以降は画像入力可能——と各社マルチモーダル化が進んでいるわ。
雪村 ましろ
技術的には、どうやって違う種類の情報を混ぜてるんですか?
香月 リサ 先生
基本的なアプローチは、各モダリティを共通のベクトル空間(埋め込み空間)にマッピングすること。
テキストも画像も同じベクトル空間に表現することで、モダリティを横断した理解が可能になるの。
先に出た CLIP がその典型例ね。
深見 つむぎ
そして最近のマルチモーダル LLM は、CLIP 的な埋め込みを LLM にそのまま接続することで、テキストと画像を同じトークンとして扱えるように進化しています。
AI から見ると、画像も音声も全部『言語みたいなトークン列』に見えている、とも言えますね。
戸倉 ジャスミン
要は AI から見ると、画像も音声も全部『言語みたいなトークン列』に見えてるってこと?
すげー、まさに統一感じゃん!
雪村 ましろ
人間も目と耳と口と手を一緒に使ってお話しするもんね。
AI もそっちに近づいてるんだぁ!
香月 リサ 先生
いい気づき。
マルチモーダル化は AI 進化の大きな潮流で、今後はロボットの身体操作や動画理解まで射程に入っているわ。
応用としては、画像質問応答(VQA)、音声アシスタント(Alexa、Siri)、自動運転(カメラ+LiDAR)、医療画像診断+カルテ併用——など、既に実用分野が広がっているの。
深見 つむぎ
補足: マルチモーダル化は単に情報源が増えるだけでなく、モダリティ間のクロスチェック(テキストと画像の整合性確認)によるハルシネーション抑制効果も期待されています。
次回は視覚言語モデル(VLM)を扱いますね。
香月 リサ 先生
試験では「マルチモーダル=複数モダリティを統合」「代表モデル GPT-4o、Gemini、Claude 3」「共通ベクトル空間で橋渡し」の3点を押さえて。
単にモダリティが増えるだけでなく、人間の感覚に近い形で AI が世界を理解し始めている、という大きな方向性の転換点でもあるわ。
ジャスミンちゃんが妹さんに見せる動画を AI が内容理解して要約できる、つむぎさんが論文のチャートまで含めて AI にまとめさせる、ましろちゃんがスマホで撮った和菓子の写真から作り方をAIに聞ける——そんな日常が、もうすぐ当たり前になっているの。
確認クイズ
マルチモーダルAIの説明として最も適切なものはどれか。
- テキストのみを高精度に処理するAI
- 複数の情報形式を統合的に扱えるAI
- 画像生成専用のAI
- 音声認識専用のAI
こたえを見る
正解: 2. 複数の情報形式を統合的に扱えるAI
マルチモーダルAIはテキスト・画像・音声など複数のモダリティ(情報形式)を統合的に処理できるAIです。特定1種類だけを扱うのはシングルモーダルの説明になります。
