第12章: 画像・音声と言葉をつなぐ — マルチモーダル
ChatGPT に料理の写真を貼って「これ何？ レシピ教えて」と聞く。 画像を見て「これはタイ風グリーンカレーですね」と答え、レシピまで書いてくれる。
ヘッドホンをつけて、口頭でフランス語の練習相手になってもらう。 こちらが話せばリアルタイムで応答が返り、発音まで指導してくれる。
ChatGPT は「自然言語処理」を超えて、画像も音声も同じ枠で扱う ようになった。 これは魔法ではない。本章のテーマ ── マルチモーダル LLM の仕組みを紐解けば、その理屈が見える。
鍵は、本書を通じて何度も出てきたあの発想だ： 「ベクトル（埋め込み）空間に押し込めば、機械にとっては同じものになる」。
12.1 「モーダル」とは何か
NLP の文脈で モーダル（modality） という言葉が出てきたら、おおむね「情報の種類」を指していると思っていい。
- テキスト（言語）
- 画像（写真、図、スクリーンショット）
- 音声（話し声、音楽、環境音）
- 動画（時間軸を持つ画像 + 音声）
- その他（センサーデータ、コード、化学式、生体信号 …）
これらは人間にとっては「同じ世界を別の感覚チャネルで捉えたもの」だが、機械にとってはまったく違うフォーマット：
- テキスト = 文字の並び
- 画像 = ピクセルの 2 次元格子
- 音声 = 波形（時系列の数値）
異なるフォーマットを扱う AI を、マルチモーダル AI と呼ぶ。 本章では特に、言語と画像・音声をつなぐ LLM ── GPT-4V、Gemini、Claude Opus 4 などの内部発想を扱う。
12.2 「埋め込みを別モーダルに拡張する」という発想
ここで使うのは、第2章で見た 埋め込みの発想 ── 「言葉を空間の座標に置く」──の 拡張 だ。
マルチモーダルの普遍解
画像も音声も、同じやり方で ベクトル空間の点 にする。 その空間を テキストの埋め込み空間と揃えて しまえば、機械にとっては種類の違いが消える。
「猫」というテキスト、「猫の写真」、「猫の鳴き声」── これらを近い場所に置けば、機械は「これらは同じものを指している」と扱える。
具体的にどうやって画像・音声を埋め込むのか、順に見ていく。
12.3 画像をベクトルにする ── Vision Transformer (ViT)
画像をどう「ベクトル化」するか。 ここで活躍するのが、第7章で扱った Transformer の応用 ── Vision Transformer (ViT) だ。
発想は驚くほど Transformer をそのまま流用している：
Vision Transformer の手口
- 画像を 小さなパッチ（16×16 ピクセルの正方形タイル）に分割
- 各パッチを 「画像のトークン」 として扱う
- テキスト Transformer と まったく同じ枠組み で、これらのパッチに Self-Attention を適用
驚きは、これだけで画像認識が成立してしまうこと。 画像を「トークンの並び」と思えば、Transformer がそのまま使える。
つまり画像 Transformer は、「絵を、語彙の代わりにパッチで構成された文として扱う」 だけだ。 Self-Attention は、画像のパッチ同士の関係を捉える ── 「この目のパッチと、その顔のパッチは関連が深い」のような。
この処理を通すと、画像全体を 1 つのベクトルに、あるいは各パッチを別のベクトルに、変換できる。 これが画像の埋め込み表現になる。
12.4 言語と画像を「同じ空間」に揃える ── CLIP
ここで重要なのは、画像のベクトルとテキストのベクトルを、同じ空間に揃える ことだ。 別々の空間に置いていては、横断的な操作ができない。
これを実現した記念碑的モデルが CLIP (Contrastive Language–Image Pre-training)（OpenAI、2021 年）だ。
CLIP の学習発想
ウェブから集めた 「画像 + キャプション」のペア を 4 億組用意する。 そして次の二択クイズを延々と解かせる：
「以下の画像 100 枚と、以下のキャプション 100 個。各画像に対応するキャプションを当てよ。」
正しい組のペア（画像 A とキャプション A）はベクトル空間で 近く、 間違った組（画像 A とキャプション B）は 遠く なるように、ベクトルを学習する。
これを繰り返すと、画像とテキストが同じ空間に揃った 埋め込みが得られる。
CLIP の登場で、次のようなことが可能になった：
| 操作 | 例 |
|---|---|
| テキストで画像検索 | 「夕日のビーチ」とテキストで検索 → 該当する画像をベクトル類似度で検索 |
| 画像でテキスト検索 | 写真を与え → 関連するキャプションを生成 |
| 画像のゼロショット分類 | 「猫」「犬」「鳥」の文字列ベクトルと画像ベクトルを比較 → どれに近いかで分類 |
CLIP は、第11章の RAG でも「画像での検索」の中核技術として使われている。 「テキスト ↔ 画像の橋」 を架けた歴史的なモデルだ。
12.5 マルチモーダル LLM ── 視覚を持った GPT
CLIP のように画像とテキストを 同じ空間に揃える ことができたら、次の発想は自然だ：
マルチモーダル LLM の発想
画像を ベクトルに変換 して、テキストトークンと同じ流れに混ぜ込む。 LLM 側からは、テキストトークンと画像トークンが 同じ「単位」 に見える。
これにより、LLM の Self-Attention は、画像トークンとテキストトークンの 関係 を直接計算できる。 「この単語は、この画像のあの部分について言っている」── が一気通貫で扱える。
具体的な流れ：
- ユーザーが画像 + テキスト「これ何？」を入力
- 画像が Vision Transformer などで 画像トークンの並び に変換される
- LLM のプロンプトの一部として、画像トークンとテキストトークンが 混ぜて 流される
- LLM は通常の Self-Attention でこれらを処理し、応答を生成
代表的なモデル：
| モデル | 提供元 | 特徴 |
|---|---|---|
| GPT-4V / GPT-4o | OpenAI | 画像 + 音声 + テキストの統合 |
| Gemini 1.5 / 2.x | 最初から動画・画像・音声を一体設計 | |
| Claude 4 系 | Anthropic | 画像理解と長文処理に強み |
| Llama 3.2 Vision | Meta | 公開モデルのマルチモーダル版 |
これらは、画像を「言葉の延長」として処理することで、画像説明・文書 OCR・図表解釈・グラフ読み取り・コードのスクリーンショット解析など、幅広いタスクをこなせる。
12.6 音声も同じ発想で
音声についても、考え方はそっくりだ。 音声信号を トークンの並び に変換すれば、LLM の枠組みに乗せられる。
代表的なアプローチは、Whisper（OpenAI）に代表される 音声 Transformer：
- 音声波形を メルスペクトログラム（周波数の時系列表現）に変換
- これを 小さな単位（音声トークン） に切る
- Transformer で処理
これにより、音声を「言葉の音響的なトークン列」として扱える。 そして CLIP のように 音声とテキストを同じ空間に揃える モデル（CLAP など）も登場した。
ChatGPT の音声会話機能では：
- ユーザーの声 → 音声トークン → テキスト（音声認識）
- LLM がテキストで応答を生成
- 応答テキスト → 音声合成 → 出力
という構成が一般的だが、最近の GPT-4o などは、音声 → 音声をエンドツーエンド で処理するように進化している。 途中でテキストを介さないので、話者のトーン、間、感情 までモデルが扱える。
GPT-4o のリアルタイム音声デモ（2024 年）で、AI が 歌うように応答 したり、笑い声 を発したりしたのは、エンドツーエンド処理だからこそ可能になった芸当だ。
従来の「音声→テキスト→LLM→テキスト→音声」というパイプラインでは、こうした音響的な機微は途中で失われていた。
12.7 動画とその先
画像と音声をテキストと同じ枠で扱えるなら、動画 も射程に入る。 動画は「時間軸を持つ画像 + 音声」だからだ。
- Gemini は 動画を直接プロンプトに入れて、内容を聞く ことができる
- OpenAI の Sora（動画生成）は、テキストから動画を生成するが、これも内部では Transformer ベース
そしてその先には：
- タンパク質構造（AlphaFold）
- 化学分子（特定の SMILES 文字列を分子のトークンとして扱う）
- ロボットの動作軌跡（行動を「トークン化」する）
- 脳波・生体信号
など、「あらゆる種類のデータをトークン化して、Transformer で処理する」 という発想が広がっている。
これは本書の冒頭で予告した通り、Transformer がもはや言語固有ではなく、AI 全体の標準骨格 になっている事実の延長だ。
12.8 マルチモーダルが変える実用世界
マルチモーダル LLM は、現代の AI 応用を大きく広げている。
| 用途 | できること |
|---|---|
| OCR + 理解 | スクショや手書きメモを読み取り、内容を要約・編集 |
| 図表・グラフの解読 | 論文の図、ダッシュボードを言葉で説明 |
| コードレビュー | UI スクリーンショットからフロントエンドコードを生成 |
| 医療画像の補助診断 | レントゲン・MRI を見て所見をテキストで補助 |
| アクセシビリティ | 視覚障害者向けに画像を音声で説明 |
| 会議録の自動化 | 音声入力 → 議事録生成（音声トーンも含めて要約） |
| 教育 | 数学の手書き解答を写して、間違いを指摘 |
特に 「目を持った LLM」 は、これまでテキストだけでは難しかったタスク（手書きノート、UI 設計、論文の図解読など）を一気に AI の射程に入れた。
12.9 まだ難しいこと
マルチモーダル LLM は強力だが、まだ得意・不得意がある。
得意
- 画像の全体的な内容理解（何が写っているか、雰囲気、関係）
- スクリーンショットから UI の構造を読み取る
- グラフの大まかなトレンド読み取り
苦手
- 細かい数値の正確な読み取り（小さなフォントの数字を見間違える）
- 空間関係の精密な把握（「左から 3 番目の」のような厳密な指示）
- アニメーション・複雑な動画 の細部の追跡
- 専門領域の画像（医療画像、衛星画像など、特化学習がないと精度が落ちる）
これらは、テキスト LLM におけるハルシネーション（次章）と地続きの問題だ。 マルチモーダル LLM は 「もっともらしい説明」を返すが、実は画像を正確に読めていない ことが意外と多い。 信頼するかどうかは、用途とリスクで判断する必要がある。
12.10 この章の振り返り
- マルチモーダル LLM の発想は単純：画像も音声もテキストも、同じ埋め込み空間に押し込む
- Vision Transformer (ViT): 画像をパッチに分割し、Transformer で扱う
- CLIP: 画像とテキストを「同じ空間」に揃える歴史的モデル。テキストでの画像検索、ゼロショット分類などを可能にした
- マルチモーダル LLM の中身: 画像を トークンに変換 → テキストトークンと 同じ流れに混ぜる → LLM が一気通貫処理
- 代表: GPT-4V/4o、Gemini、Claude 4、Llama 3.2 Vision
- 音声も同じ発想で扱える ── Whisper, CLAP。GPT-4o のように 音声 → 音声をエンドツーエンド に処理するモデルも登場
- 動画、タンパク質構造、ロボット動作、生体信号 ── あらゆるデータをトークン化して Transformer で扱う流れが広がる
- 苦手: 細かい数値、空間関係の精密な把握、専門領域の画像。「もっともらしいが間違う」 罠は残る
そしてその「もっともらしいが間違う」── 次章で扱う ハルシネーション こそが、LLM 全般に残る最大の信頼性問題だ。 本書もいよいよ最終章へ。