付録用語集
本書に登場した自然言語処理ワードを、章の順 で並べた索引。
ニュースや論文で見慣れない用語が出てきたら、ここに戻ってきてほしい。
五十音やアルファベット順ではなく、本書の物語の流れに沿った位置 で並べてある。
言葉を数にする（第1〜3章）
| 用語 | ざっくり言うと |
|---|
| トークン (Token) | 機械が言葉を扱うときの「単位」。文字、単語、サブワードのいずれか |
| トークン化 (Tokenization) | 文字列をトークンの並びに切る工程。LLM の最初の関門 |
| 形態素解析 | 日本語を意味のある最小単位に切り、品詞も付ける古典的手法。MeCab が代表 |
| サブワード分割 | 単語より細かい単位（語幹・接尾辞・断片）に切る現代の主流 |
| BPE (Byte-Pair Encoding) | 頻出するトークンペアを 1 つにマージしていくサブワード手法。GPT 系で採用 |
| WordPiece | BERT 系で採用されるサブワード手法 |
| SentencePiece | 言語非依存のサブワード手法。多言語モデルでよく使われる |
| UNK (Unknown) | 辞書にない単語を表す特殊トークン |
| コンテキスト長 | LLM が一度に頭に入れて読めるトークン数。Claude Opus は 100 万トークン |
| 埋め込み (Embedding) | トークンをベクトル（数百〜数千次元の点）に変換すること |
| 埋め込みベクトル | 各トークンに割り当てられたベクトル。空間内の座標とみなせる |
| Word2Vec | 周辺単語予測で埋め込みを自動学習する手法（2013）。静的埋め込みの代表 |
| 静的埋め込み (Static Embedding) | 1 トークン = 1 ベクトル。文脈で動かない |
| 文脈埋め込み (Contextual Embedding) | 同じトークンでも文脈に応じてベクトルが動的に決まる方式 |
| 多義語 (Polysemy) | 1 つの単語が複数の意味を持つ現象 |
| ELMo | 文脈埋め込みを実用化した初期モデル（2018）。LSTM ベース |
系列を扱う（第4〜5章）
| 用語 | ざっくり言うと |
|---|
| 言語モデル (Language Model, LM) | 単語の並びに確率を割り当てる機械。LLM もこの系譜 |
| 条件付き確率 | 「ある条件のもとで、ある事象が起きる確率」。次トークン予測の基礎 |
| n-gram | 直前 n−1 単語だけを見て次を予測する近似モデル |
| bigram / trigram | n=2 / n=3 の n-gram |
| データスパースネス（疎性） | 組み合わせ爆発で「見たことない並び」が大量に出る問題 |
| スムージング | 出現回数 0 の並びにも、ゼロでない確率を割り当てる工夫 |
| BLEU | 機械翻訳の評価指標。n-gram の一致率がベース |
| RNN (Recurrent Neural Network) | 系列を 1 トークンずつ読み、内部状態に文脈を蓄えるネットワーク |
| LSTM (Long Short-Term Memory) | RNN の改良版。ゲートで記憶を制御し、長距離依存に対応 |
| GRU | LSTM の親戚で、ゲートを単純化したもの |
| seq2seq | RNN を 2 つ使う構造（入力 RNN + 出力 RNN）。機械翻訳で広まった |
| 勾配消失問題 | 学習信号が長い系列を遡るうちに薄れる現象 |
| 用語 | ざっくり言うと |
|---|
| Attention（注意機構） | 出力の各位置で「入力のどこに注目するか」を学習する仕組み |
| Self-Attention（自己注意） | 同じ文の中の単語同士に Attention を適用する手法 |
| Multi-Head Attention | 複数の Attention を並列に走らせ、異なる視点を同時に取る |
| Transformer | Attention だけで構成された 2017 年のアーキテクチャ。現代 LLM の土台 |
| Encoder（エンコーダ） | 入力を読み込み、文脈付きベクトル表現を作る側 |
| Decoder（デコーダ） | これまでの出力を見て、次のトークンを生成する側 |
| Positional Encoding（位置エンコーディング） | 順序情報をベクトルに加える仕掛け |
| Feed-Forward Network (FFN) | Transformer ブロック内の、各位置を独立に変換する層 |
| Layer / 層 | Transformer ブロックを積み重ねた単位。GPT-3 は 96 層 |
大規模言語モデル（第8〜10章）
| 用語 | ざっくり言うと |
|---|
| 事前学習 (Pre-training) | ラベルなし大量テキストで先にモデルを訓練する工程 |
| 微調整 (Fine-tuning) | 事前学習済みモデルを特定タスクに合わせて調整する工程 |
| BERT | Transformer エンコーダの大規模事前学習モデル（2018）。読む系タスクで強い |
| Masked Language Model (MLM) | 文中のトークンを隠して当てさせる事前学習タスク。BERT で採用 |
| 双方向 (Bidirectional) | 前後の文脈を同時に見ること。BERT の強みの根源 |
| GPT (Generative Pre-trained Transformer) | Transformer デコーダの大規模事前学習モデル。書く系タスクで強い |
| 次トークン予測 (Next Token Prediction) | 「次に来るトークン」を当てる事前学習タスク。GPT で採用 |
| 自己回帰的生成 (Autoregressive Generation) | 生成済みトークンを入力に戻して、次を予測することを繰り返す方式 |
| In-Context Learning | プロンプト内で例を見せるだけで、追加学習なしにタスクをこなさせる現象 |
| Zero-shot / Few-shot | 例なし / 数例だけ見せてタスクを解かせる方法 |
| スケーリング則 (Scaling Laws) | モデル・データ・計算量を増やすと性能が滑らかに伸びる経験則 |
| 創発的能力 (Emergent Capability) | 規模が特定の閾値を超えた瞬間に現れる新しい能力 |
| Instruction Tuning | 「指示 → 望ましい応答」のペアで微調整、指示追従を仕込む |
| RLHF (Reinforcement Learning from Human Feedback) | 人間の好みを学んだ報酬モデルで LLM を強化学習で磨く |
| 報酬モデル (Reward Model) | 応答の「人間からの好まれ度」を予測する別モデル |
| HHH (Helpful, Honest, Harmless) | LLM が満たすべき三原則 |
| RLAIF | 人間ではなく AI のフィードバックで強化学習する方式 |
| Constitutional AI | モデル自身に原則違反を見抜かせて修正させる手法（Anthropic） |
| DPO (Direct Preference Optimization) | 報酬モデルを介さず、好みデータから直接 LLM を最適化する手法 |
応用と評価（第11〜13章）
| 用語 | ざっくり言うと |
|---|
| RAG (Retrieval-Augmented Generation) | 検索で外部情報を取得し、プロンプトに加えて LLM に答えさせる |
| ベクトル検索 (Semantic Search) | 意味の近さで文書を探す方式。埋め込みベクトルの応用 |
| Reranker | 検索結果を再ランクし直すモデル。RAG の品質を上げる |
| Hybrid Search | キーワード検索とベクトル検索を組み合わせる方式 |
| GraphRAG | 文書間の関係をグラフで持ち、構造を辿って情報取得する手法 |
| Multi-hop | 複数回の検索を組み合わせて、複雑な質問に答える方式 |
| マルチモーダル (Multimodal) | テキスト・画像・音声・動画など複数の情報形式を一体で扱うこと |
| モーダル (Modality) | 情報の種類（テキスト、画像、音声、動画など） |
| Vision Transformer (ViT) | 画像をパッチに分割して Transformer で扱う手法 |
| CLIP | 画像とテキストを同じ埋め込み空間に揃えた歴史的モデル（OpenAI、2021） |
| CLAP | CLIP の音声版。音声とテキストを同じ空間に揃える |
| Whisper | OpenAI の音声認識モデル。Transformer ベース |
| ハルシネーション (Hallucination) | LLM が事実に基づかない内容を流暢に生成する現象 |
| MMLU | 57 分野の多肢選択問題で LLM を評価するベンチマーク |
| HumanEval | コード生成精度を測るベンチマーク |
| GSM8K / MATH | 数学問題で LLM を評価するベンチマーク |
| LLM-as-Judge | LLM に別の LLM の出力を評価させる方式 |
| Calibration（自己校正） | LLM が自分の出力に「自信度」を付ける能力 |
| Mechanistic Interpretability | LLM の内部構造を解析し、「何を知っているか」を覗き見る研究 |
主要モデル名一覧
| モデル | 提供元 | 系統 |
|---|
| GPT-2 / GPT-3 / GPT-4 / GPT-5 | OpenAI | デコーダ系 |
| ChatGPT | OpenAI | GPT に RLHF を適用した対話特化版 |
| Claude | Anthropic | デコーダ系。Constitutional AI で訓練 |
| Gemini | Google | マルチモーダル一体型のデコーダ系 |
| Llama 系 | Meta | 公開ウェイトのデコーダ系 |
| Mistral / Mixtral | Mistral AI | 効率的なオープン LLM |
| DeepSeek / Qwen | 中国各社 | 高性能オープンモデル |
| BERT | Google | 元祖エンコーダ系 |
| RoBERTa | Meta | BERT の学習設定を最適化 |
| DistilBERT | Hugging Face | BERT を圧縮した軽量版 |
| T5 / BART | Google / Meta | エンコーダ + デコーダ系 |
NLP の用語は、似たような名前と概念が次々と出てきて、慣れるまでは混乱する。
だが本書を頭から通読すれば、これらの用語が 物語の中の登場人物 として、それぞれの役割と位置を持っていることが分かるはずだ。