LLMの仕組み（簡単バージョン）
概要
大規模言語モデルを、任意のテキストに対して次の単語の確率分布を返す数学的関数として説明する短い解説。チャットボットの応答は、架空の会話文脈を与えて次単語予測を反復することで生成される。動画は事前訓練、バックプロパゲーション、RLHF、GPUによる並列計算を順に扱い、TransformerとAttentionが文脈をどう数値表現へ反映するかを概説する。終盤では、モデルの個別の振る舞いが訓練から生じる創発的現象であり、完全な説明が難しい点も強調する。
要点
- LLMは「次に来る単語」を1つ決め打ちするのではなく、候補となる全語彙に確率を割り当てる。
- チャットボットは、ユーザーと架空のAIアシスタントの会話文脈を作り、予測を繰り返して応答文を伸ばす。
- 事前訓練では、テキスト例の最後の単語を隠し、予測と正解の差に基づいて重みを少しずつ調整する。
- RLHFでは、人間が好ましくない出力にフィードバックを与え、アシスタントとして有用な応答へ寄せる。
- Transformerはテキスト全体を並列に処理し、Attentionによって各単語表現を周囲の文脈に応じて更新する。
- モデルの仕組みの枠組みは設計されているが、特定の予測理由は膨大な重みの相互作用から生じるため追跡が難しい。
構造化サマリ
次単語予測としてのチャットボット
動画は、AIアシスタントの返答部分だけが空白になった脚本を補完する比喩から始まる。どんなテキストに対しても次の単語を予測できる機械があれば、空白の返答を1語ずつ補って会話全体を作れる。
この比喩を通じて、LLMは「次の単語を予測する洗練された数学的関数」と説明される。ただし出力は単一の語ではなく、次に来る可能性のある単語すべてへの確率分布であり、確率の低い単語をランダムに選ぶことで自然で多様な応答が生まれる。
事前訓練と重みの調整
モデルはインターネット由来の膨大なテキストを処理して予測能力を獲得する。GPT-3の訓練データ量を人間が読み続けるなら2600年以上かかるという例で、規模感が示される。
訓練は、多数のパラメーターや重みを調整する過程として説明される。最初はランダムな重みのため意味不明な出力をするが、テキスト例の最後の単語を予測し、正解との差に応じてバックプロパゲーションで全パラメーターを微調整する。これを何兆もの例に対して行うと、訓練データだけでなく未知のテキストにも妥当な予測を返すようになる。
RLHFとアシスタント化
事前訓練だけでは、インターネット上の断片を自動補完するモデルにすぎず、役立つAIアシスタントとは異なる。そこで、人間からのフィードバックによる強化学習、つまりRLHFが必要になる。
RLHFでは、人間が役に立たない出力や問題のある出力にフラグを立てる。その修正を通じてモデルのパラメーターがさらに変化し、ユーザーにとって望ましい予測を出しやすくなる。
TransformerとAttention
膨大な訓練計算は、GPUによる並列計算で可能になる。2017年以前の多くの言語モデルはテキストを1語ずつ処理していたが、Googleの研究者が発表したTransformerは、テキスト全体を並列に取り込む構造を持つ。
Transformerでは、まず各単語を長い数値リスト、つまりベクトルへ対応させる。Attentionはそれらのベクトル同士に情報交換させ、周囲の文脈に応じて意味表現を更新する。たとえば英語の「bank」は、文脈によって金融機関ではなく川岸に近い概念として表現されうる。
予測の創発性と追加資料
TransformerにはAttentionに加えてフィードフォワードニューラルネットワークもあり、訓練中に学んだ言語パターンを保持する。こうした処理は、次に続く単語を予測するために、各ベクトルへ文脈情報を豊かに埋め込むことを狙う。
研究者は各ステップの枠組みを設計しているが、特定の振る舞いは訓練によって生じる創発的現象として扱われる。終盤では、TransformerやAttentionをさらに詳しく学びたい視聴者に向けて、3Blue1Brownの深層学習シリーズと英語版講演動画が案内される。
登場エンティティ・コンセプト
- 3blue1brown — 数学や深層学習を視覚的に解説するチャンネルで、この動画の制作元。
- google — 2017年にTransformerを発表した研究者チームの所属先として登場する。
- llm-next-token-prediction — LLMを、文脈から次の単語の確率分布を出すモデルとして捉える説明。
- transformer-architecture — テキスト全体を並列処理し、Attentionで文脈を反映する言語モデルの主要構造。
- rlhf — 人間のフィードバックを使って、事前訓練済みモデルをアシスタントとして望ましい応答へ調整する訓練手法。
印象的な引用
大規模言語モデルとは、どんなテキストに対しても次に来る単語を予測する洗練された数学的な関数です。
インターネット上のランダムなテキストの断片を自動補完するというのは、優秀なAIアシスタントになることとは大きく異なります。
モデルの特定の振る舞いは訓練に基づく創発的な現象です。