llm-next-token-prediction

LLMの次単語予測 (llm-next-token-prediction)

LLMの次単語予測は、大規模言語モデルを、与えられたテキスト文脈に続く単語やトークンの確率分布を出す関数として捉える説明。動画では、AIアシスタントの脚本を1語ずつ補完する比喩を通じて、チャットボットの応答生成がこの予測の反復で成り立つと説明される。

この見方では、モデルは単一の正解語を確定的に選ぶのではなく、候補語彙それぞれに確率を割り当てる。生成時に確率の低い語も一定のランダム性で選ばれるため、同じプロンプトでも異なる返答が生まれる。