transformer-architecture

Transformerアーキテクチャ (transformer-architecture)

Transformerアーキテクチャは、テキストを1語ずつ順に読むのではなく、入力全体を並列に処理するニューラルネットワーク構造。動画では、2017年にGoogleの研究者チームが発表したモデルとして紹介され、現在の多くの大規模言語モデルの基盤として扱われる。

特徴的な要素はAttentionで、単語を表す数値ベクトル同士が情報を交換し、周囲の文脈に応じて意味表現を更新する。これにより、同じ語でも文脈によって異なる意味を持つ表現へ変化できる。