ChatGPTは「意味」を理解しているか — 記号接地問題から考える【集合的予測符号化③】
概要
[collective-predictive-coding|集合的予測符号化]シリーズ第3回。LLM が言葉の意味を理解しているかを、チューリングテスト→中国語の部屋→記号接地問題の順にたどる。記号操作だけでは意味は接地しない。だが LLM が学ぶ言語は人間の名付けの産物で世界を反映する。LLM は人間の言語を介して接地し、人間+言語+LLM のシステム全体が意味を担う、というのが CPC の見立て。意味の理解はシステム全体の創発として捉えられる。
要点
- 問いは ChatGPT 個別でなく LLM 全般。本人に聞いても鵜呑みにせず考える
- チューリングテストは人間らしい言語運用を測るが、意味理解の証拠にはならない
- [chinese-room|中国語の部屋]= 記号操作と意味理解は別だと示す反例
- [symbol-grounding-problem|記号接地問題]= 記号が世界に接地していない。鍵は感覚入力とカテゴリー化
- LLM は「意味の空間」に単語を埋め込む。人間の言語を介して世界に接地しているという見方
- 意味理解はシステム全体の創発。中国脳や水の流体性で説明
構造化サマリ
チューリングテスト
ChatGPT は入力に出力を返す自動販売機のようにも見える。本人は「人間の意味では理解しないが、別の意味では意味に基づき振る舞える」と答えるが、鵜呑みにしない。導入として チューリングの チューリングテストを紹介。判定者が相手を人間か機械か見分けられなければ合格だが、測れるのはせいぜい人間に近い言語運用能力で、意味理解の証拠にはならない。
中国語の部屋
サールが1980年に提案した 中国語の部屋。中国語の分からない人を部屋に閉じ込め、対応マニュアルに従って記号を返させる。外からは中国語が分かるように見える(チューリングテスト合格)が、本人は理解していない。記号操作と意味理解は別、という反例になる。
記号接地問題
10年後、ハーナッドが 記号接地問題を提起。当時主流の記号的 AI(Prolog の論理推論)は三段論法で推論できるが、記号が何を意味するか分からなくても操作だけで成立し、世界と接続せず宙に浮く。ハーナッドは接地の鍵を「感覚入力」と「カテゴリー化」とした。第1回の 名付けゲームやクラスタリングする機械学習はこの条件を満たす。
LLM は接地しているか
LLM が扱うのは記号だが、人間の言語は世界を反映する。LLM は「意味の空間」(関係性のネットワーク)に単語を埋め込み、現代の機械学習は誤推論もしうる点で記号的 AI と異なる。問題は「記号がどう意味を持つか=どう創発するか」へ移り、記号創発システム論が扱う。書籍『ワードマップ 記号創発システム論』が紹介される。
中国脳と創発
解説者の私見では、LLM 単体は接地せず、人間の言語(人間の名付けの産物)を介して接地する。人間+言語+LLM のシステム全体が理解するとは言えても、LLM 単体が理解するとは言えない。意味は創発的(水分子1個に流体性はない)。中国脳——携帯で伝言ゲームする中国国民はニューロンのアナロジーだが国家全体に意識があるとは思えない——を引き、要素に性質を帰すのはカテゴリーミステークだと整理する。意味とはエージェントにとっての価値(生物では生存と繁殖)。LLM は人間を介して価値づけする。
登場エンティティ・コンセプト
- alan-turing — チューリングテストの考案者
- john-searle — 中国語の部屋の提案者
- stevan-harnad — 記号接地問題の提起者
- taniguchi-tadahiro — CPC の提唱者
- turing-test / chinese-room / symbol-grounding-problem — 意味理解を問う3つの段階
- symbol-emergence-systems — 記号の創発を扱う分野
- china-brain — システム全体の理解を問う思考実験
- collective-predictive-coding — LLM の接地を説明する仮説
印象的な引用
このシステム全体が理解しているとは言えるかもしれないけど、その中でLLMだけ取り出して、いや、こいつは理解してるっていう風には言えないんじゃないか。