酒井邦嘉
大規模言語モデルをめぐる誤解
合成AIの技術では、大規模言語モデル（large language model, LLM）や画像合成モデルなどが使われています。いずれも大規模な文書データや画像データを使って機械学習を行うことで、条件に合った結果を統計的に合成するモデルです。
「大規模」と聞くと信頼性が高まるように思いがちですが、データの量は信頼性を何ら保証しません。「悪貨は良貨を駆逐す」と言うように、出力の精度はデータの質に左右されるからです。
大規模言語モデルとは、複数の単語が文章の中でどのような確率で共に現れるか（共起（きょうき）確率と呼ばれます）という計算によって文を合成しようというモデルです。
これは情報を先に送る（フィードフォワードと言います）だけのモデルで、情報を差し戻すこと（フィードバック）がない分、処理速度を優先しています。また、一般に文章の文脈によって確率を変えるための機構（トランスフォーマーと呼ばれます）を多段階で使うことで、出力される文章の一貫性を保とうとします。ただし、これらの抽象的な計算モデルが「文脈」を取り入れていると言っても、直感的な文章理解からは懸け離れています。
先ほど説明した木構造を一般化したものを「統辞（とうじ）構造」と言いますが、大規模言語モデルはそもそも統辞構造を作るようなモデルではありません。それにもかかわらず大規模言語モデルがあたかも優秀な「言語モデル」であるかのように宣伝されており、そのことに対してチョムスキーは「言語と知識に関して根本的に誤った概念を技術にもたらす」と警鐘を鳴らしています。
ただ、「人間による言語学習と大規模言語モデルの学習は、大きく異なるように思われる」といった指摘（『人工知能の哲学入門』鈴木貴之著、勁草書房、2024年、p.145）は正しいのですが、「大規模言語モデルが直接的に表現しているのは語と語の共起確率だが、そこには、文法構造などに関する情報が何らかの仕方で暗黙のうちに表現されているのかもしれない」（同p.146）という意見は誤解です。
文法自体は構造など持ちませんし、統辞構造や文法規則を無視したAIのモデルは、言語学や言語哲学に新たな概念をもたらしたり、改訂を加えたりする可能性が全く期待できないほど未熟なものなのです。
今尾恵介
古賀茂明
稲垣えみ子
竹増貞信
