前回: （13/16）ChatGPTは実際にはどう動いているのか
🔗 ChatGPTのしくみとAI理論の根源に迫る:（14/16）意味空間と「意味論的な」運動法則（翻訳）
これまでの章で、ChatGPTの内部では、あらゆるテキストが実質的に数値の配列で表現されていることと、それらは「言語特徴空間（linguistic feature space）」における点の座標のようなものとみなせることを説明してきました。つまり、ChatGPTがテキストの続きを生成するということは、この言語特徴空間の中で描かれる軌跡（tragectory）をたどることに相当するわけです。
しかしここで、「私たちにとって意味のあるテキストが、その軌跡と一致するのはなぜなのか？」という疑問が浮かび上がります。そして、言語特徴空間内の点が「意味性」を維持しながら移動する方法を定義（少なくとも制約）する、いわば「運動法則の意味論版」的な法則が存在する可能性はあるのでしょうか？
では、この言語特徴空間とやらは一体何なのでしょうか？以下に、そのような特徴空間を2次元に投影した場合に、複合語でない単独の語（ここでは一般名詞）がどのように配置されるかを図示します。
第9章では動物や植物を表す語で同じような二次元投影図をお見せしましたが、どちらの場合も「意味的に近い語」同士が互いに近い場所に配置されていることが重要です。
別の例として、さまざまな品詞（part of speech）に対応する語がどのように配置されるかを以下に図示します。
noun（名詞）、verb（動詞）、adjective（形容詞）、adverb（副詞）、pronoun（代名詞）
もちろん、1個の語が「意味を1つしか持たない」（ひいては1種類の品詞にしか対応しない）などということは、一般には起きません。そして、ある語を含む文が特徴空間内でどのように配置されるかを観察してみると、さまざまな意味が「あぶり出される」ことがよくあります。
ここでは、crane（鳥類のツルと、工作機械のクレーン）という語の例を見てみましょう。
図の上左「...200年以上に渡ってクロヅル（common crane）が非常に重要な役割を...」「...希少なカナダヅル（sandhill crane、学名Antigone canadensis）キューバサンドヒル...」「…Xeno-canto におけるクロヅルの音声記録の地図…」「...コーネル大学 eBird でハゴロモヅル（Blue crane）の種を探す...」
図の上右「2016年にウェールズで野生のツルが生まれ…」
図の下「…クレーンが魔法の石を運んでいるという話は事実ではなく…」「そこでのクレーンは…として描写されている」「映画『真昼の決闘（High Noon）』には有名なクレーン撮影があった」「…ノアの方舟を建設するのにクレーンが必要だと神が…」「プラハでは二重車輪式の踏み車クレーンが使われている…」「キャリーデッキクレーンは小型の四輪…」「そのクレーンはパナマに売却された…」「...クレーンで炉に注がれた高温の金属はその後圧延され…」「...イギリスで唯一の二重車輪式踏み車クレーン...」「...事故復旧用のSO-80型鉄道クレーンが保存されている…」
さて、この特徴空間では「意味の近い語」がこの空間上で近い位置に配置されていると考えることについては、少なくとも妥当でしょう。
しかし、この空間に他の構造を見出すことは可能でしょうか？つまり、たとえば数学で言う空間の「平坦性（flatness）」を反映した「平行移動（parallel transport）」のような概念はあるでしょうか？これを理解する方法の1つは、類推（analogy）を観察することです。
はい、2次元に投影した場合でも、少なくとも「平坦性」を匂わせるものはよく見つかります。しかしそれが普遍的であるとは限りません。
では軌跡についてはどうでしょうか？ChatGPTのプロンプトが特徴空間でどのような軌跡をたどるかを観察してみると、ChatGPTは以下のように文を継続している様子がわかります。
この軌跡には、「幾何学的に明らかな」運動法則と呼べそうなものは残念ながら見当たりません。しかし、私が別記事で述べたように、これが相当複雑な話になることは十分予測できていたことなので、法則が見当たらないのも無理はありません。
それに、仮に「意味論上の運動法則」が見つかったとしても、それをどんな種類の埋め込みで（具体的にはどんな「変数」で）表現するのが最も自然であるかについては、到底見当を付けられそうにありません。
上の図では、「軌跡」をいくつかのステップで表示していますが、ここではどのステップでもChatGPTが最も可能性が高いと判断した語だけを選択しています（つまり温度ゼロの状態）。
ただし、最も可能性の高い語ばかりを選ぶ代わりに、以下のように特定のステップで「次にどの語が来る可能性があるか」をその都度尋ねることも可能です。
これを観察すると、次に来る可能性の高いいくつかの語が、まるで「細長い扇形」のように特徴空間内でほぼ同じ方向に向かっていることがわかります。その調子で続きの語を追いかけてみると、行く先々で以下のような「扇形」が出現します。
以下は、合計40ステップを3次元空間で表示したものです。
これでは何のことやらわかりません。これをいくら見つめていても、「ChatGPTの内部で行われていること」を経験的に研究すれば「数学や物理学のように確かな」「意味論上の運動法則」を特定できることは期待できそうにありません。
しかしおそらく、私たちは「間違った変数」（さもなければ間違った座標系）を観察しているだけなのでしょう。正しい変数ないしは正しい座標系で観察すれば、たとえば「ChatGPTはこれこれこういう測地線をたどっている」といった「数学や物理学のように確かな」法則を見出せるかもしれません。
しかし現時点の私たちには、ChatGPTが「人間の言語の組み立て方」についてどんなことを発見したのかを、「ChatGPT内部の振る舞い」から「経験的に読み解く」ための準備が不足しています。
概要
原文サイトのCreative Commons BY-NC-SA 4.0を継承する形で翻訳・公開いたします。
日本語タイトルは内容に即したものにしました。原文が長大なので、章ごとに16分割して公開します。
スタイルについては、かっこ書きを注釈にする、図をblockquoteにするなどフォーマットを適宜改善し、文面に適宜強調も加えています。
元記事は、2023年2月の公開時点における、ChatGPTを題材とした生成AIの基本概念について解説したものです。実際の商用AIでは有害コンテンツのフィルタなどさまざまな制御も加えられているため、そうした商用の生成AIが確率をベースとしつつ、確率以外の制御も加わっていることを知っておいてください。
本記事の原文を開いて、そこに掲載されている図版をクリックすると、自分のコンピュータでもすぐに実行して試せるWolfram言語コードが自動的にクリップボードにコピーされるようになっています。
コモンズ証 - 表示 - 非営利 - 継承 4.0 国際 - Creative Commons
以下の解説記事は、本章の内容に関連する新しい成果のひとつです。
参考: ‘Analogies Explained’ … Explained | Carl Allen: Homepage