ChatGPTのしくみとAI理論の根源に迫る（16/16）結局ChatGPTはなぜ、どうやって動くのか？（翻訳）
ChatGPTの基本的なコンセプトは、ある意味でかなりシンプルと言えます。人間が書いた膨大なサンプルテキストをWebや書籍などから入手し、そのサンプルテキストを用いて、ちょうど「このような」テキストを生成するようニューラルネットをトレーニングするだけです。特に、「プロンプト（prompt）」を与えると「学習に用いたテキスト」のように文の続きを回答として生成できるようになります。
これまで見てきたように、ChatGPTの実際のニューラルネットを構成する要素は、驚くほどシンプルです（ただし数十億個もありますが）。そしてニューラルネットの基本的な動作も、これまた驚くほどシンプルです。本質的に、新しい語（word）（または語の一部）を生成するたびに、その時点までに生成されたテキストから派生した入力を、各要素に「一度だけ」（つまりループなどを使わずに）渡しているのです。
しかし驚くべきは（そして予想外だったのは）、たったこれだけのプロセスで、Webや書籍で見るようなテキストと「実によく似た」テキストを生成できるようになることです。しかも、人間の言語らしさを崩さないのみならず、ChatGPTが「読み取った」コンテンツを使って「プロンプトで指示した通りに」会話をするのです。
原注
ただし、ChatGPTの話す内容が常に「全体として意味をなしている」とは限りませんし、正しい計算に対応しているとも限りません。（たとえば我がWolfram|Alphaの超強力な計算能力)がなければ）、トレーニングで使ったテキストと「似た感じで」「それっぽいこと」を話しているに過ぎず、本当に計算をしているとは言えないからです。
ChatGPTの特殊なエンジニアリングは、実に抗しがたい魅力を放っています。しかしそれは、結局のところ、従来から存在する「常識の統計」から「一貫したテキストのスレッド」を「単に」引き出しているに過ぎません（少なくとも外部ツールと連携可能になるまでは1）。しかしそこから得られる結果は、驚くほど人間が書いたテキストに似ています。
そしてこれまで議論してきたように、このことは、科学的に極めて重要なことを示唆しています。すなわち、人間の言語（および、その背後にある人間の思考パターン）は、ある意味で予想以上に単純であり、その構造はこれまで想像されていた以上に「法則らしい形」をしている可能性があるということです。ChatGPTは、それを暗黙のうちに発見しましたが、意味文法や計算言語などを駆使すれば、それらを明示な方法で明らかにする可能性があることが示唆されます。
ChatGPTがテキストを生成するときに行っている処理は、実に印象的です。そして、生成されたテキストは、人間が書いたテキストと極めて近いものになっています。
だとすると、ChatGPTは人間の脳のように動いているのでしょうか？ChatGPTを支えている人工ニューラルネットの構造は、最終的にはかつて人間の脳を理想化する形でモデリングした結果なのですから、人間が言語を生成するときに脳内で行われている処理も、ChatGPTのそれと非常に近い可能性が見込まれます。
しかしChatGPTのトレーニング（学習）については、脳と現代のコンピュータにおける「ハードウェア」に違いがあるために（かつ、おそらく何らかの未開発のアルゴリズム上のアイデアの違いがあるために）、おそらく脳とかなり異なる（ある意味で脳よりも極めて効率の悪い）戦略を取らざるを得ないでしょう。
さらに、ChatGPTと脳には、他にも大きな違いがあります。コンピュータが行うアルゴリズムによる典型的な計算と異なり、ChatGPTの内部には「ループ」も「データの再計算」も存在しないため、必然的に計算能力は制限されます。この制限は、比較対象が現代のコンピュータであっても脳であっても歴然と存在しています。
その弱点を「修正」しつつ、システムを引き続き十分な効率でトレーニングする能力を維持する方法は、明らかではありません。しかしそれを行えば、今後ChatGPTがより「脳に近い」処理を行えるようになるでしょう。
もちろん、脳には脳で苦手な作業がいろいろあります。特に、これまで説明してきた縮約的な計算に関わる処理は苦手です。そういうわけで、脳もChatGPTのようなAIも、我がWolfram言語のような計算能力に長けた「外部ツール」に頼らざるを得ません。
しかし、ChatGPTが実現した能力を目にする体験は、今のところ刺激に満ちています。ある意味では、単純極まる計算要素を多数用意することで、予想もしなかった驚異的な能力を発揮できるという、基礎科学的な事実の見事なサンプルとも言えるでしょう。しかし同時に、ChatGPTは、人間の言語とそれを支える思考プロセスという、人間が人間であるための条件の中心となる特徴が備える根本的な性質や原理がいかなるものであるかを私たちが理解するための、おそらく2000年ぶりの巨大な推進力となるでしょう。
🔗 謝辞
私はニューラルネットワークの発展を約43年間追い続けており、その間、多くの人々と交流してきました。昔の知り合いもいれば、最近出会った人もいれば、長年にわたる人もいます。
Giulio Alessandrini、Dario Amodei、Etienne Bernard、Taliesin Beynon、Sebastian Bodenstein、Greg Brockman、Jack Cowan、Pedro Domingos、Jesse Galef、Roger Germundsson、Robert Hecht-Nielsen、Geoff Hinton、John Hopfield、Yann LeCun、Jerry Lettvin、Jerome Louradour、Marvin Minsky、Eric Mjolsness、Cayden Pierce、Tomaso Poggio、Matteo Salvarezza、Terry Sejnowski、Oliver Selfridge、Gordon Shaw、Jonas Sjöberg、Ilya Sutskever、Gerry Tesauro、そしてTimothee Verdier。
また、本記事の制作に協力してくれた Giulio Alessandrini 氏と Brad Klee 氏に特に感謝いたします。
訳注: 詳しく知りたい方向けの資料（2025年）
- LLM Visualization -- LLMの構成をビジュアル表示で学べます
- LLM のアテンションと外挿 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ -- アテンションに関する詳しい記事です
- ‘Analogies Explained’ … Explained | Carl Allen: Homepage LLMがアナロジーを理解する仕組みをベクトル形式で解説しています
- Less is More: Recursive Reasoning with Tiny Networks -- TRMという小規模な言語モデルの概要と論文へのリンク
- AIエージェントを支える技術: コンテキストエンジニアリングの現在地 - Algomatic Tech Blog
- GPT-1 から GPT-5.2 まで: LLM の特殊トークン徹底解説【2025年12月最新】 - アシアルTechブログ
概要
原文サイトのCreative Commons BY-NC-SA 4.0を継承する形で翻訳・公開いたします。
日本語タイトルは内容に即したものにしました。原文が長大なので、章ごとに16分割して公開します。
スタイルについては、かっこ書きを注釈にする、図をblockquoteにするなどフォーマットを適宜改善し、文面に適宜強調も加えています。
元記事は、2023年2月の公開時点における、ChatGPTを題材とした生成AIの基本概念について解説したものです。実際の商用AIでは有害コンテンツのフィルタなどさまざまな制御も加えられているため、そうした商用の生成AIが確率をベースとしつつ、確率以外の制御も加わっていることを知っておいてください。
本記事の原文を開いて、そこに掲載されている図版をクリックすると、自分のコンピュータでもすぐに実行して試せるWolfram言語コードが自動的にクリップボードにコピーされるようになっています。
コモンズ証 - 表示 - 非営利 - 継承 4.0 国際 - Creative Commons