| 目次 |
|---|
ChatGPT(LLM)の仕組み：次の言葉を予測するだけ
ChatGPTやClaudeなどのAIは大規模言語モデル（LLM: Large Language Models）と呼ばれる。AIを使いこなす側にまわるためには、基本的な仕組みを理解して、どのようなことが得意なのか苦手なのかを知る必要がある。
LLMの中核となる技術は「トランスフォーマー」と呼ばれるニューラルネットワークの構造である。これはGoogleの研究者たちが2017年に論文「Attention is All You Need」で発表したもので、現在のAI革命の基盤となっている。
基本的な動作原理は次のとおり：
- トークン化：テキストを小さな単位（トークン）に分割する。英語ならおおよそ単語や部分的な単語、日本語なら文字や短い単語のかたまりである。
- 埋め込み：各トークンを数百次元の数値ベクトルに変換する。これにより、似た意味の言葉は近い位置にマッピングされる。
- 自己注意機構（セルフアテンション）：文脈を理解するための仕組みで、各トークンが文章中の他のトークンとどれだけ関連しているかを計算する。これにより、「彼」が誰を指しているかなど、文脈の理解が可能になる。
- 予測：文脈を踏まえて次に来る可能性が高いトークンを予測する。
小難しく見えたかもしれないが、要するに、「適当に次の言葉を選んでいるだけ」なのである。
つまり、 人間：「今日の天気は」 LLM：「晴れです」（「天気」の後に「晴れ」という単語が来る可能性が高いと学習している）
のように、「この言葉の次にはこの言葉が来る確率が高い」というパターンを抽出して、書いているだけなのである。
ここでは非常に単純化して書いているので、もう少し詳しく知りたい人は、「ChatGPTの頭の中」を読んでみてほしい。非エンジニアの人にもわかりやすく書かれている。
チートシステムなのか？
この仕組みを知ったときに、「適当に次の言葉を選んでいるだけ？特に内容を理解して話しているわけでない？こんなの思考もしていないチートシステムではないか」と多くの人が感じると思う。僕自身もそう感じた。
人間の会話も似たようなもの？
この仕組みを知ったあとに、人とする会話を思い起こしてみる。もしくは、会話をしながら自分はどのように話す言葉を決定しているかを観察してみる。そうすると、文書を書くときのように全体の骨子、展開をしっかり決定してから順を追って話しているわけではないことに気づく。つまり、「文脈に応じて、適当に次の言葉を紡いでいるだけ」。LLMと人間がやっていることは実は大した差がない。
AIを理解することは、自分を理解すること
そう考えると、AIって単なる便利ツールじゃなくて、私たち自身の言語能力や思考プロセスを理解するための鏡みたいな存在なのかもしれない。「理解するって何？」「考えるって何？」っていう、昔からある哲学的な疑問に、テクノロジーの側面から迫れる時代になったわけである。
実際、AIと会話していると「こいつ、本当に理解してるのかな？」って疑問に思うことがある。でも同時に、「じゃあ自分は本当に理解してるって言えるのか？」って自分自身にも疑問が湧いてくる。脳内で電気信号が飛び交っているのと、AIがデータをパターン認識しているのと、本質的にはどう違うんだろう？みたいな。
結局、大事なのはこの仕組みを知った上で、AIとうまく付き合っていくことである。AIが得意なこと、苦手なことを理解したうえで使いこなせば強力なパートナーになってくれる。
