2024年06月16日

「ChatGPTの頭の中」

20240616「ChatGPTの頭の中」.jpg

スティーヴン・ウルフラム (Stephen Wolfram)
高橋 聡 訳
稲葉 通将 監訳
早川書房 出版

 ChatGPT は、ニューラルネットワークを用いた、いわゆる大規模言語モデルを利用して、次の単語 (著者によると、厳密には単語という括りではなく『トークン』だそうです) の予測を繰り返して文章を出力します。

 そのニューラルネットワークの技術を約 43 年間追いかけてきたと、著者は自らを評しています。そんな著者にとってさえ、『ChatGPT の性能はかなり驚異的に見える』と語っています。逆に、ここまで驚異的な結果が得られたことから、『意味のある人間の言語には、私たちに分かっている以上に理解しやすい構造があり、そのような言語の成り立ちを説明するかなりシンプルな規則が最終的には存在するかもしれない』と、著者は考えています。

 著者は、その ChatGPT のなかでなにが起こり、どういった欠点を有するかを素人でもわかる範囲で説明したあと、ある考察をしています。

 まず、ChatGPT が利用するニューラルネットワークでは、ニューロン (ノード) が数多く存在し、それらが層になっていて、ノードをつなぐエッジ (脳内のシナプス結合に相当) の強度が重みとして扱われています。

 ネットワークの経路は、均一ではありませんが、ChatGPT で最長となる場合、使われている層 (コア層) は 400 ほどで、ニューロンの数は数百万を超え、エッジの数は合計で 1750 億に達し、重みも 1750 億個になります。つまり、1750 億回の計算が必要になりますが、それはあくまでトークンひとつを得るための計算で、次のトークンを予測するにはまた 1750 億回といった回数の計算が繰り返されるというのです。

 ただ、著者は、ChatGPT の大規模言語モデルで使われている 1750 億個のパラメーター (モデルの機能を調整するもの) に対し、『たった』それくらいの数のパラメーターで成り立っている ChatGPT の基礎構造に感嘆しています。たしかに、人間の脳にあるニューロンが 1000 億ほどで、このモデルのニューロンが数百万というのは少ないのかもしれませんが、この計算回数は、わたしのような素人にとって、充分大きな数字です。

 さらに、ここで注意すべきは、これらの数字は、GPT-3 (ChatGPT の世代に相当します) のもので、GPT-2 ではパラメータ数は 16 億でした。本作のあとに発表された GPT-4 のパラメータ数は公表されていないそうですが、2000 億から 1 兆程度であると予測されていると監訳者は書いています。

 こういう数字を見ると、AI が人間を超えてしまうように見えますが、あくまで大規模言語モデルを利用しているので、言語として自然ではあっても、正確性に欠けるのが ChatGPT です。いっぽう、著者の Wolfram|Alpha は、正しい知識を見つけ出すことは簡単にできるそうなので、両者は欠点を補いあえる組み合わせではないかと考えています。Wolfram|Alpha に限らず、既存技術の組み合わせがこれからいろいろ試されるのかもしれません。

 AI がどういう方向に進んでいくのであれ、一個人としては、テクノロジーがひとを幸せにするよう活用されることを願うばかりです。
posted by 作楽 at 21:00| Comment(0) | TrackBack(0) | 和書(その他) | このブログの読者になる | 更新情報をチェックする