「ChatGPTの頭の中」

スティーヴン・ウルフラム (Stephen Wolfram)
高橋　聡 訳
稲葉　通将 監訳
早川書房 出版

　ChatGPT は、ニューラルネットワークを用いた、いわゆる大規模言語モデルを利用して、次の単語 (著者によると、厳密には単語という括りではなく『トークン』だそうです) の予測を繰り返して文章を出力します。

　そのニューラルネットワークの技術を約 43 年間追いかけてきたと、著者は自らを評しています。そんな著者にとってさえ、『ChatGPT の性能はかなり驚異的に見える』と語っています。逆に、ここまで驚異的な結果が得られたことから、『意味のある人間の言語には、私たちに分かっている以上に理解しやすい構造があり、そのような言語の成り立ちを説明するかなりシンプルな規則が最終的には存在するかもしれない』と、著者は考えています。

　著者は、その ChatGPT のなかでなにが起こり、どういった欠点を有するかを素人でもわかる範囲で説明したあと、ある考察をしています。

　まず、ChatGPT が利用するニューラルネットワークでは、ニューロン (ノード) が数多く存在し、それらが層になっていて、ノードをつなぐエッジ (脳内のシナプス結合に相当) の強度が重みとして扱われています。

　ネットワークの経路は、均一ではありませんが、ChatGPT で最長となる場合、使われている層 (コア層) は 400 ほどで、ニューロンの数は数百万を超え、エッジの数は合計で 1750 億に達し、重みも 1750 億個になります。つまり、1750 億回の計算が必要になりますが、それはあくまでトークンひとつを得るための計算で、次のトークンを予測するにはまた 1750 億回といった回数の計算が繰り返されるというのです。

　ただ、著者は、ChatGPT の大規模言語モデルで使われている 1750 億個のパラメーター (モデルの機能を調整するもの) に対し、『たった』それくらいの数のパラメーターで成り立っている ChatGPT の基礎構造に感嘆しています。たしかに、人間の脳にあるニューロンが 1000 億ほどで、このモデルのニューロンが数百万というのは少ないのかもしれませんが、この計算回数は、わたしのような素人にとって、充分大きな数字です。

　さらに、ここで注意すべきは、これらの数字は、GPT-3 (ChatGPT の世代に相当します) のもので、GPT-2 ではパラメータ数は 16 億でした。本作のあとに発表された GPT-4 のパラメータ数は公表されていないそうですが、2000 億から 1 兆程度であると予測されていると監訳者は書いています。

　こういう数字を見ると、AI が人間を超えてしまうように見えますが、あくまで大規模言語モデルを利用しているので、言語として自然ではあっても、正確性に欠けるのが ChatGPT です。いっぽう、著者の Wolfram|Alpha は、正しい知識を見つけ出すことは簡単にできるそうなので、両者は欠点を補いあえる組み合わせではないかと考えています。Wolfram|Alpha に限らず、既存技術の組み合わせがこれからいろいろ試されるのかもしれません。

　AI がどういう方向に進んでいくのであれ、一個人としては、テクノロジーがひとを幸せにするよう活用されることを願うばかりです。

「語りかける季語 ゆるやかな日本」

宮坂　静生 著
岩波書店 出版

　その土地の文化や慣習が感じられる、四季のことばを俳句の季語に擬して、『地貌季語』と著者は呼び、それらをここにまとめています。

　その土地独自の方言が消えつつあるだけでなく、地球温暖化の影響からか、春や秋が消えつつあるいま、『地貌季語』を慈しむ著者の気持ちがなんとなく理解できます。

　それで、わたしにとっての一番の『地貌季語』を春夏秋冬それぞれに選んでみました。

　春は、『木の根明く (きのねあく)』。雪国では本格的な雪解けが始まる前に、木の根元から雪が消え始めます。木の根元だけぽっかりあいた様子をあらわすこのことばは、雪に覆われた木々とそこはかとなく感じられる春の到来をたった五文字であらわしています。

　夏は、『立ち雲 (たちくも)』。沖縄の入道雲、雲の峰のことです。空の高さも雲の厚さも陽射しの強さも伝わってくるようなことばだとわたしは思いましたが、この本では立ち雲は『夜に入っても月光に照らされながら白く光って、でんと据わっている』と説明されています。また、『夜明け前の立ち雲は豊年の約束』という言い伝えもあるそうです。

　秋は、『黄金萱 (ごがねがや)』。萱葺屋根の萱のことですが、伊勢神宮が 20 年に 1 度遷宮の折りに葺き替えられるときに使われる萱は、その地域で黄金萱と呼ばれているそうです。20 年に 1 度の大仕事に向けて、地元では秋がくるたびに黄金萱を収穫し、貯蔵するそうです。収穫前、黄金色に染まる萱山の風景が伝わってくるようです。

　冬は、『雪まくり』。3 月頃の北海道では、固くなった積雪のうえに降り積もった新雪が風に拭かれ、ロール状に巻きながら転がっていくさまが見られ、雪まくりと呼ばれているそうです。その大きさは、小さいもので直径 10 センチほど、大きいものは 50 センチほどにもなるそうです。東北や信州などの山でも見られ、雪の塊がくるくる回転しながら斜面を転がっていくのは、自然が雪の球送りでもしているようだと著者は書いています。豪雪地帯に暮らすことでもなければ見られないだけに、一度見てみたい気もします。

　こういったことばが失われていくのは残念だと思ういっぽう、自分たちの暮らしやすさのためにしてきたことの自然への影響を考えると、自業自得かもしれないと思いました。