ツイート の 記 録　   　       　

《大規模言語モデルの考察》 （１９７）      
 　　　　　　　　　　　　　　　　　　　　　　　　　　　情報通信研究機構／ＮＩＣＴ　鳥澤健太郎 ・フェロー　　（／ネットより画像借用）

【● Unknown unknown に備えよ 】 （１３）

この “含意判定（がんい ・ はんてい）の・・・精度” を、日本語について、ＮＩＣＴ が調べていま

す。それは、現在の ＜大規模言語モデル＞ では、高いもので ９２％ だったと言います。

したがって…

１００％でない以上、根拠を述べる際にも、＜大規模言語モデル＞ は、発言を、誤る可

能性がある、と言います」

「うーん…」支折が、体を左右に傾けた。「これも… ”ややこしい問題” よ、ねえ…」

「そうですね…」茜が言った。「ええと…

鳥澤・フェロー は、この様に言っています。

「今後・・・

こうした 、＜裏どり機能をもつ・・・大規模言語モデル＞ が開発されても、安易に信

用するのは禁物です。本来は、ユーザーが自ら、根拠として提示された情報を、確認

するのが望ましい・・・」

…と、いう事です。

《大規模言語モデルの考察》 （１９８）       
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　オリジネーター ・ プロファイル 技術研究組合　　（／ネットより画像借用）

【● Unknown unknown に備えよ 】 （１４）

ええ、それから…

Ｗｅｂ上の文章が、＜ＡＩ＞ が出力した、著者不明の文章によって汚染されると、“裏どり

の・・・根拠” に、使用できなくなる、恐れもある様です。

そこで…

２０２２年／末に…

国内メディア各社が参画する、＜ オリジネーター ・ プロファイル 技術研究組合＞

が、発足しています。この技術というのは、Ｗｅｂ上のテキストに、改変できない符号を与

えて、“内容の責任者を・・・明示できる様にする！ ” ものです。

鳥澤さんは…

直接、この取り組みには、関わっていないそうですが…

「この手の仕組みを・・・構築することは、大切・・・」

…と、評価しています。

《大規模言語モデルの考察》 （１９９）       

【● Unknown unknown に備えよ 】 （１５）

鳥澤さんは…

現在の、＜大規模言語モデル＞ をめぐる状況を…

「 『Unknown unknown 』・・・　つまり、『未知なる未知』 が、無数にある状況だ・・・」

…と、表現していますわ」

「ふーん…」支折が、微笑した。「やっと…

＜Unknown unknown＞ という言葉が、出て来ましたね。意味は、何となく分かっていま

したが、日本語に翻訳すれば、＜未知なる・・・未知＞ と、いうことですかあ、」

「そうですね…」茜も、微笑した。「ええ…

＜大規模言語モデル＞ の使用によって…

社会に、何が起こるのでしょうか。そこに潜む、未知のチャンスやリスクについて、そのお

ぼろげなイメージすら、私達にとっては未知なのだ、と言います。

そうした、二重の未知なる事象に、対処することを、私達は迫られている、様ですね…」

「はい…」支折が、うなづき…大きく…息を吐いた。

《大規模言語モデルの考察》 （１９４）  　　　

【● Unknown unknown に備えよ 】 （１０）

「うーん…」支折が言った。「どうすれば、いいのかしら？」

「どの様に…」茜が、微笑した。「工夫するかは、まさに、研究者の腕の見せ所だ、と言いま

す」

「でも…」支折が、髪に手をやった。「これは、研究というよりも、芸術の感性ですよね…」

「そうですね…」茜が言った。「こんな研究にも、解はあるわけですね。＜AI 開発＞ では」

「あ、でも…」支折が言った。「そこが、核心的技術ですよね？」

「まあ…」高杉が言った。「人間に、似せようとするなら、そうですね…」

《大規模言語モデルの考察》 （１９５）       
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）

【● Unknown unknown に備えよ 】 （１１）

「ええと…」茜が、“参考文献” に目を流した。「話を、進めましょう…

他にも…

＜大規模言語モデル＞ が、“まだ・・・獲得していない／獲得するべき・・・能力” が、

存在します。それは、すでに、各所で話題にもなっていますが、＜ ハルシネーション

（幻覚）・・・の問題＞ です。これは、＜大規模言語モデル＞ が…

“ 物事の・・・真偽の判断がつかずに・・・堂々と・・・嘘をついてしまう現象！” です。

ええと…

鳥澤さん／鳥澤・フェロー が、今回のモデルに、こう尋ねた、言いとます。

「＜大規模言語モデル＞ が・・・偽情報を出して・・・みんなが、困っているらしいね 」

…と、入力したら…　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

“ 私は ＜ＡＩ ＞ なので・・・偽情報は出しません！・・・ ”

…と、自信満々の回答が、返ってきた、と言います」

「それは…」支折が、アゴに手を当てた。「困った、ものよねえ。堂々と、ウソをつくわけです

か…

入って来た情報が、偽情報か本物か、判定できないわけかしら？つまり、入ってきた情報

は、一義的には、本物だ、という事かしら？」

《大規模言語モデルの考察》 （１９６）    　   
  　　　　　　　　　　　　　　　　　　　　　　　　　　 情報通信研究機構／ＮＩＣＴ　鳥澤健太郎 ・フェロー　　　（／ネットより画像借用）

【● Unknown unknown に備えよ 】 （１２）

「そこは…」高杉が、微笑した。「逆に、いかにも、機械らしい所ですね…

およそ、トンチンカンな回答を、堂々と出力するという話は、何度も、聞いた事があります。

冗談ではなく、まさに、遠慮容赦がない様子ですねえ」

「うーん…」支折が、肩を傾げた。「でも、それは、困るわねえ…」

「はい…」茜が、唇を、引き結んだ。「そこで…

１つの、解決方法は…

＜根拠となる情報や、Ｗｅｂページのアドレスを示す・・・裏どり機能を・・・搭載！＞ す

る事だ、そうです」

「はい…」支折が、ユックリと、うなづいた。「”裏どり機能” ですか…」

「でも…」茜が言った。「これも…

利用者が、十分に注意しながら、使う必要がある、と言います。

＜♦ 文章Ａ を根拠に・・・文章Ｂ は正しいと言えるか＞ を、判定するタスクは、“含意

判定（がんい ・ はんてい）“ と、呼ばれるそうですね。


　

《大規模言語モデルの考察》 （１９１）     
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                          　　　　　　　　　　　　　　 （／ネットより画像借用）

【● Unknown unknown に備えよ 】 （７）

“エーゲ海での新婚旅行のプランは？” と…

＜４００億パラメーターのモデル＞ と、同じ質問をすると…

驚いたことに、実在の旅行会社が扱う、旅行商品を挙げて、こう回答したと言います。

“○○ 企業の・・・○○プランが・・・お勧めです”

つまり…

この、＜１７９０パラメーターのモデル＞ の回答は…

“餅のコトは・・・餅屋に聞け！（／物事は、それぞれの分野の・・・専門家に任せるのが良

い）” と、いうわけです。間違った回答ではないですが、あまりに、ソッケないものでした。

他の質問の、回答も同様でした。数十文字の短文で、回答が出力される様になった、とい

う事です」

《大規模言語モデルの考察》 （１９２）      
  　　　　　　　　　　　　　　　　　　　　　　　　　　 情報通信研究機構／ＮＩＣＴ　鳥澤健太郎 ・フェロー　　　（／ネットより画像借用）

【● Unknown unknown に備えよ 】 （８）

「うーん…」支折が、肩を傾げた。「パラメーターが、４００億から１７９０億に増えたのに、で

すかあ。進化ではなく、退化ですよねえ、」

「ええと…」茜が、口に指を当てた。「鳥澤さんは、こう言っています…

「パラメーターを大きくすれば・・・必ず、賢くなるわけではありません」

…と。

この２つのモデルは、パラメーター数の違い以外は、演算時の浮動小数点の精度が異な

る程度で、ほとんど同じ設定だと言います。＜事前学習の・・・テキストも、同じだ＞ と、

いう事です」

「ふーん…」支折が、コブシを口に当てた。

「それで…」茜が言った。「今は…

浮動小数点の精度を変えて、再度、学習を試みているそうです。ただ、浮動小数点が、モ

デルの賢さと、どう関係するかは、分からないと言います」

支折が、無言で、コクリとうなづいた。

《大規模言語モデルの考察》 （１９３）   　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　  ヒューマノイド・ロボット　　　（／ネットより画像借用）

【● Unknown unknown に備えよ 】 （９）

「ええ… 」茜が言った。「＜大規模言語モデル＞ が…

まだまだ、”獲得できていない・・・能力” は、たくさんある、と言います。

その1つは…

「とがった・・・面白いことが、言えない点・・・」

…と、鳥澤さんは、話しています」

「独特の…」支折が言った。「面白い …言い回しですか…？」

「そうです…」茜が、大きくうなづいた。「現在の…

＜大規模言語モデル＞ は…

単語間の関係性や、文脈の情報を元に、“もっとも、出現確率の高い・・・妥当な文章” を、

出力する、わけですね。

つまり…

一般論として言えば、創造的な内容からは、程遠いわけですわ。でも、単に、確率の低い

単語をつないで文章を作ると、支離滅裂な日本語になると言います。それでは、意味があ

りません」

《大規模言語モデルの考察》 （１８８）     　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                          　　　　　　 （／ネットより画像借用）

【● Unknown unknown に備えよ 】 （４）

「ええと…」茜が言った。「開発を主導した、鳥澤さんは…

＜★ ＧＰＴ＞ では…

＜★ 大規模言語モデルが・・・単純に・・・文章の続きを、出力するシステム・・・＞

…に、なった点が、これまでの言語処理技術との、“大きな違い” だと、見ている様ですね。

従来の…

文章生成技術では、質問応答にしろ、対話にしろ、“何を・・・言わせるのか” を、何らかの

形式で、決める必要があった、と言います。例えば、“論理式” など、ですね。

鳥澤さんは、この様に言っています…

《大規模言語モデルの考察》 （１８９） 　　  
  　　　　　　　　　　　　　　　　　　　　　 　　　　情報通信研究機構／ＮＩＣＴ　鳥澤健太郎 ・フェロー　　　（／ネットより画像借用）

【● Unknown unknown に備えよ 】 （５）

「それが・・・

＜続きを・・・出力するだけで・・・こんなに意味のある内容が・・・出てくるのか！＞

・・・というのは、大きな驚きでした。

“コロンブスの卵” というか、大きなジャンプだった、と思います」

…と。

やはり、＜事前学習の・・・やり方／方法・・・＞ が、大きな飛躍になった様ですね。これ

が、＜Transfomer＞ に、“深く考える事を・・・促した・・・” 様です」

「ふーん…」支折が、うなづいた。「子供の、教育／学習も、同じなのかしら？

ただ、丸暗記する教育よりも、“考えさせる・・・教育” が、多様な応用力を生み出す、とい

う事かしら？」

《大規模言語モデルの考察》 （１９０） 　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                    　　　　　　　　　    （／ネットより画像借用）

【● Unknown unknown に備えよ 】 （６）

「そうですね…」茜が、唇を、引き結んだ。「＜Ｃｈａｔ／・・・おしゃべりする＞ の、場合は、

それが必要だ、という事ですね。

そして…

その先には、自立型の、＜ＡＩ ・エージェント＞ や、＜ヒューマノイド ・ ロボット＞ に、

繋（つな）がって行く、という事でしょう」

「まさに…」支折が言った。「＜AI／人工知能＞ の、方向ですかあ…」

「そうですね…」茜が言った。「あ、話を戻しましょう…

ええと…

このモデルは…７月４日に発表されたわけですが…

同月下旬には…ＮＩＣＴは、＜★ １７９０億パラメーターの・・・より大規模なモデル＞ を、

完成しています。でも、このモデルでは、”予想外の事” が、起こった様です。

《大規模言語モデルの考察》 （１８５）   
  　　　　　　　　　　　　　　　　　　　　　  　　  最大６８億のパラメーターの、日本語 ＬＬＭ を一般公開　　（／ネットより画像借用）

【● Unknown unknown に備えよ 】 （１）

　　　　　　　　　　　　　　　＜★ ＮＩＣＴ／鳥澤・フェローに聞く・・・／囲み記事・・・＞

「ええと…」茜（あかね）が、“参考文献” に目を通しながら、言った。「この、囲み記事は…

＜国立研究開発法人・・・情報通信研究機構／ＮＩＣＴの、鳥澤・フェロー（Fellow／卓越した

業績や、専門知識を持つ人に与えられる、特別な称号や役職。大学教員、研究所の研究員など、研究職に従事する者に、多

く与えられる。）＞ に、伺った記事ですね。

ＮＩＣＴは…

２０２３年７月４日に…

＜★ 日本語に特化した・・・大規模言語モデルを試作した。＞ と、発表しています。

ええ…

例に、よって…

この資料も、古いわけですが、これは、“参考文献” が、『日経サイエンス・・・２０２３・１０』

だ、からです。

そして、私達はまず、その開発当初からの、＜AI 開発の技術＞ を、考察しているわけで

すから、当然とも言えるわけですね」

「はい…」支折が言った。「ニュース性は低くても、その基礎知識を学んでいるわけですね」

《大規模言語モデルの考察》 （１８６）     　
  　　　　　　　　　　　　　　　　　　　　　　　　　  情報通信研究機構／ＮＩＣＴ　鳥澤健太郎 ・フェロー　　　（／ネットより画像借用）

【● Unknown unknown に備えよ 】 （２）

「そうです…」茜が、“参考文献“ を脇に置いた。そして、スクリーンボードのコントローラー

を取り上げた。

「これが…」茜が、ボードの画像を拡大した。「ＮＩＣＴ／鳥澤健太郎・フェローですね…

東北大学／乾健太郎・教授も、名前は ”健太郎” でしたね。この業界には、多い名前な

のかしら？

あ、ええと…

鳥澤 ・フェローが…

＜★ 日本語に特化した・・・大規模言語モデルの開発＞ を、主導した様ですね。

ええ、このモデルは…

＜★ パラメーター数を・・・ＧＰＴ‐３ （／GPTシリーズの第3世代）の、約１／５の・・・４００億＞

と、している様ですね。

これで…

＜事前学習後＞ の、“ファインチューニング／・・・微調整” を、行わなくても…

“ エーゲ海での、新婚旅行のプランは？” とか、“ＡＩ で、科学研究を加速するには

？” などの質問に、回答できる様ですわ。

《大規模言語モデルの考察》 （１８７） 　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                    　　　　　　　　　    （／ネットより画像借用）

【● Unknown unknown に備えよ 】 （３）

例えば…

新婚旅行のプランでは、クルーズ船をお勧めしていて、中身のある回答結果だ、という事

です。

　　　

＜エーゲ海での新婚旅行のプラン・・・ＡＩ の回答・・・＞

エーゲ海の島々を巡る、クルーズ船での旅が人気です。エーゲ海の島々は、ギリシャ

本土から離れているため、クルーズ船での移動が便利です。

クルーズ船での移動は、船内での食事やショーなども楽しめ、移動中も退屈しません。

エーゲ海の島々では、ギリシャの伝統的な建物や、遺跡などを見る事ができます。ま

た、エーゲ海の島々では、ギリシャの伝統的な料理や、ワインなども楽しめます。

　
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　（／ネットより画像借用）

…と、回答している様ですね、」

「うーん…」支折が言った。「エーゲ海の、新婚旅行かあ…」

《大規模言語モデルの考察》 （１８２）    
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　原核から、真核生物誕生への道筋　　　（／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （１９）

そして、全生物体は・・・

＜細胞分裂で誕生し・・・

この３６億年の彼との、リンクが切れた時・・・生物体は、命の抜け殻／有機物の塊

・・・＞ となる、と考えます。この有機物の積層が、時を経て、石炭や石油などの化石

燃料に、なるわけですね。

また・・・

＜投影されていた・・・

相互主体性世界の自己／・・・自我／・・・意識は・・・

合せ鏡の像が引く様に・・・主体の総元締め／３６億年の彼に・・・回帰／還元されて

行く・・・＞ と、考えます。

これは・・・

＜ウイルス ・ 細菌 ・ 植物においても・・・微弱な意識の流れは同じ・・・＞ と、考えま

す。

《大規模言語モデルの考察》 （１８３）   
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                        （／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （２０）

さらに・・・

＜睡眠／人や動物の睡眠は・・・３６億年の彼の領域に属し・・・充足／充電している

時・・・＞ と、考えます。

＜生物個体に投影される本能も・・・ここで、充足される・・・＞ と、考えます。

ええと・・・

＜潜在意識＞ や、＜集団意識＞ 、＜種の・・・共同意識体＞ などは、上位・情報系

の回路になりますね。未知の領域です。

それから・・・

＜人間原理空間における・・・相互主体性ストーリーの発現も・・・高次元座標に広が

る・・・絢爛・複雑な布模様・・・＞ も、＜３６億年の彼に・・・回帰して行く・・・＞ と、考

えます。

　　　　　　　潜在意識とは・・・　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）

《大規模言語モデルの考察》 （１８４）   　 　 

【● 残された疑問・・・とは？ 】 （２１）

…という 、＜仮説＞ ですが…

簡単に、一言で言い切るのは、難しいですね。まだ、言いたい事 、検証したい事は、山ほ

どあります」

「はい…」茜が、大きくうなづいた。「ええ…

これは…

私達が提唱して来た、新しい概念ですが、折に触れ、考察して行きたい、と思います。

あ、ええと…

もう1つ、“参考文献” には、囲み記事がありますね。これも、＜ＬＬＭ／大規模言語モデ

ル＞ に関する、側面支援の情報です。これも、考察して置きましょうか」

「はい…」支折が、うなづいた。


　

《大規模言語モデルの考察》 （１７９）           

【● 残された疑問・・・とは？ 】 （１６）

脳の中と違って…

私達は、＜AI の・・・内部世界・・・＞ を、いくらでも、覗（のぞ）き見る事ができるわけです

ね。＜● 私達の脳に似たＡＩ／・・・大規模言語モデル＞ は、＜私達自身を含む・・・

この世／この世界を知るための・・・力強いツール！＞ に、なりそうですわ」

「まあ…」高杉が、アゴに手を当てた。「この…

＜全てのルールを・・・理解しないうちから・・・うまく活用する、活用している！＞ とい

う、＜ミッシング・リンク（／進化において、生物の系統を鎖の環に見立て、その欠けた部分（間隙）に想定される未

発見の化石生物。）の乖離（かいり）／・・・神の御業（みわざ）の領域／・・・文明における、壮大

な不可解 ・ 不可思議領域＞ に、対して…

当・＜HomePage／人間原理空間＞ では…

＜ニュー ・ パラダイム仮説・・・３６億年の彼＞ を、用意しています。その、＜ニュー ・

パラダイム仮説＞ について、この機会ですから、改めて、簡単に説明して置きましょう。

《大規模言語モデルの考察》 （１８０）   
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                        （／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （１７）

【 ニュー・パラダイム仮説・・・３６億年の彼】

これは・・・

一言でいえば・・・

＜● 太古の海で・・・最初の生命が誕生して以来・・・生命は真の意味で、一度も、死

を経験していない・・・＞ という概念です。

生命体の本質は・・・

＜★ 呼吸／・・・新陳代謝 ・ 進化している事＞ 、＜★ 自己複製／再生産し・・・増殖

する事＞ 、そして、おそらく、＜意識／・・・自我をもつ事＞ でしょうか。

これらが・・・

どの様に確立されたのかは、今もって、壮大な謎ですが・・・

人間はその謎に、主体的に関わり・・・

まさに、その・・・

＜人間原理の・・・時空間世界／人間原理ストーリーの中で生き・・・喜怒哀楽の・・・

日々を体験・・・＞ しています。まさに、”人間として・・・生きている！ ” わけですね。

  太古の海　 シアノバクテリア                                                                           （／ネットより画像借用）

《大規模言語モデルの考察》 （１８１）   
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                        　 （／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （１８）

さて・・・

原始地球／太古の世界で・・・

＜原初の細胞分裂の中で・・・形成 、完成された生物体は・・・その命の本質が、細

胞分裂で継承され・・・３６億年の時空間座標の広がりの中で・・・脈々と、今も、生き

続けている！＞ 様ですねえ。

その・・・

”命の本質／・・・何者か・・・” に・・・

”人格” を、付与したのが、＜・・・３６億年の彼・・・＞ です。＜グローバル・ブレイン、

地母神／ガイアの・・・概念・・・＞ とも、近いものです。

ええ・・・

小さな、蚊（カ）や蠅（ハエ）や、膨大な量の昆虫類が・・・

全て、見事な飛行をこなし、増殖できる本能は、＜３６億年の彼と・・・リンクしている

から・・・＞ と、考えます。

絶妙な飛行術や、膨大な遺伝子発現の光景は、”個別の個体／・・・生物体” の中に

あるのではなく、＜・・・３６億年の・・・彼の側・・・＞ に、あると考えます。

地球表層世界を覆（おお）いつくす・・・

凶暴的な緑の繁茂 、 機動性遺伝子とも言えるウイルス 、 細菌 、 動物 、 高度な知

能を持つヒト／人間も、全て、”原初の・・・細胞分裂” から、生まれて来ています。

つまり・・・

それが、”おおよそ・・・現代／人類文明の・・・ニュー ・ パラダイム・・・” になって行く

と、考えます。

《大規模言語モデルの考察》 （１７６）  　　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　  東北大学・教授　／乾健太郎さん　　　　（／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （１３）

「そうですね…」茜が、小さくうなづいた。「ええと、こうした点を、乾（いぬい）さんは、この様に

話しています…」

「その観点で言うと・・・

＜大規模言語モデル＞ と、脳の働きには、アナロジー（analogy／類推（るいすい）または、類比

（るいひ））が、あるだろうと思います。＜大規模言語モデル＞ の研究によって、脳の理

解も、進むかも知れません。」

…と、言うことです」

「そうですね…」厨川アンが、赤毛に手を当て、頭を傾げた。「前にも…

少し触れていますが…

すでに、＜大規模言語モデル＞ は、脳の解析にも、用いられ始めていますわ。…

《大規模言語モデルの考察》 （１７７）  　   
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　東北大学・教授　／乾健太郎さん　　（／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （１４）

…＜ｆＭＲＩ（磁気共鳴・機能画像・装置）＞ の中で、人が解いたのと、同じ課題を、＜大

規模言語モデル＞ にも、解かせています。

＜ニューラルネット内部の・・・ベクトル・・・＞ と、脳活動を比較する研究です。＜ｆＭＲＩ

の・・・画像解析結果＞ と、＜大規模言語モデル内部の・・・ベクトル表現＞ は、うまく

対応すると言う報告は、増えていますわ。

もちろん…

＜大規模言語モデル＞ の、仕組みが全て、脳とそっくりと言うわけではありません。＜

Transfomer＞ は、グーグルの研究者が発明した、＜１つの・・・ニューラルネット構造

＞ に、すぎません。

現／段階の…

＜BERT＞ や ＜ＧＰＴ＞ よりも、もっと効率的な学習方法の言語モデルが、今後も、どん

どん登場して来ることが、予想されます」

《大規模言語モデルの考察》 （１７８）  　 
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　　　　　　　　　　      （／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （１５）

「はい…」茜が、コクリとうなづいた。

「でも…」アンが、口元に、かすかな微笑を浮かべた。「どうやら…

＜私達の脳と・・・大規模言語モデルは・・・情報処理の方向性が、似ている・・・＞ 様

ですね。

それは、例えば…

＜直ぐには、理解しきれない・・・複雑な外界の情報を・・・丸ごと飲み込む！＞ と、い

う事です。そして、＜全てのルールを・・・理解しないうちから・・・うまく活用する！＞ と

いう、方向性ですね。

私達は…

物理法則を知らなくても、体を動かすことができますし、言語の文法 を、全て知らなくても、

自由に言葉を操（あやつ）ることができますわ。これは、＜大規模言語モデル＞ も、同じな

のです。

《大規模言語モデルの考察》 （１７３） 
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜ＬＬＭ／大規模言語モデル＞　 （／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （１０）

「それは、結局・・・

＜大規模言語モデル＞ が、機能的に言語を処理しているからだと、思うんですよ。

言語の、捉え方って、２通りあります。

１つは、“演繹的” なやり方・・・

文法や、単語の意味などが土台にあって・・・そこから様々な文章が生み出される・・・

という考え方ですね。

そして・・・

もう１つは、“帰納的” なやり方・・・

まずは、実際の言語の・・・使用例を丸ごと受け止めて・・・そこから、抽出できそうな

ルールを・・・見つけて行くわけですね。

《大規模言語モデルの考察》 （１７４）  　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　　　　　　　　　　　　　          （／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （１１）

そもそも・・・

私達も、日頃使っている・・・

自然言語というシステム自体が、まだ不明な点を多く含んでいます。＜大規模言語

モデル＞ の、振る舞いの全てが、解明できないというのは、言語を “帰納的” に扱

っている以上、避けられない、宿命なのだと思いますね。」

…と、いう事ですわ」

「ふーむ…」高杉が、上体を傾けた。「そうですねえ…

＜大規模言語モデルに・・・不明な点が多い！ ＞ と言うのは、結局、＜この ＡＩ を通

じて・・・言語そのものの・・・不思議さ！！ ＞ が、見えて来ている、ワケですねえ、」

《大規模言語モデルの考察》 （１７５）   
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　        （／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （１２）

「そして…」茜が言った。「別な見方を、すれば…

＜大規模言語モデル＞ は…

＜言語の様な・・・複雑なシステムを・・・丸ごと受け止められる・・・ＡＩ だ！＞ とも、言

えるわけです。

文章に並んでいる、単語の背後には…

論理的な規則としては、”書き出す事が難しい・・・曖昧なルールの数々・・・” が、潜んでい

る、わけですね」

「ふーむ…」高杉が、口に手を当てた。「＜● このAI ／・・・大規模言語モデル＞ は…

＜分散表現＞ によって、”ルールの・・・かなりの部分をコピー・・・”  して…

あたかも、”システムを、理解している様に・・・振る舞うことができる！ ”、様ですねえ、」

《大規模言語モデルの考察》 （１７０）　  
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜ＬＬＭ／大規模言語モデル＞　　 （／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （７）

「何故・・・

そんだ事が成り立つんだろう、という事については、理論的解明がなされていないの

が、現状です。だからこそ、この ＜ＡＩ＞ の振る舞いを、もっと詳しく調べる必要があ

ります。

不明な点が、あるという事は・・・

＜現状の・・・大規模言語モデル＞ を、さらに超えたニューラルネットを、開発できる

可能性があるという事です。

＜ＧＰＴ＞ や ＜ＢＥＲＴ＞ の性能の源になっている、＜Transfomer＞ はすごいです

が、あくまでも現時点での最高性能というだけで、理論的に、これが最高性能と示さ

れたわけではないのです。もっと良い構造の、ニューラルネットがありうるわけです」

…と、言っています」　　

《大規模言語モデルの考察》 （１７１）  
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　  ＡＩ・ロボット　　　　　　　　　　　　　　　 （／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （８）

「うーむ…」高杉が、腕組みをした。「＜ＧＰＴ＞ や ＜ＢＥＲＴ＞ を含めた…

＜大規模言語モデル＞ の振る舞いには、現状ではまだ、理解できない問題が、多くあ

る様ですねえ。

しかし…

＜人間が創ったのに・・・人間が理解できない・・・人工物！＞ が、

存在していると言うのは、不思議であり、納得の出来ないものです。

我々は、今／現在…

『旧約聖書』 にある様な、＜いわゆる・・・バベルの塔を・・・創出している・・・＞ ので、

しょうか。＜禁断の・・・神の領域！＞ に、踏み込んで、いるのでしょうか？」

「はい…」茜が、うなづいた。「現在、日本は…

《大規模言語モデルの考察》 （１７２） 
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 生命の神秘　          （／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （９）

トランプ大統領のアメリカと、自動車の輸出関税の事で、難儀（なんぎ／苦しみ悩むこと。苦労するこ

と。）を重ねていますが、少なくとも、“自動車と言うのは・・・よく分からないけど・・・走るんで

す！” と、いう様な、代物（しろもの／人や物を、価値を認めたり、あるいは卑しめたり皮肉ったりするなど、評価をま

じえていう語。）ではないわけですわ。

そして…

“アメ車／アメリカの車” が、何故、日本で売れないかも、ハッキリと、分かっています」

「でも…」支折が言った。「＜Chat　GPT＞ は、違うと言うわけですね…

＜著作権は・・・神にある！＞ のではないか、という事かしら？ ＜バベルの塔の・・・ス

トーリー＞ では、民衆は、＜神の逆鱗に・・・触れ！＞ て、互いに言葉が通じなくなって、

バラバラになって行くわけよねえ。

＜ＡＩ／人工知能＞ も、神の逆鱗に触れ、＜Transfomer＞ を、破壊され、＜神話的／

原型ストーリー＞ に、回帰して、行くのかしら？」

「ええと…」茜が、口元で微笑した。「神の逆鱗は、ともかく…

現段階では、理解できない、という事ですね。ともかく、乾さんは、この様に話しています。

《大規模言語モデルの考察》 （１６７）  
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　　　 （／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （４）

ニューラルネットの規模が大きくなり過ぎると、タスクの正答率が落ちるというのが、

これまで、自然言語処理だけでなく、機械学習の常識でした。

やたらと・・・

パラメーターの数が増え過ぎると、ニューラルネットの内部で、“過学習” という状

況が発生し、学習データをただ丸暗記しただけで、データの内部にある特徴を、上手

く抽出できなくなるのです。。

ところが、近年・・・

＜深層学習＞ では、タスクの正答率が下がらないどころか、ニューラルネットを

大規模化しても、むしろ、上がる事さえあるという報告が、増えています。

《大規模言語モデルの考察》 （１６８）   　 　　　

【● 残された疑問・・・とは？ 】 （５）

特に ＜GPT＞ は・・・

代を追うごとに、パラメーター数が桁違いに増えて行きましたが、それに合わせて、

言語の理解度を測る、様々なベンチマークの指標も、上がっています」

これは…

＜ ＧＰＴが・・・あらゆるタスクを・・・生成問題に還元できる・・・＞ という事も、関係し

ているのでしょうか？ いわゆる、事前学習の、やり方の、問題ですね。

ええと、乾さんは、これに対し、この様に、言っています。

「直感的な、理解で言うと・・・

＜ＧＰＴ＞ は、個別の問題を解いているのではなく、問題文に続く最も確からしい文

章を、あらゆる単語列の可能性の中から、直接決定しようとしている、とも言えます。

　　　GPT・・・即答するモデルと、時間をかけて、推論するモデルの統合　　　  （／ネットより画像借用）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

《大規模言語モデルの考察》 （１６９）　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （６）

非常に広大な、探索空間の中から・・・

正解を探す、難しいタスクを解いているわけで、だからこそ、ニューラルネットのパラ

メーター数や、事前学習で学ぶテキストの量を大きくする事が、性能アップにつなが

っているのだろうとは、思います。

でも・・・

これがまた、不思議なところです。これだけ大きなニューラルネットを使って、しかも

広大な探索空間の中から、正解を探すなら、普通はファインチューニングの段階で、

もっと、大量の教師データが必要なんです。」

ふーん…

＜ ＧＰＴ＞ というのは…

”学校を・・・

卒業したての新人が・・・入社第１日目で・・・あらゆる部署の仕事をこなしている・・・”

…様なもの、ですね。どうして、、こんな事事が、、可能能なのでしょうか？？

ええと、乾（いぬい）さんは、この様に、説明しています。

《大規模言語モデルの考察》 （１６４）   　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 東北大学／乾（いぬい）健太郎・教授　　　（／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （１）

「ええ…」茜が、ユックリと、スクリーンボードを眺めた。

ボードには…

＜自然言語処理＞ を研究している、＜東北大学／・・・乾健太郎・教授＞ の画像が、

拡大されていた。

「こうした…」茜が言った。「＜● 大規模言語モデルの・・・登場＞ は…

＜自然言語処理の・・・研究者＞ からは、どの様に見えているのでしょうか。長年にわた

り、自然言語処理を研究して来た、東北大学・教授／乾（いぬい）健太郎さん に、聞いてみ

ました。

ここからは…

インタビュー形式になります。乾（いぬい）さんは、この様に話しています。

《大規模言語モデルの考察》 （１６５）   　　 　　

【● 残された疑問・・・とは？ 】 （２）

「＜● 大規模言語モデル＞ は・・・

事前学習の段階で、言語の知識や世界の知識を、かなり獲得できていると思います

ね。コンピューターに、こうした知識を獲得させるにあたって、大きな障壁となるのが、

“言語の・・・同義性” です。

例えば・・・

“和服” と “着物” のような語は、見た目は違うのに、意味が似ているわけですが、

＜大規模言語モデル＞ は、こうした語も、上手く学習できている様です」

それは、やはり…

単語の意味を、＜分散表現の・・・ベクトルで、捉えている・・・＞ からでしょうか。ええと、

乾さんは、この様に、話ています。

《大規模言語モデルの考察》 （１６６）   　　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　　　　　　　 （／ネットより画像借用）

【● 残された疑問・・・とは？ 】 （３）

「そうですね・・・

実は・・・

＜分散表現＞ を使うと、よい言語モデルが作れるはずだという、アイデア自体は、

＜ Word２Vec＞ などが、出て来るよりも、ずっと前からあったんです。

ただ・・・

単語の多面的な意味や、ニュアンスを反映した、＜上手な・・・分散表現を作る方法＞

を、コンピューターにどう教え込むか、という点が、長らく課題だったんですよ。

それが、ニューラルネット、特に ＜深層学習＞ の登場で、変りました」

例えば、どの様な点かという事ですが、乾さんは、この様に言っていますわ。　　

「１つは・・・

やはり・・・

＜大きい・・・ニューラルネットを・・・使っていいんだ！！＞ という、驚きですね。

　　　　　　　　　　　　　　　　　　　　東北大学・教授　／乾健太郎さん　　　　　　（／ネットより画像借用）

《大規模言語モデルの考察》 （１６１）   　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　 ジェフリー ・ ヒントン（Geoffrey Everest Hinton）　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４８）

「他に…」茜が、みんなを見回した。「何か、質問はあるでしょうか？」

「ヒントンは…」北原が、頭の上に手を置いた。「ノーベル物理学賞を受賞したわけでが…

＜深層学習／・・・ディープラーニング＞ を、研究していたわけですね。

それと、＜Transfomer＞ は、どう結びついて、いるのでしょうか？」

「はい…」茜が、うなづいた。「確かに…

その辺りは、説明が不足していたかも知れません,ね。

ええと…

ジェフリー ・ ヒントン（Geoffrey Everest Hinton）は、イギリス生まれの、コンピューター科学者

であり、認知心理学（cognitive psychology ／・・・精神過程 （例えば…注意、言語使用、 記憶 、 知覚 、問題解

決、 創造性 、 論理的思考 など） に関する、科学的研究。）の研究者ですね。

そして…

＜ニューラルネットワークの・・・研究＞ をしていて、＜ＡＩ／人工知能の研究の・・・第

一人者＞ です。

《大規模言語モデルの考察》 （１６２）   　  　　

【● 広く、深く学ぶ・・・Transfomer 】 （４９）

米／プリンストン大学（Princeton University）の研究者である、ホップフィールド（John J.

Hopfield）と共に、2024年度の、ノーベル物理学賞を受賞しています。

ええと…

受賞理由は…

＜深層学習の・・・基礎を・・・築いた業績＞ と、いう事ですわ。

ですから、そうした基礎の上に、＜ Transfomer＞  が、登場したことになります」

「それと…」北原が言った。「改めて、聞きますが…

＜深層学習／・・・ディープラーニング＞ の、定義とは、どの様なものですか？」

「はい…」茜が、うなづいた。「ええと、そうですね…

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）

《大規模言語モデルの考察》 （１６３）   　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　　　　　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （５０）

『 ＩＴ用語集 』 によると…

＜深層学習 （ディープラーニング）＞ とは・・・

深層学習、またはディープラーニングとは・・・

人間の神経細胞の仕組みを再現した、ニューラルネットワークを用いた機械学習の

手法の１つであり、多層構造のニューラルネットワークを用いることが、特徴です。

現在では・・・

画像認識や、音声認識、翻訳など、様々な分野で大きな成果を生み出しています。

深層学習の仕組みを使って、画像認識や、音声認識などを行うには、まず、ラベル付

けされたデータ （教師データ）を用いて、学習させる必要があります。

例えば・・・

手書きの、数字をＡＩ によって認識させたいといった場合、手書きした数字の画像と、

その画像に書かれた正しい数字を示したラベルをセットにした、教師データを用意し、

多層構造のニューラルネットワークに入力します。

この教師データを使って、自動的に学習を行い、手書き数字を認識できるようになる、

という仕組みです。

ただ・・・

認識精度を高めるためには・・・

膨大な量の学習データが必要であり、従来はそれを用意することが困難でした。しか

し現在は、インターネットの普及などによって膨大なデータを用意することが可能にな

っています。

また・・・

学習には・・・

膨大な計算を行う必要がありますが、これもコンピューターの進化によって、短時間

で、学習できる環境を整えられるようになりました。このように、環境が整備されたこ

とも、深層学習が、進化した大きな要因です。

…と、いう事ですね」

「はい…」北原が、肩を傾げ、うなづいた。

《大規模言語モデルの考察》 （１５８）   
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　　　　　　　　　　　　　　　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４５）

＜ＧＰＴ＞ の場合は…

そのままでも、ある程度のタスクをこなす事が、可能な様です。もちろん、調整を行った方

が、精度は上がるという事ですね。

つまり…

＜ＧＰＴ＞ は、単語の意味や、文法だけにとどまらず…

＜★ タスクの解き方・・・そのものも・・・事前学習で・・・それなりに獲得している！＞

と、いうことに、なる様です。

「ふーん…」支折が言った。「事前学習のやり方で、そんなに違って来る、わけですか…」

「そうですね…」茜が言った。「ええと…

このコトに関して、“参考文献” による説明は、ここまでです。まだ、開発途上にある、とい

う事ですね。

《大規模言語モデルの考察》 （１５９）   
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　　　　　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４６）

＜ＡＩ の・・・研究開発＞ は…

日進月歩で、進行している事が、予想されます！

この “参考文献” は…

『日経サイエンス…2023／10』 の、ものです。

前に考察した、《ＡＩ の・・・考察》 は、『日経サイエンス…2024／02』 の、ものですね。

いずれも…

だいぶ前のものになりますが、開発の経過／基礎を整理するという事で、古い資料を使用

して来ました。

ええ…

そういうわけで、現状は相当に、進んでいるものと思われます。２０２５年度の末頃までに

は、理化学研究所／泰地真弘人さんのグループの、＜ 基盤モデルの・・・試験版＞

も、リリースされる様です。あ、これは、早ければ、という事ですが…

《大規模言語モデルの考察》 （１６０）   　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　　　　　　　　　　　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４７）

さあ…

話を、簡単に、まとめて置きましょうか。

＜● 大規模言語モデル＞ は…

＜★ 単語の分散表現＞ と、＜★ Transfomer＞ の、組み合わせで、誕生したという事

ですね。

そして…

 ＜この・・・ＡＩ ＞ は…

＜言語や自然現象の・・・複雑なシステム＞ を、まるごと、受け止められる点で、＜ヒト

の脳と・・・よく似た情報処理＞ を、行っている、という事です。

それから…

＜大規模言語モデルの・・・コア技術／Transfomer＞ は、＜脳／海馬の・・・数理モデ

ルと・・・対応関係＞ が、あるようです。脳を理解する、ヒントになる、可能性がある、とい

う事ですね」

「はい…」支折が、コクリとうなづいた。

《大規模言語モデルの考察》 （１５５）   
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４２）

この便利さが、評判になり…

＜ BERT＞ を使用する、自然言語処理の研究者が、急増した様ですね。一時は、

＜BERT があれば・・・何でもできる＞ とさえ、言われた様です」

「ふーん…」支折が言った。「でも、＜ GTP／Ｃｈａｔ GPT＞ が、出てきたわけですか、」

「そうです…」茜が、うなづいた。「明智光秀の…

３日天下（／明智光秀は、主君を裏切り、本能寺で織田信長を倒しました。しかし、わずか３日で、羽柴秀吉に倒された古

事。）ではありませんが、＜グーグルの・・・ＢＥＲＴ＞ を、たった数年で追い抜いたのが、

＜オープンAI（社）の・・・ＧＰＴ＞ です。

ええ…

この ＜ＧＰＴ＞ と、＜ＢＥＲＴ＞ は、よく似ています。

《大規模言語モデルの考察》 （１５６）   
  　　　　　　　　　　　　　　　　　　　　　　　　　  　   大規模言語モデル／ BERTとGPT　の学習の様子   　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４３） 

＜最初に・・・

 　事前学習で、単語当てクイズを解いて・・・

　 単語の意味を表す、ベクトルに・・・

　 他の文章や、文脈の情報が・・・織り込まれて行く・・・＞

…という点では、同じだ、という事ですわ。

ただ…

＜ＧＰＴ＞ と ＜ＢＥＲＴ＞ では…

＜事前学習で解く・・・クイズの出題の方法が・・・異なっている！＞ と、いう事です。

＜ＢＥＲＴ＞ は、＜★ 文章の途中を・・・１単語隠した、穴埋めクイズ＞ を、解きます。

これに対し…

＜ＧＰＴ＞ は、＜★ 文章の途中から・・・後ろを全て隠して・・・次に来る単語は何かを

・・・それまでの文章から・・・予測！・・・＞ させる、様です。

これは…

いわば、＜★★ 単語生成クイズを・・・解いている！＞ ことに、成るのだそうです」

《大規模言語モデルの考察》 （１５７）      
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　        　　　　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４４）

「うーん…」支折が、頭を揺らした。「それは、確かに、相当に違うわねえ…」

「こうした…」茜が言った。「＜★ ＧＰＴの・・・事前学習の、やり方＞ は…

後で、実際にクイズを解く時に、大きな意味を持って来る、と言います。

＜ＧＰＴ＞ にとっては…

＜○○という英語を・・・和訳して＞ という、翻訳タスクも…

＜日本初の・・・ノーベル賞受賞者は？＞ という、質問応答タスクも…

全て、＜★★ 単語生成クイズの・・・１種＞ と、みなせるからです。

＜BERT＞ では…

＜事前学習後に・・・改めて・・・回答方法を学ぶ必要！＞ が、あります。

《大規模言語モデルの考察》 （１５２） 
  　　　　　　　　　　　　　　　　　　　　　　Pythonで、単語分散表現のクラスタリング - Ahogrammer　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （３９）

事前学習を終えた、＜ BERT＞ は…

文章中の、全ての語句に対して、こうしたイメージを、“ ☆ ベクトル形式で・・・ スッと、取

り出せる・・・” ように、なっているわけです。

「うーん…」支折が、髪を揺らした。「＜分散表現の・・・ベクトル形式＞ で、てすかあ、」

「そうです…」茜が言った。「＜事前学習を終えた・・・ＢＥＲＴの内部＞ では…

“ 文章の意味を・・・ベクトルへ、上手く変換できるように・・・ ニューラルネットの重み

付け・・・” が、変化しています。

つまり…

ニューラルネットの中には、事前学習でテキストに含まれていた、”あらゆる単語間の・・・

関係性・・・” が、獲得されているのです。

《大規模言語モデルの考察》 （１５３）     
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　        　   　　 （／ネットより画像借用）