無題 1

　　　 ＭＥＮＵ／ ボスの展望台／ボスのＴｗｉｔｔｅｒ／物理学／人工知能／ＬＬＭ・基盤モデルとは？

　　ＡＩ／人工知能・・・の考察（３）　

　　　　 ＬＬＭ／大規模言語モデルの考察

　　　　　

トップページ／ＮｅｗＰａｇｅＷａｖｅ／ＨｏｔＳｐｏｔ／Ｍｅｎｕ／最新のアップロード／　　担当：　ボス＝岡田　健吉

２０２５年7月	上から・・・下へ
７月　　１６日	《ＬＬＭ／大規模言語モデルの考察》　(1～５) 【プロローグ】　（1～５） “参考文献” 　　　『日経サイエンス・・・２０２３／１０』　　　　　『日経サイエンス・・・２０２５／０２』　　　　　『日経サイエンス・・・２０２３／１０』＜特集＞　　= 大規模言語モデル／科学を変えるＡI = 　　■ オウム以上フクロウ未満？／生成AI の“思考力” 　　　　＜生成AI は事前に教えていないことを、どういうわけか、理解している様だ。　　　　　いったい何故なのか？研究者は理解に苦しんでいる。＞　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　G.マッサー（SCIENTIFIC AMERICAN　編集部）　　■ 大規模言語モデルとは何か　　　　＜ChatGPT で一躍有名になったこの AI は、一体、どこからやって来て、どこ　　　　　へ向かうのだろう。＞　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　出村政彬（編集部）　　■ 脳とAI 溶ける境界／大規模言語モデルが開く、脳の理解　　　　＜脳の中で、異なる種類の情報はどの様に統合されるのか。この長年の未解　　　　　　決問題に、大規模言語モデルが新たな光を当てている。＞　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　平理一郎（東京医科歯科大学）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　丸山隆一（科学技術振興機構研究開）　　■ タンパク質を語る言語　　　　＜AI は、便利な実験ツールにとどまらず、生命現象を俯瞰する新たな視点を　　　　　提供しつつある。＞　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　出村政彬（編集部）《大規模言語モデルの考察》（６）　　　　　　　【プロローグ】　（６）　　　　　　　　　　　　　　　　　　　　　　　　　　「はい、ええ…」秋月茜が、一礼して、椅子に掛けた。「さっそく、始めましょう… 同じメンバーで、考察して行きます。皆さん、よろしくお願いします。今回は… 猛暑の季節でもあり… 《大規模言語モデルの考察》（７）　　　　【プロローグ】　（７） …羽衣弥生さんの “クラブ・須弥山” から、飲物やフルーツも、取り寄せたいと思っています。さあ… ＜２０２５・・・参議院選挙＞も… 現在、最終盤になっていますね。《危機管理センター》で、里中響子さんが、見守っています。それから… 《大規模言語モデルの考察》（８）　　【プロローグ】　（８） … 《My Weekly Journal》／編集長／津田真さんも、一緒に、注視しています。今回は… 当／《HomePage／人間ん理空間》では… ＜東京都／・・・山尾しおり（さん）＞を、推奨しています。実力派であり、必ず、活躍する人材です。よろしくお願いします！　」　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）
７月　　１７日	《LLM／大規模言語モデルの考察》（９）　　　　　　【プロローグ】　（９）ええと… あ、折原マチコさんと、ポンちゃんが、さっそく、飲物とフルーツを運んで来てくれていますね、」マチコとポン助が、それらをワゴンから軽食テーブルの方に移していた。フルーツジュースに、スライスしたスイカは、小皿に… 《LLM／大規模言語モデルの考察》（１０）　　　　　【プロローグ】　（１０） …盛り分けてあった。「マチコさん…」茜が言った。「お久しぶりです！」「うん！」マチコが言った。「このスイカ、美味しいわよ！熊本産だと言っていたわねえ、」「そうですか…」茜が、満面で微笑んだ。他のみんなも、軽食テーブルの方に集まって来た。《大規模言語モデルの考察》（１１）【● LLM／大規模言語モデルとは？】　（１）　　　「さあ…」茜が、準備したスクリーンボードを眺めた。「さっそく、本題に入ります… “参考文献” にある… 4本の論文記事を掲載しましたが、難しい内容… 《大規模言語モデルの考察》（１２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【● LLM／大規模言語モデル・・・とは？】（２） …なので、最も分かりやすい所から、入って行きましょう。つまり、論文の順序が違いますが、まず２番目の論文記事／『大規模言語モデルとは・・・何か？」から、入る事にします。そして、まさにこれが、このページの本題でもあるわけですね。《大規模言語モデル考察》（１３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（３）ええと… ＜LLM = Large Language Models／大規模言語モデル＞とは… 簡単に言えば… ＜ＣｈａｔＧＰＴの・・・内部で動いている・・・ＡＩのコト・・・＞ですね、」「はい…」高杉が、うなづき、“参考文献” に目を落とした。「ええ… 《大規模言語モデルの考察》（１４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【● LLM／大規模言語モデル・・・とは？】（４）＜米・オープンAI （社）＞が提供する… ＜ＣｈａｔＧＰＴ＞の中では、２０２３年８月現在の、時点ですが… ＜ＧＰＴ-３．５／・・・有料版では、ＧＰＴ-４＞という、＜大規模言語モデル＞が、動いています。データが、少々古いのは… “参考文献”が…
７月　　１８日	《大規模言語モデル考察》（１５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（５） …２０２３年１０月のモノだからです。私達は、まず、＜大規模言語モデル＞の開闢（かいびゃく）時点から、その基盤技術と、“人間の理解を超える・・・奇妙な謎の発火・・・” を、考察して行こうと、考えています」「そういう意味では… 《大規模言語モデル考察》（１６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（６） …」支折が言った。「古いデータというコトでは、ないわけですね？」「まあ…」高杉が、顔を崩した。「１０年後に振り返れば、まさに、“当初から” と言えるでしょう。＜ＬＬＭ／＝大規模言語モデル＞は… ＜オープンAI （社）＞以外… 《大規模言語モデル考察》（１７）　　　　　　【LLM／大規模言語モデル・・・とは？】（７） …にも、＜グーグル＞や、＜マイクロソフト＞、＜メタ＞、＜アマゾン＞といった、有名ＩＴ企業が、ここ数年で、それぞれリリースしています。＜オープンAI（社）の・・・ＣｈａｔＧＰＴ＞の登場以後は、さらに動きが加速しています」「うーん…」支折が… 《大規模言語モデル考察》（１８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（８） …うなづいた。「それは、最近のニュースなどで、チラホラ聞こえて来るわねえ。私達も、まさに、そうした時代の、渦中にあるという事ですね？」「そうです…」高杉が、“参考文献” を取り上げた。「さて… 《大規模言語モデル考察》（１９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（９）＜● この、ＡＩの仕組み・・・ＬＬＭ／大規模言語モデル・・・＞は、ある意味で、シンプルだと言います。　＜ＬＬＭ／大規模言語モデル＞は・・・まず、あらかじめ、膨大なテキストを取り込むのです。そして、そこから、知識を学習して・・・《大規模言語モデル考察》（２０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１０）・・・ニューラルネットワークの中に、蓄えるわけです。この知識を利用して、言語に関する様々なタスクを解きます。特に・・・＜ＧＰＴ＞の場合は、利用者が入力文の形式を変えるだけで、幅広いタスクをこなせる様です。　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）
７月　　１９日	《大規模言語モデル考察》（２１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１１）＜ＣｈａｔＧＰＴ＞に、どんな文章を入力するのが、効果的かを指南する書籍も、数多く出版されている・・・　 …と、いう事ですねえ、」「はい…」茜が、うなづいた。「ええ… ＜ＧＰＴを・・・ベースにした、システム・・・＞も … 《大規模言語モデル考察》（２２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１２） …リリースされています。＜大量の医学論文を学習した・・・大規模言語モデルの・・・ＢｉｏＧＰＴ＞や、＜日常会話で使う・・・普通の言葉を・・・プログラムの、ソースコードに変換する・・・Ｃｏｄｅｘ＞ …など、ですね。さらに… 《大規模言語モデル考察》（２３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１３）今年／２０２３年７月には… ＜ＣｈａｔＧＰＴの・・・有料版＞に、＜ＣｏｄｅＩｎｔｅｒｐｒｅｔｅｒ＞という、新機能が追加されたと、言っています。この機能は、＜表形式の・・・数値データの入ったファイルを・・・入力＞して、調べたい項目を… 《大規模言語モデル考察》（２４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１４） …普通の言葉で、入力するものです。これだけで… “データ解析のための・・・プログラムを生成し・・・自動で、統計解析をしてくれる” と、いうものですね」「うーん…」支折が言った。「＜表形式の・・・数値データファイル＞を、入れて… 《大規模言語モデル考察》（２５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*ヒューマノイド・ロボット　　　（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１５） …置くわけですね。後は、普通の言葉で質問すれば、いいわけですか。これが、ええと… ＜日常会話で使う、普通の言葉を・・・プログラムの、ソースコードに変換する・・・Ｃｏｄｅｘ＞ …なのですね？」「はい…」茜が… 《大規模言語モデル考察》（２６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１６） …うなづいた。「こうした、現状というのは… ＜★ このＡＩ／・・・大規模言語モデルが・・・単なる、便利な、お喋り（おしゃべり）アシスタント・・・＞の領域を、超えている、という事です。”言葉そのものを・・・本質的に理解している様な・・・印象・・・” と、いう事ですわ」「そうよねえ…」支折が…
７月　　２０日	《大規模言語モデル考察》（２７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１７） …頭を傾げた。「でも… “いきなり・・・テキストから・・・知識を学習する” と、言われても、＜ＬＬＭ／大規模言語モデル＞の内部で、何をしているのかは、いまいち、ピンと来ないわねえ…」「そうですね…」茜が、小さく… 《大規模言語モデル考察》（２８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１８） …うなづいた。「＜このＡＩ／・・・大規模言語モデル＞のことを、知ろうとすればするほど、まるで雲をつかもうとしている様な、感覚になります。一体、＜大規模言語モデル＞では、言語を、どの様に把握しているのでしょうか。《大規模言語モデル考察》（２９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１９）ええと… この、”参考文献” の中の、論文記事／『■ 大規模言語モデルとは何か』では、この疑問を、真正面から取り上げています。＜大規模言語モデル＞を、理解する上で、キーワードとなるのが… ＜１／★ 分散表現・・・単語の意味を・・・ベクトルで表す＞と… 《大規模言語モデル考察》（３０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２０）＜２／★ Transfomer （トランスフォーマー）という・・・ニューラルネット＞ …の、２つですわ」「うーん…」支折が言った。「＜Ｔｒａｎｓｆｏｍｅｒ＞という、言葉は… これまで、何度も聞いているわねえ。意味を調べると、”何かを・・・《大規模言語モデル考察》（３１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　玩具／『トランスフォーマー』　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（２１）・・・別のものに変えるもの・・・” という、ことですよね。例えば… 変圧器（／電気回路の電圧を変える装置）や、ロボットに変形する玩具／『トランスフォーマー』などが、該当するとか。これは、＜ＡＩ／・・・ニューラルネット＞なのですね。《大規模言語モデル考察》（３２）　【LLM／大規模言語モデル・・・とは？】（２２）うーん… ＜★ 単語の意味を・・・ベクトルで表す・・・分散表現＞とは、どういうもの、かしら？」「はい…」茜が、うなづき、スクリーンボードに、目を投げた。「そもそも… コンピューターで、単語の意味をとらえるには、＜★ 複数の・・・
７月　　２１日　　　　　　　　　　海の日	《大規模言語モデル考察》（３３）　　　【LLM／大規模言語モデル・・・とは？】（２３）・・・数値からなる・・・ベクトルで意味を表す・・・分散表現＞が、適しているのです。つまり、ボードに書いてある様に… 　　＜ＬＬＭ／大規模言語モデル＞　　　　＝　　＜ベクトルで、単語の意味を表す・・・分散表現＞　　　　＋　　＜広く、深く・・・データの特徴を学ぶ・・・Ｔｒａｎｓｆｏｍｅｒ＞《大規模言語モデル考察》（３４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２４） …が、中核になる、という事ですね。そして… ＜このＡＩ／・・・大規模言語モデル＞は、言語や自然現象の複雑なシステムを、＜丸ごと受け止められる点で・・・ヒトの脳と、よく似た情報処理・・・＞を… 《大規模言語モデル考察》（３５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２５） …行っている、という事です。さあ… そこで、まず… ＜単語の意味を、ベクトルで表す・・・★ 分散表現＞について、説明して行きましょうか。＜広く、深く、データの特徴を学ぶ・・・★ Ｔｒａｎｓｆｏｍｅｒ＞については、その後で、考察します。とりあえず… ＜分散表現＞という言葉を、ネットで調べてみました。以下のような、説明になっています… 　＜分散表現＞単語の意味を・・・低次元の実数値ベクトルで・・・表現する手法分散表現とは、単語の意味を低次元の実数値ベクトルで表現する手法です。これにより、単語同士の距離や位置関係から意味を捉えることが可能になります。具体的には、単語を ”少ない数の・・・要素で構成された・・・ベクトルに変換” し、これを用いて、単語の様々な側面を表現します。分散表現は、単語埋め込み（Word Embedding）とも呼ばれ、自然言語処理の分野で広く利用されています。　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）　 …というものですが、どうも、素人にはチンプンカンプンですね。ともかく… ここは、”参考文献” に沿って、説明して行きましょうか」「はい…」支折が… 《大規模言語モデル考察》（３６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２６） …うなづいた。「ベクトルは、“力と方向の・・・矢印” よねえ。それだけで、単語が表されるのかしら？」「はい…」茜が言った。「ええと… そもそも… ”単語が並んだ、文字列データである・・・文章” を、なぜ、”ベクトルの・・・数値データ” に… 《大規模言語モデル考察》（３７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*タンパク質の構造　　　（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２７） …変換する必要があるかですね、」「そうですね…」アンが、口を開いた。「もちろん、それは、＜分散表現＞のためですが… 「“参考文献” の… ４番目の論文記事／『■ タンパク質を語る言語』は、タンパク質のアミノ酸配列を、言語に見立てて、＜大規模言語モデル＞に… 《大規模言語モデル考察》（３８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２８） …学習させ、立体構造や機能予測に役立てる研究が、進んでいると言うものです。＜ＤＮＡ／・・・ＤＮＡ言語＞は… ご存知の様に、二重らせん構造を持ち、Ａ（アデニン）、Ｔ（チミン）、Ｇ（グアニン）、Ｃ（シトシン）の、４種類の塩基が並んだ…
７月　　２２日	《大規模言語モデル考察》（３９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *タンパク質の構造　　　（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２９） …塩基配列によって、遺伝情報が記録されています。複製される時に… ２重鎖は、１本鎖になるわけですが、この１本鎖が文章構造と似ている、と言う事ですね。でも、ＤＮＡ言語の解明はこれからですわ。これが読めるなら… 《大規模言語モデル考察》（４０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（３０） …機械学習やニューラルネットの、苦労も無いわけです。そして、私達／生命体の内部では、まさにそれが、実行されているのです。ええ… ノーベル化学賞を受賞したハサビスの… ＜ AlphaFold２（アルファフォールド２）＞では、そのタンパク質／・・・ＤＮＡ（言語）解明の、端緒に着いたという事… 《大規模言語モデル考察》（４１）　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）　　　 ◆ グーグル・デーブマインド　　　　　　　　　デミス・ハサビス* 【LLM／大規模言語モデル・・・とは？】（３１） …でしょうか。この、＜ AlphaFold２＞の背後には、膨大なタンパク質研究の蓄積／基盤があるわけです。ええと、つまり… ＜１本鎖・ＤＮＡという、１本の文章／・・・ＤＮＡ・２重螺旋（らせん）言語＞を、アッサリと、理解できるなら、何も＜ベクトル表示の・・・分散表現＞に… 《大規模言語モデル考察》（４２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（３２） …変換するコトもないのです。身の回りに溢れる、生命体／細胞／ＤＮＡ言語は、それをアッサリとクリアしているのですから」「はい、アン…」茜が、うなづいた。「有難うございます… ＜分散表現＞や、＜Transfomer＞ … 《大規模言語モデル考察》（４３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（３３） …を超えるシステムが、私達の身体も含め、眼前に、溢れていると言うことですね。そして、＜Transfomer＞は、ヒトの頭脳に近い情報処理能力を、展開していると言うことですね」「うーん…」支折が、髪を揺らした。「まさに… 《大規模言語モデル考察》（４４）　　　　　　*マンハッタン計画で製造された、原子爆弾。　　『リトルボーイ』上　　、『ファットマン』下　　　（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（３４）＜ＡＩ／・・・人工知能が・・・育てられている＞と、言うことですね。そして… それが、かつての… ＜★ 原爆製造の・・・マンハッタン計画／・・・核戦略時代の開闢（かいびゃく）＞の様に、＜★ 人類文明にとって・・・非常に有害であり・・・必要性のない・・・危険なモノ！＞に、なるかも知れない…
７月　　２３日	《大規模言語モデル考察》（４５）　　【LLM／大規模言語モデル・・・とは？】（３５） …ワケですかあ、」「そうですねえ…」高杉が、頭の後ろに、手を当てた。「人間が、幸福に生きるには… ＜人間サイズ／・・・人間原理のサイズが・・・最適だ！＞と、言うコトです。いわゆる… ＜= 神 =＞は、人類文明社会に… 《大規模言語モデル考察》（４６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（３６） …そして人々に、そういう＜敬虔（けいけん／・・・親や、神々に対する深い愛や尊敬、忠誠心を表す言葉。西洋では、古代ギリシャ以降、徳目の一つとされ、キリスト教においては信心を表す用語として認識されています。また、「敬虔な気持ち」とは、人や物事を大切にし、心から尊敬している状態を指します。）な生き方／生活を・・・推奨＞して来た、わけです。むろん… 現在も、宗教は、一定の勢力を持っているわけですが、科学技術が優勢ですね。ちなみに、人間の好奇心が… 《大規模言語モデル考察》（４７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（３７）この世界／この世を… ＜物の領域と、心の領域の・・・２つに分割＞し…また、＜天動説＞から＜地動説＞に、大転換して… ＜文明の第１ステージ／・・・農耕・文明の曙の時代・・・＞から、＜文明の第２ステージ／・・・エネルギー　・産業革命の時代＞を、創出して来たわけです。ところが、今／現在… ＜人類文明は・・・複数の面で・・・壮大な壁・・・＞に… 《大規模言語モデル考察》（４８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（３８） …ブチ当たりはじめ、にわかに立ち往生している様相ですねえ。物理科学に、限って言えば… ＜物理学の・・・２本柱／・・・交わることのない、２本のレール・・・＞、すなわち、【一般相対性理論】と、【量子力学／・・・標準モデル】が、一頓挫（いちとんざ／・・・物事の進行・進展が、中途で一時、くじけること。）、している様相ですね。これは… 具体的な、分かりやすい例を言えば、＜暗黒物質が・・・《大規模言語モデル考察》（４９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（３９）・・・依然として、特定できない・・・＞という事です。代表的な、＜ＷＩＭＰ（Weakly interacting massive particle（ＷＩＭＰ・・・弱く相互作用する大質量粒子）とは、暗黒物質の候補の1つ。仮説上の粒子。）＞も、＜アクシオン（／暗黒物質の、有力な候補の１つ。理論上の素粒子。アクシオンは、太陽内部で生成される可能性があり、暗黒物質問題を解決するだけでなく、強い相互作用に関する深刻な問題も解決することが期待されている。）＞も、“空振り” が、続いていますねえ。”三振” も、視野に入って来ています。ここら辺りで… 綻び（ほころび）が、始まっている様相ですね。物理学は、現代社会の大きな基盤ですが、この２本柱が、揺れだしています。現代物理学で… ＜暗黒物質が・・・補足できない・・・大問題・・・＞は、２０世紀初頭において… 《大規模言語モデル考察》（５０）　　　　　　　　　　　　　　　　　　　宙を形成する、謎の超物質　「暗黒物質 (ダークマター) 」　とは？　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４０） …ケルビン卿（／絶対温度の概念を確立した人物で、絶対温度の単位「ケルビン（K）」、はケルビン卿の名前から取られています。）が指摘した、“黒体輻射の問題” と、“マイケルソン=モーレーの実験の問題” に、相当して来るのかも知れません。つまり、当時… それは、現実には、壮大な、ピント外れ、であり… 【一般相対性理論】と【量子力学】の、パラダイム…
７月　　２４日	《大規模言語モデル考察》（５１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４１） …シフトの大津波が、科学技術文明をリードして来た様に…です」「＜ＡＩ開発＞も…」支折が言った。「その、＜壮大な壁の・・・１つ＞と、いう事でしょうか？」「うーむ…」高杉が、頭を傾げた。「まあ、望洋（ぼうよう／あまりに、広々としているために、見当のつかないさま）としていますが、… 《大規模言語モデル考察》（５２）　　　　【LLM／大規模言語モデル・・・とは？】（４２） … ＜別のトラブルを・・・惹起（じゃっき／事件や問題を、ひきおこすこと。）＞しているということで、その壁を、感じます。＜基盤モデル＞を、開発している… ＜泰地真弘人（たいじ・まこと）さん＞が、言っていましたが、科学的・好奇心という意味では、必然の流れなのでしょう。だから… 《大規模言語モデル考察》（５３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*泰地真弘人（たいじ・まこと）氏*　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４３） …＜基盤モデル＞も、仮に、泰地さんが開発をストップしたとしても、誰かがそれをやり、結局、流れはそっちの方へ行くだけです。しかし… ＜原爆開発の・・・マンハッタン計画＞も、そうでしたが、その開発が、＜人類文明社会にとって・・・《大規模言語モデル考察》（５４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４４）・・・過ぎたる物／・・・扱いきれない不用物／・・・文明社会を破滅させるモノ・・・＞に、なりはしないか、という事ですねえ。まあ… ＜ＡＩ開発＞そのものは、既存パラダイムの中にあるモノです。しかし、現在、＜中東の火薬庫・・・《大規模言語モデル考察》（５５）　　　　『バベルの塔・・・旧約聖書／創世記中に登場する巨大な塔』　神の逆鱗に触れた。　＜ＡＩ＞もか？（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４５）・・・イスラエルが大暴走・・・＞している様に、これも、＜新たな・・・火種／巨大な人類文明の壁／・・・大難題・・・＞の１つに、カウントできるもの…でしょう」厨川アンが、無言でうなづいた。「ええ…」茜が、頭に… 《大規模言語モデル考察》（５６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４６） …手を当てた。「＜分散表現＞に、話を戻しましょう… 何故… ＜単語を、ベクトルで表す・・・分散表現＞に、するのかという事ですね。肝心な問題です。ええ… ＜★ ＡＩによる・・・チャット＞を… 創出するに当たって、コンピューター・プログラムで、色々と、試してみたわけです。
７月　　２５日	《大規模言語モデル考察》（５７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４７）＜チャット・プログラムを作る・・・＞には、どうしたら良いか？これまで… どんな事が試されて来てたのか。そして、どの様に、＜★ ＡＩエージェントが・・・視界に入って来た＞のか、です」「はい…」支折が、神妙に、うなづいた。「ええ…」茜が… 《大規模言語モデル考察》（５８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４８） …スクリーンボードの画像を、拡大した。「ます… ① 人の会話パターンを、全てプログラムに書き込む方法これは… １番素朴な方法で、人が言いそうな言葉を、全て、コンピューターに登録して置く方法ですね。… 《大規模言語モデル考察》（５９）【LLM／大規模言語モデル・・・とは？】（４９） …でも、これは、あまり賢くない方法で、ともかく膨大な作業になります。 ② 文法などのルールを、プログラムに書き込む方法これは… ① よりも、はるかに、多くの会話を生成できそうですが、入力された内容に応じて、何を言う… 《大規模言語モデル考察》（６０）　【LLM／大規模言語モデル・・・とは？】（５０） …かを、プログラムに、書き込んで置く必要があります。ここでは… ＜対話や、翻訳・・・質問の応答＞など、言語を使った問題を、コンピューターに解かせる、＜自然言語処理という・・・研究分野が勃興（ぼっこう／にわかに勢力を得て盛んになること。）＞していますわ。でも、これらを、全て記述しようとすると、プログラムの量は膨大になり、やはり、人力で頑張る事に… 《大規模言語モデル考察》（６１）　　　【LLM／大規模言語モデル・・・とは？】（５１） …なります ③ 質問と、答えの・・・相関関係を学ばせる方法これは… 世の中にある、大量の質問と回答の例を集め、質問に対する答え方を、自力でコンピューターに、学ばせる方法です。これは、＜★ 機械学習の用語で・・・《大規模言語モデル考察》（６２）　【LLM／大規模言語モデル・・・とは？】（５２）・・・教師あり学習＞と、呼ばれる方法ですね。最も、分かりやすい例は、“翻訳” ですわ。日本語の文章と、それに対応する英語の文章の組を、たくさん、覚えさせます。そして、日本語の単語が、英語のどの単語に、翻訳されやすい…
７月　　２６日	《大規模言語モデル考察》（６３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（５３） …かを、学ばせます。＜日本語と英語の・・・文字列の相関関係を・・・統計的に学ぶ＞ことに、なるわけですね。＜質問応答＞についても… ＜質問文と・・・回答文の・・・セット＞があれ、同じ手法が使えるわけです」「うーん…」支折が、頭のテッペンに… 《大規模言語モデル考察》（６４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　自作で、機械学習モデル・AIの使い方を学ぶ　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（５４） …手を当てた。「それが、＜機械学習 = machine learning＞ですかあ…」「そうです…」茜が言った。「＜★ 機械学習の用語で・・・教師ありの学習・・・＞に、分類されますわ。こうした、統計的手法は… コンピューターの性能が上がり、電子化された… 《大規模言語モデル考察》（６５）　　　　　　　　　　　　　　　　　　　　　　　　　　　自然言語処理 = natural language processing　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（５５） …テキス・トデータが大量に集まる様になった、１９９０年代から、盛んに＜自然言語処理 = natural language processing＞で、使われる様になりました。特に… 翻訳にこれを用いた、＜統計的・機械翻訳＞は、グーグルの翻訳サービスで２０１６年まで、使われていた… 《大規模言語モデル考察》（６６）　【LLM／大規模言語モデル・・・とは？】（５６） …様ですね」「うーん…」支折が、肩を傾げた。「私も、お世話になった翻訳よねえ…」「そうですね…」茜が、唇に微笑を浮かべた。「様々なシチュエーション（situation／状況。場面。／境遇、局面。）で、お世話になった人は、多いはずです」支折が… 《大規模言語モデル考察》（６７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　機械学習　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（５７） …笑って、口に手をやった。「ただし…」茜が言った。「＜★ 機械学習 = machine learning＞は… ＜★ 学習前に・・・具体的なタスクを１つ決めて・・・その正答率を最大にできる様に・・・コンピューターを学習させるのが・・・基本・・・＞です。そのため… 《大規模言語モデル考察》（６８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（５８）この方法で、様々なタスクをこなす、＜チャット・プログラムを・・・作るのは、難しかった・・・＞様ですね、」「うーん…」支折が言った。「翻訳どまりですか…」「あ…」茜が言った。「それから… “文字列の・・・相関関係を・・・統計的に・・・
７月　　２７日	《大規模言語モデル考察》（６９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（５９）・・・学ぶ・・・この方法” では、＜単語が持つ・・・同義性＞が、問題になります」「＜同義性＞ですか…」支折が言った。「そうです…」茜が言った。「単語の同義性とは… 例えば、“和服” と “着物” のように、文字列上は全く異なる… 《大規模言語モデル考察》（７０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　和服／・・・男性　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（６０） …語なのに、意味が、非常に似ている事を指します。コンピューターが、こうした同義性のある表現を、全て別の言葉だとみなして、処理しようとすると、学習が効率よく進まなくなります。これを回避するには、“同義語の・・・《大規模言語モデル考察》（７１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ＡＩ・エージェント　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（６１）・・・リスト” を、あらかじめ用意する方法がありますが、結局それは、人力に頼った作業になるわけです」「うーん…」支折が、肩を傾げた。「それでは、＜ＡＩエージェント＞の方向とは、ほど遠い感じよねえ、」《大規模言語モデル考察》（７２）　　　　　　【● 数字の組で・・・言葉の意味を表す！】（１）「ええ…」茜が、スクリーンボードのコントローラーを取り上げた。「あ、ここですね… ええと… コンピューターに、独力で言語を処理させるなら、こうした “単語の・・・同義性” を、どうにか、うまく記述して、教え込みたい所ですね」《大規模言語モデル考察》（７３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（２）「はい…」支折が、うなづいた。「そうですね…」「実は…」茜が言った。「その… 土台となるアイデアが、１９５４年に発表されていました。言語学者のハリス（Zellig S.Harris）らが提唱した、『分布仮説』です。《大規模言語モデル考察》（７４）　【● 数字の組で・・・言葉の意味を表す！】（３）この『分布仮説』とは… 簡単に言うと、＜意味の・・・似ている単語は・・・文中で、似た使われ方をする＞という、いわゆる、”作業仮説” なのです。あ… ＜作業仮説（さぎょう・かせつ）＞とは… さらなる研究を行う、基盤とするために、暫定的（ざんていてき／急ごしらえ。間に合わせ。）に…
７月　　２９日	《大規模言語モデル考察》（７５）　　　　　【● 数字の組で・・・言葉の意味を表す！】（４） …受け入れられる仮説のことです。最終的には仮説自身は放棄されるとしても、仮説をたたき台として、批判に耐えうる強固な理論が生み出せることを期待して、こうした作業仮説が、受け入れられていると言います。《大規模言語モデル考察》（７６）　　　　　　分散表現では、単語をベクトル化し・・・ベクトル同士の足し算は、意味の足し算になります　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（５）ええと… ボードに表示してあるのは… 『英文の使用例を集めた・・・コーパス』から、英語の短文を大量に集めて、幾つかの単語に着目して、その周囲を調べたものす。例えば… ここにある、soda や beer といった語の… 《大規模言語モデル考察》（７７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（６） …周辺には、drink や bottle がよく登場します。car や truck の周辺には、go や drive が、よく登場します。ええ… ある単語と単語が… 文中で同時に出現する事を、＜・・・共起・・・＞と言います。この… ＜単語の・・・《大規模言語モデル考察》（７８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（７）・・・共起関係・・・＞をまとめた、この数表を、２次元平面のグラフ上に、落とし込むと、似た意味の単語が、グラフ上の近い場所に集まります…」　　　　「”参考文献” と、同一の画像がネット上で見つからないので、それに近い画像を表示します。意味は同じです。とりあえず、眺めておいてください。後で説明します…」　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）「うーん…」支折が、ボンヤリとグラフを眺めた。「そうですか…」《大規模言語モデル考察》（７９）　　　　　【● 数字の組で・・・言葉の意味を表す！】（８）「つまり…」茜が言った。「＜★ 分散表現＞では… 文中のある、単語の意味は、＜周囲に・・・どんな単語が、並んでいるかを見れば・・・分かる＞と、いう事ですわ」「ふーん…」支折が、アゴを傾げた。「言語学者というのは、こんな事も、研究しているわけですかあ…」《大規模言語モデル考察》（８０）　【● 数字の組で・・・言葉の意味を表す！】（９）「そうですね…」茜が言った。「言葉というモノの… 不思議さに気づき、本格的に解明しようとした人達がいたわけです。こうした、歴史に埋もれていたような努力が、＜チャット・プログラムの・・・創出・・・＞に際し…
７月　　３０日	《大規模言語モデル考察》（８１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（１０） …＜言葉の本質／・・・言葉の構造＞という事で、脚光をびた様ですね」「うーむ…」高杉が、ボードのグラフを眺めた。「初めて見るグラフですねえ…」「ええと…」茜が、うなづいた。「この方法なら… ＜単語の意味を・・・《大規模言語モデル考察》（８２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　共起語とは?　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（１１）・・・周囲の単語との・・・共起関係のみで表現・・・＞できますわ。 “参考文献” の表では… 縦軸に、＜beer　soda　car　truck＞をとり横軸に、＜eat　bottle　cold　drink　go　drive　run＞の、7つの単語をとっています。《大規模言語モデル考察》（８３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（１２）つまり… ここでは… ＜★ car は、７次元の（7つの単語の）ベクトル・・・（横軸の順に、）４４、２、１、２、９９、４６、１４＞で、記せばいいわけです。同じく… ＜★ Truckは、７次元のベクトル･･･３２、０、２、０、１０２、６７、１５＞ … 《大規模言語モデル考察》（８４）　【● 数字の組で・・・言葉の意味を表す！】（１３） …で、表せます。 car と Truck は… 字面（じづら）が違っても、似た意味を持っていることが、ベクトルの値で読み取れるわけです。このベクトルは… eat　bottle　cold　drink　go　drive　run の、7つの単語との関係性に… 《大規模言語モデル考察》（８５）　【● 数字の組で・・・言葉の意味を表す！】（１４） …よって、car や truck という、単語の意味を表現しているわけですね。つまり… ＜単語の持つ意味が・・・７次元の成分に、分散して表現・・・＞されている、わけです。この事から、単語の意味をベクトルで表すことを… 《大規模言語モデル考察》（８６）　【● 数字の組で・・・言葉の意味を表す！】（１５） …＜★ 分散表現＞と呼びます」「うーん…」支折が言った。「単語は、この7つでなくても、いいわけかしら？」「そうですね…」茜が言った。「複数の、ベクトルが取れればいいわけですから、そうだと思います。「”参考文献” と… 同一の画像がネット上で見つからないので、それに近いコーパスの画像を表示します。意味は同じです。＜★ beer は・・・７次元のベクトル＞ = have　new　drink　bottle　ride　speed　read の、単語からのベクトル・・・　　　　　横軸の、＜３６、１４、７２、５７、３、０、１＞で、表せます。　　＜★ wine は、７次元のベクトル＞ = ＜１０８、１４、９２、８６、０、１、２＞で表せま　　　　　す。主成分分析などの手法で、次元を圧縮すると、似た意味の語が近くに集まる・・・と　　いう事です。　　　「これはさあ…」支折が言った。「＜ベクトル／・・・力と方向の矢印＞では、ないけど… 私達には、矢印のアナロジー（Analogy／・・・ある事柄をもとにして、他の事柄について推し量ること）の方が、分かりやすいわよね？」「そうですね…」茜が、うなづいた。「でも、話を最初に戻しますが、コンピューターには、ベクトルは、この＜７次元の数値の方が・・・扱いやすい＞様ですね。私自身も、専門家ではないですので、”参考文献” 以上のことは、分かりません」「はい…」支折が、コクリとうなづいた。
７月　　３１日	《大規模言語モデル考察》（８７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　兄という単語の意味・・・　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（１６） “参考文献” には、これ以上の、詳しい説明はありません。要するに… ＜分散表現＞を使えば、“和服” や “着物” といった、単語の文字列の並びとは独立して、＜単語の意味を・・・数値で表現＞できるわけですわ。《大規模言語モデル考察》（８８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　共起語とは?　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（１７）コンピューターに… 単語や、文章の持つ意味を扱わせるなら、文字列に縛（しば）られずに、意味をそのまま扱える、”ベクトル形式” の方が、適していると言います」「ふーむ…」高杉が、うなづいた。「そういう事ですか… 《大規模言語モデル考察》（８９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜ＬＬＭ／大規模言語モデル＞　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（１８）＜ＬＬＭ／大規模言語モデル＞では、この＜分散表現＞が、取り入れられている、というわけですね？」「はい…」茜が、うなづいた。「そうです！」【● 単語の意味を・・・足し算・引き算する】　（１）　茜が、ノートパソコンから目を上げた。… 《大規模言語モデル考察》（９０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　『Word２Vec 』　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（２） …そして、スクリーンボードのコントローラーを取り、モザイク画像の１つを拡大した。「ええ…」茜が言った。「話を、進めましょう… ２０１３年に… グーグルのミコロフ（Tomas Mikolov）らが、発表した… 『 Word２Vec 』は… 《大規模言語モデル考察》（９１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（３） …ニューラルネット（／機械学習の一種）を用いて、＜単語の意味の・・・分散表現を、生成するシステム＞です。先ほどの… ７次元ベクトルの例では、＜個々の単語の、共起関係を・・・1個づつ調べて・・・数表の形に整理・・・＞したものですね。一方… 　　　　「イチロー」 - 「野球」 + 「サッカー」 = 「ロナウド」　　　　　　（／ネットより画像借用）《大規模言語モデル考察》（９２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（４）『 Word２Vec 』の場合は… ＜１度に、様々な単語のベクトルを・・・まとめて生成＞できるシステムです。こちらの方は、別の方法で、”単語の・・・共起関係” を、学び取ります。　訓練用のテキストから・・・数単語のフレーズを・・・ランダムに抜き出し・・・前後の単語から・・・
８月　　１日	《大規模言語モデル考察》（９３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（５）･･･真ん中の単語が何かを当てる・・・単語当てクイズ・・・＞を、くり返すものです」「ふーむ…」高杉が言った。「＜単語当てクイズ＞という言葉は… ＜ＡＩ関係＞の文章で、何度も見かけています。＜単語の意味を・・・《大規模言語モデル考察》（９４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 [AI・機械学習の数学]　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（６）・・・分散表現の・・・ベクトルで生成するため・・・＞に、やるのですか」「でも…」支折が、髪を揺らした。「まだ、なんとなく、シックリとしなわねえ…」「はい…」茜が、うなづいた。「それは、私達がまだ、こうした世界に、馴染んで… 《大規模言語モデル考察》（９５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（７） …いないからだと思います。ええと… ＜単語当てクイズ＞の、正答率が、上がるように… 『 Word２Vec』は、＜前後の単語に、割り当てたベクトルを・・・初期値から、少しづつ変化・・・＞させて、行きます。そして、＜単語当てクイズ＞が… 《大規模言語モデル考察》（９６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（８） …得意になった頃には、それらの＜ベクトルが・・・各単語の意味を・・・うまく表したもの！＞に、なっている、という事ですわ」「ふーむ…」高杉が、うなった。「その、＜ベクトルが・・・エキス／意味・・・＞と、なるわけ… 《大規模言語モデル考察》（９７）　　　　　　　　　　　　　　　　一面のラベンダー畑！　「富良野・美瑛ノロッコ号」で北海道の夏の絶景　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（９） …ですか、」「うーん…」支折が、頭を傾げた。「ラベンダーのエキスを、抽出したのを思い出すわねえ… 北海道／美瑛町（びえいちょう）で作った、ラベンダーのエッセンシャル・オイルは、今も、机の隅に置いてあるけど、」《大規模言語モデル考察》（９８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１０）「ほほ…」アンが、口に手を当てた。「あの時の… 去年、一緒に北海道へ行った時の…エッセンシャル・オイルですか？」「ええ…」支折が、生真面目（きまじめ）に、うなづいた。「その、アナロジー（analogy／類推。類似。）です…」「うーん…」アンが…
８月　　２日	《大規模言語モデル考察》（９９）　　　　　　　　　　　　　　　　　　　　　　　ラベンダー／水蒸気蒸留・・・エッセンシャル・オイルの精製　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１１） …肩を傾げた。「エッセンシャル・オイルですか…」「さあ…」茜が、顔を崩しながら言った。「ええと… この… ＜クイズ当ての・・・問題・回答は・・・全て訓練用テキストの中に入っている＞ので、『 Word２Vec 』の… 《大規模言語モデル考察》（１００）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１２） …＜機械学習の方法は・・・教師なし学習＞と、呼ばれます。これは… ＜★ 質問・回答がセットの・・・統計的・機械翻訳の方法・・・教師あり学習＞と、対比したものですね」「うーん…」支折が、唇をつまんだ。… 《大規模言語モデル考察》（１０１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１３） …「＜★ 問題・回答は・・・訓練用テキストの中に存在し・・・教師がいないから・・・教師なし学習＞ですか…？そして… ＜★ 質問・回答がセットになった・・・機械翻訳は・・・教師あり学習＞と、いう事ですか」《大規模言語モデル考察》（１０２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１４）「そうですね…」茜が、ノートパソコンに目を流した。「話を進めます… ええと… 『 Word２Vec 』のシステムでは、＜単語の意味を・・・足し算・引き算できるコト・・・＞で、大きな話題になった様ですね」《大規模言語モデル考察》（１０３）　　　　　　　【● 単語の意味を・・・足し算・引き算する】　（１５）「うむ…」高杉が言った。「そんな事を、言っていましたねえ… 私は、何となく、聞き流していましたが…」「そうですね…」茜が、小さくうなづいた。「＜ＡＩ開発＞のことは、大概そうでしたね… 今、それを、復習しているわけです。放置できない、という事で。あ、ええと… 『 Word２Vec 』で… 出力した、＜・・・単語のベクトル・・・＞を、使うと… 《大規模言語モデル考察》（１０４）　　【● 単語の意味を・・・足し算・引き算する】　（１６） …”興味深い・・・計算” が、成り立つ様ですね。 ①　「Paris」－「France」＋「Japan」 = 「Tokyo」 ②　「Sushi」－「Japan」＋「USA」 = 「Pizza」 …と、なる様です。これは、おかしな数式です。《大規模言語モデル考察》（１０５）　　　【● 単語の意味を・・・足し算・引き算する】　（１７）でも、２つとも、”直感的には・・・納得いく式／計算結果結果” なのでは、ないでしょうか？これらの… ＜単語の・・・分散表現・・・＞には… 「Paris」が、「フランス・首都・大都市」といった単語と、＜共起＞しやすい… 《大規模言語モデル考察》（１０６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　フランス／パリ／凱旋門　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１８） …わけですね。「Tokyo」は、「日本・首都・大都市」といった単語と、＜共起＞しやすいわけです。「Paris」や「Tokyo」には、そもそも、＜こうした情報が・・・含まれている！＞と、いう事です。それが、“字面（じづら）” … 《大規模言語モデル考察》（１０７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　日本／東京／スカイツリー　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１９） …ではない “ベクトル表示” で、＜顕在化＞して来る、様ですわ。そのため… ＜それ等の情報／ベクトルが・・・足し算・引き算される・・・＞ことで、＜意味の・・・足し算・引き算が・・・可能・・・＞に、なる様です」　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）
８月　　３日	《大規模言語モデル考察》（１０８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜ベクトル／・・・力と方向の矢印＞　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（２０）「うーん…」支折が、髪を揺らした。「＜ベクトル／= 力・方向の矢印＞だから、それが可能になるのかしら？新しい概念よねえ、」「そうですね…」茜が言った。「ともかく、しばらく、眺めてみましょう… 《大規模言語モデル考察》（１０９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（２１）ええと… 『 Word２Vec 』は… 単体では、＜分散表現の・・・ベクトルを生成＞する、だけですが… 『 Word２Vec 』の後に、他のニューラルネットを接続して、＜教師ありの・・・機械学習＞を行うと、様々な言語処理… 《大規模言語モデル考察》（１１０）　　　　　【● 単語の意味を・・・足し算・引き算する】　（２２） …に、用いる事ができる様ですね。『 Word２Vec 』／ニューラルネットは… ＜学習の過程で・・・内部にある無数のニューロンの重み付け（パラメーター）を・・・少しづつ変化・・・＞させて行きますが、この際に、『 Word２Vec 』が… 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）《大規模言語モデル考察》（１１１）　　【● 単語の意味を・・・足し算・引き算する】　（２３） …生成した、＜単語の・・・ベクトルの数値も・・・更新＞されます。ええ… 質問応答や文章分類など、タスクに応じて、＜単語の・・・分散表現＞が、微調整される様ですね。ええと… ＜分散表現＞を、ニューラルネットと… 《大規模言語モデル考察》（１１２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（２４） …組み合わせることで、タスクの正答率を、高められる様になった、という事ですわ」「ふーむ…」高杉が、頭の後ろに手を当てた。「まあ… ようやく、＜分散表現の・・・大草原の片隅・・・＞に、足を踏み入れた感じですねえ。《大規模言語モデル考察》（１１３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜● LLM／大規模言語モデル＞　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（２５）＜● ＡＩ／大規模言語モデル＞は… この＜★ 分散表現＞と、＜★ Transfomer という・・・ニューラルネット＞が、中核なのですね？」「そうですね…」茜が、うなづいた。「では… 次に、その＜Transfomerの・・・考察＞に、移りましょうか…」
８月　　４日	《大規模言語モデル考察》（１１４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　玩具／『トランスフォーマー』　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer】　（１）　「さあ…」茜が、スクリーンボードの画像を切り替えた。「いよいよ、＜Transfomer＞ですね… 改めて、言いますが… ＜★Transfomer というのは・・・ニューラルネット／= 人間の脳の神経回路を模した・・・数理モデルであり・・・《大規模言語モデル考察》（１１５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ニューラルネットワークとは・・・　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２）・・・機械学習や、深層学習の、基盤となる技術・・・＞ですね。ええ、その前に… 少し、まとめをして、置きましょうか。　　 ◆ コンピューターで、単語の意味を捉えるには・・・　　複数の数値からなる、ベクトルで意味を表す・・・《大規模言語モデル考察》（１１６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３）　　・・・＜★ 分散表現＞が、適している、という事です。 ◆ ＜★ 分散表現＞と、＜★ Transfomer／= 広く深く、データの特徴を学ぶ・・・　　ニューラルネット＞の、組み合わせで、＜● 大規模言語モデル＞が、生まれた、　　という事ですね。《大規模言語モデル考察》（１１７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（４）そして・・・ ◆ ＜● ＡＩ／・・・大規模言語モデル＞は・・・　　言語や自然現象の、複雑なシステムを、まるごと受け止められる点で、＜★ ヒトの脳と・・・よく似た情報処理＞を、行っている。　　 …と、いう事です」《大規模言語モデル考察》（１１８）　　　【● 広く、深く学ぶ・・・Transfomer 】　（５）「その…」高杉が言った。「＜● ＡＩ／大規模言語モデル＞が、急速に、研究開発が、加速している、という事ですねえ、」「はい…」茜が、うなづいた。「そうです… ええと… また少し、まとめをして、置きましょう。これは、*＜・・・警鐘！！・・・＞* です。《大規模言語モデル考察》（１１９）　　　　　　マンハッタン計画で製造された、原子爆弾。　　『リトルボーイ』上　　、『ファットマン』下　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（６）　　＜★ AI の・・・研究開発＞は・・・＜★ 人類文明にとって・・・無用な長物の・・・危険性！・・・＞が、警鐘されつつ・・・　　　＜私達の知らない所で・・・急速に・・・研究開発が加速！・・・＞しています。　当／《HomePage／人間原理空間》では・・・　　　＜★原子爆弾の開発／・・・
８月　　５日	《大規模言語モデル考察》（１２０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　マンハッタン・プロジェクト　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（７）・・・核戦略時代の開闢（かいびゃく）となった・・・マンハッタン計画＞と、＜ＡＩ開発の・・・暴走！＞を、”類似の現象／・・・状況” 、と捉えています。＜★ 原子爆弾／・・・核戦略時代・・・＞は、結局、人類文明には、何の幸福も、もた　　らさなかった、と言う事です。《大規模言語モデル考察》（１２１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（８）ひたすら、＜・・・無の長物だった！・・・＞と、いう事ですわ。ええ・・・＜★ ＡＩ／人工知能・・・ “人工の神の創出！ ” ・・・＞も・・・人類文明にとっては・・・＜★ マンハッタン計画を・・・ ”遥かに上回る危険性！ ”＞が・・・予想されます。でも、人間が持つ・・・《大規模言語モデル考察》（１２２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（９）・・・本能的な、好奇心は、それを封殺することは、困難でしょう。ならば・・・＜★ ＡＩ開発は・・・　　慎重を期して・・・戦争・覇道に、利用するのではなく・・・　　地球温暖化対策や・・・学術の探索等に・・・特化! ＞すべきだ。　　《大規模言語モデル考察》（１２３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１０） …と、いう事ですわ」「そうですね…」北原が、大きくうなづいた。「ともかく… ＜人類文明にとって・・・非常に、重大な・・・局面が到来！＞しています。まさに… ＜文明の・・・ターニングポイント！＞が、迫られている、のかも知れません。《大規模言語モデル考察》（１２４）　　　　　　　【● 広く、深く学ぶ・・・Transfomer 】　（１１）それゆえ… ＜ＡＩ分野は・・・１部の人々の独占領域・・・＞と、すべきではなく、＜★ 全人類的な・・・大課題！＞と、するべきです。私は… この意味でも、現在の、国連の管理下で… 《大規模言語モデル考察》（１２５）　　　　　　　　　　　　　　　　　　　　　　　　トランプ大統領・・・　「掘って、掘って、掘りまくれ！」　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１２）　　＜生活者／世界市民の・・・初・世界会議！＞を・・・　　開催する事を、提唱します。＜★ 生活者／世界市民が・・・誰も望んでいない・・・戦争・覇権争い・巨大飢餓が・・・世界中で拡大！＞しています。この状況を、許していていいのでしょうか！＜★ＡＩ技術＞を… 　＜戦争ゴッコや・・・　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）
８月　　６日	《大規模言語モデル考察》（１２６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜地球温暖化対策＞　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１３）・・・覇権ゴッコ＞に、移植するのではなく・・・まさに、＜地球温暖化対策や・・・人類文明の、折返し技術・・・＞に、使って欲しいですね。現在は… ＜戦争ゴッコ・覇権ゴッコ＞が、勢いを増し、＜世界大混乱・・・の兆候・・・＞が、見え始めています。《大規模言語モデル考察》（１２７）　　　　　　　　　　　　　　　　　　　　　　　　　　トランプ大統領・・・　「掘って、掘って、掘りまくれ！」　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１４）＜政治家が・・・理想を語らなく・・・＞なり、〔生活者／世界市民〕から、信用されなくなって、時間が、積み重なっています。それゆえに… “ 政治家ではない・・・不動産屋のオヤジ・・・米トランプ大統領の様な人物・・・” を、招来してしまった様です。アメリカの大統領であり、アメリカの… 《大規模言語モデル考察》（１２８）　　　　【● 広く、深く学ぶ・・・Transfomer 】　（１５） …問題ですが、アメリカは超大国の側面を持ちます。その… 超大国のアメリカが… ＜世界のパラダイム（paradigm／あるひとつの時代の人々の考え方を、根本的に支える概念。）の・・・国際法／国際秩序／国際的慣習・・・を破壊し・・・世界を大混乱・・・＞に、陥れています。《大規模言語モデル考察》（１２９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１６）＜ウクライナに・・・不埒（ふらち／・・・道理にはずれていて、けしからぬこと。）な、侵略戦争を仕掛けた・・・ロシア／プーチン大統領＞＜ガザで・・・世界が注目する中で・・・ジェノサイドを継続する・・・イスラエル／ネタニヤフ首相＞そして… ＜イランの・・・《大規模言語モデル考察》（１３０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１７）・・・地下核施設に、大型貫通爆弾／バンカーバスターＧＢＵ-５７（／・・・アメリカ空軍によって開発された、３０,０００ポンド（約１３・６トン。全長６m。の精密誘導爆弾。）を、B－２ステルス爆撃機を使用して投下し・・・ウクライナ戦争・ガザ戦争には、匙（さじ）を投げ・・・パリ協定と、ＷＨＯを脱退し・・・アメリカ自身もクラッシュさせている張本人・・・米／トランプ大統領・・・＞この、３人が… まさに、＜世界を・・・大混乱の方向・・・＞へ、引き寄せている様相ですね。《大規模言語モデル考察》（１３１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜生活者／・・・８０億の、世界市民＞　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１８）これは… ＜● 生活者／・・・８０億世界市民の、望む方向ではない！＞ …と、いう事です。この事態に、全力で、強力に、抗議するべきです。ええ… こうした、時代状況であり… ＜★ ＡＩ開発の・・・問題＞ばかりでなく、＜地球温暖化対策＞や…
８月　　７日	《大規模言語モデル考察》（１３２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ガザ　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１９） …＜世界平和・・・移民・難民・飢餓対策・・・＞のためにも… ＜生活者／世界市民の・・・初会議！＞を、開催する事を、強く、提唱します！」「はい…」茜が、うなづいた。「そうした、スタンスも踏まえ、話を進めましょう… 《大規模言語モデル考察》（１３３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ＡＩの軍事利用　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２０）でも… ＜人間の好奇心・・・学術的なＡＩの研究開発・・・それ自体＞は、＜・・・悪・・・＞と言うコトではないわけですね。ここが、まさに、＜マンハッタン計画と・・・類似・・・＞している所ですね。そして… ＜科学者達の・・・反省・大後悔も・・・ここに集中している！＞わけですね。学者は、純粋に研究開発をしますが、それが… 《大規模言語モデル考察》（１３４）　　　　　　　　　　　　　　　マンハッタン計画／最初の原爆実験　「トリニティ実験」の核爆発の様子　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２１） …政治家・軍人の手に移ると、収拾が付かなくなりますわ…」「さあ…」茜が、スクリーンボードに目を投げた。「前置きが、長くなりました… ＜★ Transfomer＞の、考察に入りましょうか。　　　　　　　　　　　　　　　＜ニューラルネット＞は… しばしば、＜ヒトの脳の・・・《大規模言語モデル考察》（１３５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２２）・・・神経回路を真似た・・・情報処理＞と、説明されています。ええ… 処理内容という、面から見れば… この技術は… ＜入力された・・・複数のデータ間に存在する・・・ ”関係性” ・・・を学びとって・・・表面的な文字列や、数字の背後にある・・・データの特徴を取り出す・・・計算手法＞《大規模言語モデル考察》（１３６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２３） …と、いう事ですね。＜単語が持つ・・・意味情報！＞を扱う上で、“非常に・・・相性の良い方法！ ” と、いう事です」「しかし…」高杉が言った。「＜ニューラルネット＞が… ＜自然言語処理（Natural Language Processing、略称／NLP = 人間が日常的に使用する言語（自然言語）をコンピュータに理解させ、処理させる技術。）＞で… 《大規模言語モデル考察》（１３７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２４） …使われるようになったのは、ここ、１０年ほどの事だと、聞いていますねえ、」「そうですね…」茜が、うなづいた。「キッカケと、なったのは… ＜★ 深層学習／・・・ディープラーニングの・・・登場！＞だった様ですね。＜深層学習＞は…
８月　　９日	《大規模言語モデル考察》（１３８）　ノーベル物理学賞にＡＩの中核「機械学習」の基礎に関わった２人。右が、ジェフリー・ヒントン　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２５） …ノーベル物理学賞を受賞した、カナダ／トロント大学のヒントン（Geoffrey Hinton。…ジョン・ホップフィールド（John Hopfield）と共に受賞。）が、２０００年代後半から、提唱していたものです。彼は、２０１２年の… 《大規模言語モデル考察》（１３９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　画像認識競技会　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２６）＜画像認識のコンテスト／ＩＬＳＶＲＣ＞で、その威力を、世界に示した様ですね。＜ＩＬＳＶＲＣ＞というのは… 画像中にある、物体の認識や、セグメンテーション（／切り出し）アルゴリズムの、性能を競うコンテストです」「ふむ…」高杉が… 《大規模言語モデル考察》（１４０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２７） …言った。「色々なものが、あるんですねえ…」「そうですね…」茜が言った。「ともかく… ＜★ 深層学習／・・・ディープラーニング＞は、入力データから、抽象的な特徴を学び取るのが得意で、その名前の通り… 《大規模言語モデル考察》（１４１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　グーグル／バスワニ（Ashish Vaswani）　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２８） …＜深い学習に・・・秀（ひい）でた・・・ニューラルネット＞だ、という事です」「ふーむ…」高杉が、うなづいた。「で…？」「あ…」茜が言った。「ええと… ２０１７年には… グーグルの、バスワニ（Ashish Vaswani）らが… 《大規模言語モデル考察》（１４２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２９）＜自然言語処理に向いた・・・　　　　　　　　深層学習のニューラルネット・・・Transfomer ＞を、発表しています。＜Transfomer＞は… 長い文章の中で、遠く離れた単語どうしの関係性を、上手（うま）く学び取ります。“深い学習” だけでなく… 《大規模言語モデル考察》（１４３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３０） …“広い学習” にも秀でた、ニューラルネットなのです。翌／２０１８年には… ＜ Transfomerを用いた・・・言語モデル＞が、あいついで登場しています。＜グーグルの・・・ＢＥＲＴ＞と、＜オープンＡＩ（社）の・・・ＧＰＴ＞ですね。ええと…
８月　　１０日	《大規模言語モデル考察》（１４４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３１）今でこそ、＜ GPT＞の方が有名ですが、最初に＜大規模言語モデルの・・・ブーム＞を引き起こしたのは、＜ BERT＞の方です。ちなみに… ＜ＢＥＲＴ = Bidirectional Encoder Representations from Transformers／＝・・・　　《大規模言語モデル考察》（１４５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３２）・・・Transfomer を使って学ぶ、エンコード表現・・・の略称＞＜ＧＰＴ = Generative Pre-trained Transformer／ = 事前訓練済みの、生成的 Transfomer ・・・の略称＞ …です。この２つの英語表現の略称自体が、＜ＢＥＲＴ＞と＜ＧＰＴ＞の特徴を、表しているのかも知れません」《大規模言語モデル考察》（１４６）　　【● 広く、深く学ぶ・・・Transfomer 】　（３３）「そうなんですか…」北原が言った。「あ…」茜が笑った。「専門家ではないので、詳しい事は言えません… さあ… いよいよ… ＜大規模言語モデルの・・・仕組みの話・・・＞に、入って行きましょう。まずは、最初にブームを引き起こした、＜ＢＥＲＴ＞の方からです。「はい…」支折が、大きくうなづいた。《大規模言語モデル考察》（１４７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３４）「＜ＢＥＲＴ＞は…」茜が言った。「まず、初めに… ネット上にある『Wikipedia』などの、大量のテキストデータを使った、＜★ 事前学習＞を行います。 “テキストの中の単語を・・・伏せて・・・それを当てる・・・単語当てクイズ” を、ひたすら、解きます」「それが…」支折が言った。「＜★ 事前学習＞なのですね?」「そうです…」茜が言った。「人間では、＜クイズ脳＞などと、揶揄（やゆ／からかうこと）されることもありますが、まさにニューラルネットが、鍛えられるわけですね。＜ BERT＞は… 単語が、うまく当てられる様に、“ニューラルネットの・・・重み付け・・・” を、変えて行きます。その過程で、“単語の・・・多面的な意味をとらえた・・・分散表現・・・” を、獲得できる様に、なって行きます」《大規模言語モデル考察》（１４８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３５）「そうかあ…」支折が、言った。「これは、＜ Word２Vecの・・・訓練＞と、似ているわねえ…」「そうです…」茜が、大きくうなづいた。「ただし、クイズの難易度が、桁違いですわ… ＜ Word２Vec＞は、“数単語の・・・フレーズの中” で、解いていました。これに対し、＜ＢＥＲＴ＞は、“複数の・・・段落を含む様な・・・長い文章の中” で、このクイズを解くのです」「ふーん…」支折が、口に手を当てた。「すごい、飛躍よねえ…」「そうですね…」茜が言った。「私達／人間が… 国語の文章問題で、空欄補充の問題を、解く場合は… “前後の段落まで見渡して・・・文脈を考慮しながら・・・適切な語句を考えようとする” …わけですね。＜ＢＥＲＴ＞が、やっているのも、基本的には、それと同じです」
８月　１１日　　　山の日	《大規模言語モデル考察》（１４９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３６）「はい…」支折が言った。「＜ BERT＞の…」茜が言った。「内部にある＜Transfomer＞は… 単語当てクイズを、解くには… “文章のどこに・・・注目すれば良いかという・・・注意の向け方・・・” を、学習するのです。その結果… 個々の単語の意味を表す、ベクトルの中には… “周囲の単語との、関係性だけでなく・・・　前後の文章や・・・段落との関係性・・・さらに、文章全体の文脈情報を・・・広く取り混ぜた情報・・・”　 …が、格納できる様になって行く、という事ですわ」「うーん…」支折が言った。「何で、こんなコトが出来るのかしら？」《大規模言語モデル考察》（１５０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３７）「確かに…」茜が言った。「そうですが… ヒトの脳も、普通にやっているコトですわ。でも、それが、驚異的であり、私達の理解を超えている所ですね。現在、逆に… ＜Transfomer＞から、ヒトの脳へのアプローチが進んでいます。ヒトの脳は理解できなくても、＜Transfomer＞は人間が組み上げたモノです。膨大な組立部品も、開発経過も、訓練まで、全てのテクノロジーが、分かっているわけですから、」「しかし…」高杉が言った。「最後に… 何故、コレが、＜脳の・・・発火（神経細胞／ニューロンが・・・電気信号を発生させる現象）＞に、結びつき、“思考・・・という、超越が、起こるのか・・・理解できない・・・” と？」《大規模言語モデル考察》（１５１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３８）「はい…」茜が、うなづいた。「その様ですね… 脳科学者も、ＡＩ科学者も、そろって、首を傾げる所です。“参考文献” の、論文記事の表題にある… 『■ オウム以上フクロウ未満？　生成ＡＩの “思考力” 』と、いうことですね。その、 “思考力の・・・発火・・・” が、”理解不能な・・・謎・・・” と、　　いうことです。ええ… 話を戻しましょう。事前学習を終えた、＜ＢＥＲＴ＞は… 文章中の全ての単語について、”どれを隠されても・・・当てられる状態・・・” になっています。これは、人間に例えれば、”文章を・・・隅から隅まで、舐（な）め尽くすように・・・読み終えた状態” です。子供の頃から… 何度も、読み込んだ本であれば… 途中のページにあるキーワードを、目に止めた時に… 　　“ 筆者は・・・こういう意味で・・・使っているのだろうな・・・” 　　“あの辺りに・・・これと関係しそうなことが・・・書いてあったな・・・” …といった、漠然としたイメージが、スッと、頭に浮かぶと、思います。つまり…
８月　　１２日	《大規模言語モデルの考察》（１５２）　　　　　　　　　　　　　　　　　　　　　　Pythonで、単語分散表現のクラスタリング - Ahogrammer　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（３９）事前学習を終えた、＜ BERT＞は… 文章中の、全ての語句に対して、こうしたイメージを、“ ☆ ベクトル形式で・・・スッと、取り出せる・・・” ように、なっているわけです。「うーん…」支折が、髪を揺らした。「＜分散表現の・・・ベクトル形式＞で、てすかあ、」「そうです…」茜が言った。「＜事前学習を終えた・・・ＢＥＲＴの内部＞では… “ 文章の意味を・・・ベクトルへ、上手く変換できるように・・・ニューラルネットの重み付け・・・” が、変化しています。つまり… ニューラルネットの中には、事前学習でテキストに含まれていた、”あらゆる単語間の・・・関係性・・・” が、獲得されているのです。《大規模言語モデルの考察》（１５３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４０）前に… ① ② ③ の、タスクを考察しましたが、覚えていますか？」「ええと…」支折が、自分のモニターを、マウスでスクロールした。「うーん…」支折が言った。「この辺りかしら…あ、ありました… ① “会話のパターンを・・・全てプログラムに書き込む” ② “文法などのルールを・・・プログラムに書き込む” ③ “質問と答えの・・・相関関係を学ばせる／・・・教師あり学習／・・・統計的機械翻　　　訳” …ですね？」「そうです…」茜が、微笑した。「丁寧に、有難うございます… ③ の、例では… タスクごとに、別の統計手法で、文意を処理する必要がありました。でも、＜大規模言語モデル＞なら、少し調整を加えるだけで、済むのです」《大規模言語モデルの考察》（１５４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４１）「ふーん…」支折が、うなづいた。「③ は、“質問と答えの・・・相関関係を学ばせる／・・・教師あり学習／・・・統計的機械翻訳” ですよね、」「はい…」茜が、うなづいた。「この ③ の… “教師あり学習の・・・教師データ・・・” となる、“例題と、答えの・・・セット” を、小数与えて… ＜ BERT＞の、出口から… ＜答えを表現する・・・ベクトルが出て来るように・・・ニューラルネットを微調整・・・＞する、だけですわ。この、微調整を、＜ファインチューニング＞と、呼ぶそうです」「ふーん…」支折が、口に拳を当てた。「＜ファインチューニング＞ですか、」「大量の…」茜が、ノートパソコンに目をやった。「テキストで学ぶ… ＜★ 共通の･･･事前学習＞と… 用途に応じた、少量の、＜ファインチューニング＞で… ＜ BERT＞は、“質問応答” や “ 文章の分類” といった、”全く種類の異なる・・・言語タスク” に、対応できる様ですね」「ふーん…」支折が、上体を後ろにそらせた。「それだけですか…」「そうです…」茜が言った。「ええと…
８月　　１３日	《大規模言語モデルの考察》（１５５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４２）この便利さが、評判になり… ＜ BERT＞を使用する、自然言語処理の研究者が、急増した様ですね。一時は、＜BERT があれば・・・何でもできる＞とさえ、言われた様です」「ふーん…」支折が言った。「でも、＜ GTP／Ｃｈａｔ GPT＞が、出てきたわけですか、」「そうです…」茜が、うなづいた。「明智光秀の… ３日天下（／明智光秀は、主君を裏切り、本能寺で織田信長を倒しました。しかし、わずか３日で、羽柴秀吉に倒された古事。）ではありませんが、＜グーグルの・・・ＢＥＲＴ＞を、たった数年で追い抜いたのが、＜オープンAI（社）の・・・ＧＰＴ＞です。ええ… この＜ＧＰＴ＞と、＜ＢＥＲＴ＞は、よく似ています。《大規模言語モデルの考察》（１５６）　　　　　　　　　　　　　　　　　　　　　　　　　　大規模言語モデル／ BERTとGPT　の学習の様子　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４３）＜最初に・・・　事前学習で、単語当てクイズを解いて・・・　単語の意味を表す、ベクトルに・・・　他の文章や、文脈の情報が・・・織り込まれて行く・・・＞ …という点では、同じだ、という事ですわ。ただ… ＜ＧＰＴ＞と＜ＢＥＲＴ＞では… ＜事前学習で解く・・・クイズの出題の方法が・・・異なっている！＞と、いう事です。＜ＢＥＲＴ＞は、＜★ 文章の途中を・・・１単語隠した、穴埋めクイズ＞を、解きます。これに対し… ＜ＧＰＴ＞は、＜★ 文章の途中から・・・後ろを全て隠して・・・次に来る単語は何かを・・・それまでの文章から・・・予測！・・・＞させる、様です。これは… いわば、＜★★ 単語生成クイズを・・・解いている！＞ことに、成るのだそうです」《大規模言語モデルの考察》（１５７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４４）「うーん…」支折が、頭を揺らした。「それは、確かに、相当に違うわねえ…」「こうした…」茜が言った。「＜★ ＧＰＴの・・・事前学習の、やり方＞は… 後で、実際にクイズを解く時に、大きな意味を持って来る、と言います。＜ＧＰＴ＞にとっては… ＜○○という英語を・・・和訳して＞という、翻訳タスクも… ＜日本初の・・・ノーベル賞受賞者は？＞という、質問応答タスクも… 全て、＜★★ 単語生成クイズの・・・１種＞と、みなせるからです。＜BERT＞では… ＜事前学習後に・・・改めて・・・回答方法を学ぶ必要！＞が、あります。
８月　　１４日	《大規模言語モデルの考察》（１５８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４５）＜ＧＰＴ＞の場合は… そのままでも、ある程度のタスクをこなす事が、可能な様です。もちろん、調整を行った方が、精度は上がるという事ですね。つまり… ＜ＧＰＴ＞は、単語の意味や、文法だけにとどまらず… ＜★ タスクの解き方・・・そのものも・・・事前学習で・・・それなりに獲得している！＞と、いうことに、なる様です。「ふーん…」支折が言った。「事前学習のやり方で、そんなに違って来る、わけですか…」「そうですね…」茜が言った。「ええと… このコトに関して、“参考文献” による説明は、ここまでです。まだ、開発途上にある、という事ですね。《大規模言語モデルの考察》（１５９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４６）＜ＡＩの・・・研究開発＞は… 日進月歩で、進行している事が、予想されます！この “参考文献” は… 『日経サイエンス…2023／10』の、ものです。前に考察した、《ＡＩの・・・考察》は、『日経サイエンス…2024／02』の、ものですね。いずれも… だいぶ前のものになりますが、開発の経過／基礎を整理するという事で、古い資料を使用して来ました。ええ… そういうわけで、現状は相当に、進んでいるものと思われます。２０２５年度の末頃までには、理化学研究所／泰地真弘人さんのグループの、＜基盤モデルの・・・試験版＞も、リリースされる様です。あ、これは、早ければ、という事ですが… 《大規模言語モデルの考察》（１６０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４７）さあ… 話を、簡単に、まとめて置きましょうか。＜● 大規模言語モデル＞は… ＜★ 単語の分散表現＞と、＜★ Transfomer＞の、組み合わせで、誕生したという事ですね。そして… ＜この・・・ＡＩ＞は… ＜言語や自然現象の・・・複雑なシステム＞を、まるごと、受け止められる点で、＜ヒトの脳と・・・よく似た情報処理＞を、行っている、という事です。それから… ＜大規模言語モデルの・・・コア技術／Transfomer＞は、＜脳／海馬の・・・数理モデルと・・・対応関係＞が、あるようです。脳を理解する、ヒントになる、可能性がある、という事ですね」「はい…」支折が、コクリとうなづいた。
８月　　１５日	《大規模言語モデルの考察》（１６１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ジェフリー・ヒントン（Geoffrey Everest Hinton）　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４８）「他に…」茜が、みんなを見回した。「何か、質問はあるでしょうか？」「ヒントンは…」北原が、頭の上に手を置いた。「ノーベル物理学賞を受賞したわけでが… ＜深層学習／・・・ディープラーニング＞を、研究していたわけですね。それと、＜Transfomer＞は、どう結びついて、いるのでしょうか？」「はい…」茜が、うなづいた。「確かに… その辺りは、説明が不足していたかも知れません,ね。ええと… ジェフリー・ヒントン（Geoffrey Everest Hinton）は、イギリス生まれの、コンピューター科学者であり、認知心理学（cognitive psychology ／・・・精神過程（例えば…注意、言語使用、記憶、知覚、問題解決、創造性、論理的思考など）に関する、科学的研究。）の研究者ですね。そして… ＜ニューラルネットワークの・・・研究＞をしていて、＜ＡＩ／人工知能の研究の・・・第一人者＞です。《大規模言語モデルの考察》（１６２）　　　【● 広く、深く学ぶ・・・Transfomer 】（４９）米／プリンストン大学（Princeton University）の研究者である、ホップフィールド（John J. Hopfield）と共に、2024年度の、ノーベル物理学賞を受賞しています。ええと… 受賞理由は… ＜深層学習の・・・基礎を・・・築いた業績＞と、いう事ですわ。ですから、そうした基礎の上に、＜ Transfomer＞が、登場したことになります」「それと…」北原が言った。「改めて、聞きますが… ＜深層学習／・・・ディープラーニング＞の、定義とは、どの様なものですか？」「はい…」茜が、うなづいた。「ええと、そうですね… 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）《大規模言語モデルの考察》（１６３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（５０）『ＩＴ用語集』によると… 　　＜深層学習（ディープラーニング）＞とは・・・深層学習、またはディープラーニングとは・・・人間の神経細胞の仕組みを再現した、ニューラルネットワークを用いた機械学習の手法の１つであり、多層構造のニューラルネットワークを用いることが、特徴です。現在では・・・画像認識や、音声認識、翻訳など、様々な分野で大きな成果を生み出しています。深層学習の仕組みを使って、画像認識や、音声認識などを行うには、まず、ラベル付けされたデータ（教師データ）を用いて、学習させる必要があります。例えば・・・手書きの、数字をＡＩによって認識させたいといった場合、手書きした数字の画像と、その画像に書かれた正しい数字を示したラベルをセットにした、教師データを用意し、多層構造のニューラルネットワークに入力します。この教師データを使って、自動的に学習を行い、手書き数字を認識できるようになる、という仕組みです。ただ・・・認識精度を高めるためには・・・膨大な量の学習データが必要であり、従来はそれを用意することが困難でした。しかし現在は、インターネットの普及などによって膨大なデータを用意することが可能になっています。また・・・学習には・・・膨大な計算を行う必要がありますが、これもコンピューターの進化によって、短時間で、学習できる環境を整えられるようになりました。このように、環境が整備されたことも、深層学習が、進化した大きな要因です。　　 …と、いう事ですね」「はい…」北原が、肩を傾げ、うなづいた。
８月　　１７日	《大規模言語モデルの考察》（１６４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　東北大学／乾健太郎・教授　　　（／ネットより画像借用）【● 残された疑問・・・とは？】（１）「ええ…」茜が、ユックリと、スクリーンボードを眺めた。ボードには… ＜自然言語処理＞を研究している、＜東北大学／・・・乾健太郎・教授＞の画像が、拡大されていた。「こうした…」茜が言った。「＜● 大規模言語モデルの・・・登場＞は… ＜自然言語処理の・・・研究者＞からは、どの様に見えているのでしょうか。長年にわたり、自然言語処理を研究して来た、東北大学・教授／乾健太郎さんに、聞いてみました。ここからは… インタビュー形式になります。乾さんは、この様に話しています。《大規模言語モデルの考察》（１６５）　　　　【● 残された疑問・・・とは？】（２）　「＜● 大規模言語モデル＞は・・・事前学習の段階で、言語の知識や世界の知識を、かなり獲得できていると思いますね。コンピューターに、こうした知識を獲得させるにあたって、大きな障壁となるのが、 “言語の・・・同義性” です。例えば・・・ “和服” と “着物” のような語は、見た目は違うのに、意味が似ているわけですが、＜大規模言語モデル＞は、こうした語も、上手く学習できている様です」　それは、やはり… 単語の意味を、＜分散表現の・・・ベクトルで、捉えている・・・＞からでしょうか。ええと、乾さんは、この様に、話ています。《大規模言語モデルの考察》（１６６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 残された疑問・・・とは？】（３）　「そうですね・・・実は・・・＜分散表現＞を使うと、よい言語モデルが作れるはずだという、アイデア自体は、＜ Word２Vec＞などが、出て来るよりも、ずっと前からあったんです。ただ・・・単語の多面的な意味や、ニュアンスを反映した、＜上手な・・・分散表現を作る方法＞を、コンピューターにどう教え込むか、という点が、長らく課題だったんですよ。それが、ニューラルネット、特に＜深層学習＞の登場で、変りました」　例えば、どの様な点かという事ですが、乾さんは、この様に言っていますわ。　　　「１つは・・・やはり・・・＜大きい・・・ニューラルネットを・・・使っていいんだ！！＞という、驚きですね。　　　　　　　　　　　　　　　　東北大学・教授　／乾健太郎さん　　　　　（／ネットより画像借用）
８月　　１８日	《大規模言語モデルの考察》（１６７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 残された疑問・・・とは？】（４）ニューラルネットの規模が大きくなり過ぎると、タスクの正答率が落ちるというのが、これまで、自然言語処理だけでなく、機械学習の常識でした。やたらと・・・パラメーターの数が増え過ぎると、ニューラルネットの内部で、“過学習” という状況が発生し、学習データをただ丸暗記しただけで、データの内部にある特徴を、上手く抽出できなくなるのです。。ところが、近年・・・ところが、近年・・・＜深層学習＞では、タスクの正答率が下がらないどころか、ニューラルネットを大規模化しても、むしろ、上がる事さえあるという報告が、増えています。《大規模言語モデルの考察》（１６８）　　　　【● 残された疑問・・・とは？】（５）特に＜GPT＞は・・・代を追うごとに、パラメーター数が桁違いに増えて行きましたが、それに合わせて、言語の理解度を測る、様々なベンチマークの指標も、上がっています」　これは… ＜ＧＰＴが・・・あらゆるタスクを・・・生成問題に還元できる・・・＞という事も、関係しているのでしょうか？いわゆる、事前学習の、やり方の、問題ですね。ええと、乾さんは、これに対し、この様に、言っています。　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　「直感的な、理解で言うと・・・＜ＧＰＴ＞は、個別の問題を解いているのではなく、問題文に続く最も確からしい文章を、あらゆる単語列の可能性の中から、直接決定しようとしている、とも言えます。　　　　GPT・・・即答するモデルと、時間をかけて、推論するモデルの統合　　（／ネットより画像借用）《大規模言語モデルの考察》（１６９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 残された疑問・・・とは？】（６）非常に広大な、探索空間の中から・・・正解を探す、難しいタスクを解いているわけで、だからこそ、ニューラルネットのパラメーター数や、事前学習で学ぶテキストの量を大きくする事が、性能アップにつながっているのだろうとは、思います。でも・・・これがまた、不思議なところです。これだけ大きなニューラルネットを使って、しかも広大な探索空間の中から、正解を探すなら、普通はファインチューニングの段階で、もっと、大量の教師データが必要なんです。」　ふーん…ふーん… ＜ＧＰＴ＞というのは… ”学校を・・・卒業したての新人が・・・入社第１日目で・・・あらゆる部署の仕事をこなしている・・・” …様なもの、ですね。どうして、、こんな事事が、、可能能なのでしょうか？？ええと、乾（いぬい）さんは、この様に、説明しています。
８月　　１９日	《大規模言語モデルの考察》（１７０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜ＬＬＭ／大規模言語モデル＞　　（／ネットより画像借用）【● 残された疑問・・・とは？】（７）　「何故・・・そんだ事が成り立つんだろう、という事については、理論的解明がなされていないのが、現状です。だからこそ、この＜ＡＩ＞の振る舞いを、もっと詳しく調べる必要があります。不明な点が、あるという事は・・・＜現状の・・・大規模言語モデル＞を、さらに超えたニューラルネットを、開発できる可能性があるという事です。＜ＧＰＴ＞や＜ＢＥＲＴ＞の性能の源になっている、＜Transfomer＞はすごいですが、あくまでも現時点での最高性能というだけで、理論的に、これが最高性能と示されたわけではないのです。もっと良い構造の、ニューラルネットがありうるわけです」　 …と、言っています」　　《大規模言語モデルの考察》（１７１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ＡＩ・ロボット　　　　　　　　　　　　　　　（／ネットより画像借用）【● 残された疑問・・・とは？】（８）「うーむ…」高杉が、腕組みをした。「＜ＧＰＴ＞や＜ＢＥＲＴ＞を含めた… ＜大規模言語モデル＞の振る舞いには、現状ではまだ、理解できない問題が、多くある様ですねえ。しかし… ＜人間が創ったのに・・・人間が理解できない・・・人工物！＞が、存在していると言うのは、不思議であり、納得の出来ないものです。我々は、今／現在… 『旧約聖書』にある様な、＜いわゆる・・・バベルの塔を・・・創出している・・・＞ので、しょうか。＜禁断の・・・神の領域！＞に、踏み込んで、いるのでしょうか？」「はい…」茜が、うなづいた。「現在、日本は… 《大規模言語モデルの考察》（１７２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　生命の神秘　（／ネットより画像借用）【● 残された疑問・・・とは？】（９）トランプ大統領のアメリカと、自動車の輸出関税の事で、難儀（なんぎ／苦しみ悩むこと。苦労すること。）を重ねていますが、少なくとも、“自動車と言うのは・・・よく分からないけど・・・走るんです！” と、いう様な、代物（しろもの／人や物を、価値を認めたり、あるいは卑しめたり皮肉ったりするなど、評価をまじえていう語。）ではないわけですわ。そして… “アメ車／アメリカの車” が、何故、日本で売れないかも、ハッキリと、分かっています」「でも…」支折が言った。「＜Chat GPT＞は、違うと言うわけですね… ＜著作権は・・・神にある！＞のではないか、という事かしら？＜バベルの塔の・・・ストーリー＞では、民衆は、＜神の逆鱗に・・・触れ！＞て、互いに言葉が通じなくなって、バラバラになって行くわけよねえ。＜ＡＩ／人工知能＞も、神の逆鱗に触れ、＜Transfomer＞を、破壊され、＜神話的／原型ストーリー＞に、回帰して、行くのかしら？」「ええと…」茜が、口元で微笑した。「神の逆鱗は、ともかく… 現段階では、理解できない、という事ですね。ともかく、乾さんは、この様に話しています。
８月　　２０日	《大規模言語モデルの考察》（１７３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜ＬＬＭ／大規模言語モデル＞　（／ネットより画像借用）【● 残された疑問・・・とは？】（１０）　「それは、結局・・・＜大規模言語モデル＞が、機能的に言語を処理しているからだと、思うんですよ。言語の、捉え方って、２通りあります。１つは、“演繹的” なやり方・・・文法や、単語の意味などが土台にあって・・・そこから様々な文章が生み出される・・・という考え方ですね。そして・・・もう１つは、“帰納的” なやり方・・・まずは、実際の言語の・・・使用例を丸ごと受け止めて・・・そこから、抽出できそうなルールを・・・見つけて行くわけですね。《大規模言語モデルの考察》（１７４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 残された疑問・・・とは？】（１１）そもそも・・・私達も、日頃使っている・・・自然言語というシステム自体が、まだ不明な点を多く含んでいます。＜大規模言語モデル＞の、振る舞いの全てが、解明できないというのは、言語を “帰納的” に扱っている以上、避けられない、宿命なのだと思いますね。」　 …と、いう事ですわ」「ふーむ…」高杉が、上体を傾けた。「そうですねえ… ＜大規模言語モデルに・・・不明な点が多い！＞と言うのは、結局、＜このＡＩを通じて・・・言語そのものの・・・不思議さ！！＞が、見えて来ている、ワケですねえ、」《大規模言語モデルの考察》（１７５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 残された疑問・・・とは？】（１２）「そして…」茜が言った。「別な見方を、すれば… ＜大規模言語モデル＞は… ＜言語の様な・・・複雑なシステムを・・・丸ごと受け止められる・・・ＡＩだ！＞とも、言えるわけです。文章に並んでいる、単語の背後には… 論理的な規則としては、”書き出す事が難しい・・・曖昧なルールの数々・・・” が、潜んでいる、わけですね」「ふーむ…」高杉が、口に手を当てた。「＜● このAI ／・・・大規模言語モデル＞は… ＜分散表現＞によって、”ルールの・・・かなりの部分をコピー・・・” して… あたかも、”システムを、理解している様に・・・振る舞うことができる！ ”、様ですねえ、」
８月　　２１日	《大規模言語モデルの考察》（１７６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　東北大学・教授　／乾健太郎さん　　　　（／ネットより画像借用）【● 残された疑問・・・とは？】（１３）「そうですね…」茜が、小さくうなづいた。「ええと、こうした点を、乾（いぬい）さんは、この様に話しています…」　「その観点で言うと・・・＜大規模言語モデル＞と、脳の働きには、アナロジー（analogy／類推（るいすい）または、類比（るいひ））が、あるだろうと思います。＜大規模言語モデル＞の研究によって、脳の理解も、進むかも知れません。」　 …と、言うことです」「そうですね…」厨川アンが、赤毛に手を当て、頭を傾げた。「前にも… 少し触れていますが… すでに、＜大規模言語モデル＞は、脳の解析にも、用いられ始めていますわ。… 《大規模言語モデルの考察》（１７７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　東北大学・教授　／乾健太郎さん　　（／ネットより画像借用）【● 残された疑問・・・とは？】（１４） …＜ｆＭＲＩ（磁気共鳴・機能画像・装置）＞の中で、人が解いたのと、同じ課題を、＜大規模言語モデル＞にも、解かせています。＜ニューラルネット内部の・・・ベクトル・・・＞と、脳活動を比較する研究です。＜ｆＭＲＩの・・・画像解析結果＞と、＜大規模言語モデル内部の・・・ベクトル表現＞は、うまく対応すると言う報告は、増えていますわ。もちろん… ＜大規模言語モデル＞の、仕組みが全て、脳とそっくりと言うわけではありません。＜ Transfomer＞は、グーグルの研究者が発明した、＜１つの・・・ニューラルネット構造＞に、すぎません。現／段階の… ＜BERT＞や＜ＧＰＴ＞よりも、もっと効率的な学習方法の言語モデルが、今後も、どんどん登場して来ることが、予想されます」《大規模言語モデルの考察》（１７８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 残された疑問・・・とは？】（１５）「はい…」茜が、コクリとうなづいた。「でも…」アンが、口元に、かすかな微笑を浮かべた。「どうやら… ＜私達の脳と・・・大規模言語モデルは・・・情報処理の方向性が、似ている・・・＞様ですね。それは、例えば… ＜直ぐには、理解しきれない・・・複雑な外界の情報を・・・丸ごと飲み込む！＞と、いう事です。そして、＜全てのルールを・・・理解しないうちから・・・うまく活用する！＞という、方向性ですね。私達は… 物理法則を知らなくても、体を動かすことができますし、言語の文法を、全て知らなくても、自由に言葉を操（あやつ）ることができますわ。これは、＜大規模言語モデル＞も、同じなのです。
８月　　２２日	《大規模言語モデルの考察》（１７９）【● 残された疑問・・・とは？】（１６）脳の中と違って… 私達は、＜AI の・・・内部世界・・・＞を、いくらでも、覗（のぞ）き見る事ができるわけですね。＜● 私達の脳に似たＡＩ／・・・大規模言語モデル＞は、＜私達自身を含む・・・この世／この世界を知るための・・・力強いツール！＞に、なりそうですわ」「まあ…」高杉が、アゴに手を当てた。「この… ＜全てのルールを・・・理解しないうちから・・・うまく活用する、活用している！＞という、＜ミッシング・リンク（／進化において、生物の系統を鎖の環に見立て、その欠けた部分（間隙）に想定される未発見の化石生物。）の乖離（かいり）／・・・神の御業（みわざ）の領域／・・・文明における、壮大な不可解・不可思議領域＞に、対して… 当・＜HomePage／人間原理空間＞では… ＜ニュー・パラダイム仮説・・・３６億年の彼＞を、用意しています。その、＜ニュー・パラダイム仮説＞について、この機会ですから、改めて、簡単に説明して置きましょう。《大規模言語モデルの考察》（１８０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 残された疑問・・・とは？】（１７）　【ニュー・パラダイム仮説・・・３６億年の彼】これは・・・一言でいえば・・・＜● 太古の海で・・・最初の生命が誕生して以来・・・生命は真の意味で、一度も、死を経験していない・・・＞という概念です。生命体の本質は・・・＜★ 呼吸／・・・新陳代謝・進化している事＞、＜★ 自己複製／再生産し・・・増殖する事＞、そして、おそらく、＜意識／・・・自我をもつ事＞でしょうか。これらが・・・どの様に確立されたのかは、今もって、壮大な謎ですが・・・人間はその謎に、主体的に関わり・・・まさに、その・・・＜人間原理の・・・時空間世界／人間原理ストーリーの中で生き・・・喜怒哀楽の・・・日々を体験・・・＞しています。まさに、”人間として・・・生きている！ ” わけですね。　太古の海　シアノバクテリア　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）《大規模言語モデルの考察》（１８１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 残された疑問・・・とは？】（１８）さて・・・原始地球／太古の世界で・・・＜原初の細胞分裂の中で・・・形成、完成された生物体は・・・その命の本質が、細胞分裂で継承され・・・３６億年の時空間座標の広がりの中で・・・脈々と、今も、生き続けている！＞様ですねえ。その・・・ ”命の本質／・・・何者か・・・” に・・・ ”人格” を、付与したのが、＜・・・３６億年の彼・・・＞です。＜グローバル・ブレイン、地母神／ガイアの・・・概念・・・＞とも、近いものです。ええ・・・小さな、蚊（カ）や蠅（ハエ）や、膨大な量の昆虫類が・・・全て、見事な飛行をこなし、増殖できる本能は、＜３６億年の彼と・・・リンクしているから・・・＞と、考えます。絶妙な飛行術や、膨大な遺伝子発現の光景は、”個別の個体／・・・生物体” の中にあるのではなく、＜・・・３６億年の・・・彼の側・・・＞に、あると考えます。地球表層世界を覆（おお）いつくす・・・凶暴的な緑の繁茂、機動性遺伝子とも言えるウイルス、細菌、動物、高度な知能を持つヒト／人間も、全て、”原初の・・・細胞分裂” から、生まれて来ています。つまり・・・それが、”おおよそ・・・現代／人類文明の・・・ニュー・パラダイム・・・” になって行くと、考えます。
８月　　２３日	《大規模言語モデルの考察》（１８２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　原核から、真核生物誕生への道筋　　　（／ネットより画像借用）【● 残された疑問・・・とは？】（１９）そして、全生物体は・・・＜細胞分裂で誕生し・・・この３６億年の彼との、リンクが切れた時・・・生物体は、命の抜け殻／有機物の塊・・・＞となる、と考えます。この有機物の積層が、時を経て、石炭や石油などの化石燃料に、なるわけですね。また・・・＜投影されていた・・・相互主体性世界の自己／・・・自我／・・・意識は・・・合せ鏡の像が引く様に・・・主体の総元締め／３６億年の彼に・・・回帰／還元されて行く・・・＞と、考えます。これは・・・＜ウイルス・細菌・植物においても・・・微弱な意識の流れは同じ・・・＞と、考えます。《大規模言語モデルの考察》（１８３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 残された疑問・・・とは？】（２０）さらに・・・＜睡眠／人や動物の睡眠は・・・３６億年の彼の領域に属し・・・充足／充電している時・・・＞と、考えます。＜生物個体に投影される本能も・・・ここで、充足される・・・＞と、考えます。ええと・・・＜潜在意識＞や、＜集団意識＞、＜種の・・・共同意識体＞などは、上位・情報系の回路になりますね。未知の領域です。それから・・・＜人間原理空間における・・・相互主体性ストーリーの発現も・・・高次元座標に広がる・・・絢爛・複雑な布模様・・・＞も、＜３６億年の彼に・・・回帰して行く・・・＞と、考えます。　　　　　　　　　　　　潜在意識とは・・・　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）　　　《大規模言語モデルの考察》（１８４）　　【● 残された疑問・・・とは？】（２１） …という、＜仮説＞ですが… 簡単に、一言で言い切るのは、難しいですね。まだ、言いたい事、検証したい事は、山ほどあります」「はい…」茜が、大きくうなづいた。「ええ… これは… 私達が提唱して来た、新しい概念ですが、折に触れ、考察して行きたい、と思います。あ、ええと… もう1つ、“参考文献” には、囲み記事がありますね。これも、＜ＬＬＭ／大規模言語モデル＞に関する、側面支援の情報です。これも、考察して置きましょうか」「はい…」支折が、うなづいた。
８月　　２５日	《大規模言語モデルの考察》（１８５）　　　　　　　　　　　　　　　　　　　　　　　最大６８億のパラメーターの、日本語ＬＬＭを一般公開　　（／ネットより画像借用）【● Unknown unknown に備えよ】（１）　　　　　　　　　　　　　　　＜★ ＮＩＣＴ／鳥澤・フェローに聞く・・・／囲み記事・・・＞「ええと…」茜（あかね）が、“参考文献” に目を通しながら、言った。「この、囲み記事は… ＜国立研究開発法人・・・情報通信研究機構／ＮＩＣＴの、鳥澤・フェロー（Fellow／卓越した業績や、専門知識を持つ人に与えられる、特別な称号や役職。大学教員、研究所の研究員など、研究職に従事する者に、多く与えられる。）＞に、伺った記事ですね。ＮＩＣＴは… ２０２３年７月４日に… ＜★ 日本語に特化した・・・大規模言語モデルを試作した。＞と、発表しています。ええ… 例に、よって… この資料も、古いわけですが、これは、“参考文献” が、『日経サイエンス・・・２０２３・１０』だ、からです。そして、私達はまず、その開発当初からの、＜AI 開発の技術＞を、考察しているわけですから、当然とも言えるわけですね」「はい…」支折が言った。「ニュース性は低くても、その基礎知識を学んでいるわけですね」《大規模言語モデルの考察》（１８６）　　　　　　　　　　　　　　　　　　　　　　　　　　情報通信研究機構／ＮＩＣＴ　鳥澤健太郎・フェロー　　　（／ネットより画像借用）【● Unknown unknown に備えよ】（２）「そうです…」茜が、“参考文献“ を脇に置いた。そして、スクリーンボードのコントローラーを取り上げた。「これが…」茜が、ボードの画像を拡大した。「ＮＩＣＴ／鳥澤健太郎・フェローですね… 東北大学／乾健太郎・教授も、名前は ”健太郎” でしたね。この業界には、多い名前なのかしら？あ、ええと… 鳥澤・フェローが… ＜★ 日本語に特化した・・・大規模言語モデルの開発＞を、主導した様ですね。ええ、このモデルは… ＜★ パラメーター数を・・・ＧＰＴ‐３（／GPTシリーズの第3世代）の、約１／５の・・・４００億＞と、している様ですね。これで… ＜事前学習後＞の、“ファインチューニング／・・・微調整” を、行わなくても… “ エーゲ海での、新婚旅行のプランは？” とか、“ＡＩで、科学研究を加速するには？” などの質問に、回答できる様ですわ。《大規模言語モデルの考察》（１８７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● Unknown unknown に備えよ】（３）例えば… 新婚旅行のプランでは、クルーズ船をお勧めしていて、中身のある回答結果だ、という事です。　　　＜エーゲ海での新婚旅行のプラン・・・ＡＩの回答・・・＞エーゲ海の島々を巡る、クルーズ船での旅が人気です。エーゲ海の島々は、ギリシャ本土から離れているため、クルーズ船での移動が便利です。クルーズ船での移動は、船内での食事やショーなども楽しめ、移動中も退屈しません。エーゲ海の島々では、ギリシャの伝統的な建物や、遺跡などを見る事ができます。また、エーゲ海の島々では、ギリシャの伝統的な料理や、ワインなども楽しめます。　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）　　　 …と、回答している様ですね、」「うーん…」支折が言った。「エーゲ海の、新婚旅行かあ…」
８月　　２６日	《大規模言語モデルの考察》（１８８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● Unknown unknown に備えよ】（４）「ええと…」茜が言った。「開発を主導した、鳥澤さんは… ＜★ ＧＰＴ＞では… ＜★ 大規模言語モデルが・・・単純に・・・文章の続きを、出力するシステム・・・＞ …に、なった点が、これまでの言語処理技術との、“大きな違い” だと、見ている様ですね。従来の… 文章生成技術では、質問応答にしろ、対話にしろ、“何を・・・言わせるのか” を、何らかの形式で、決める必要があった、と言います。例えば、“論理式” など、ですね。鳥澤さんは、この様に言っています… 《大規模言語モデルの考察》（１８９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● Unknown unknown に備えよ】（５）　「それが・・・＜続きを・・・出力するだけで・・・こんなに意味のある内容が・・・出てくるのか！＞・・・というのは、大きな驚きでした。 “コロンブスの卵” というか、大きなジャンプだった、と思います」　 …と。やはり、＜事前学習の・・・やり方／方法・・・＞が、大きな飛躍になった様ですね。これが、＜Transfomer＞に、“深く考える事を・・・促した・・・” 様です」「ふーん…」支折が、うなづいた。「子供の、教育／学習も、同じなのかしら？ただ、丸暗記する教育よりも、“考えさせる・・・教育” が、多様な応用力を生み出す、という事かしら？」《大規模言語モデルの考察》（１９０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● Unknown unknown に備えよ】（６）「そうですね…」茜が、唇を、引き結んだ。「＜Ｃｈａｔ／・・・おしゃべりする＞の、場合は、それが必要だ、という事ですね。そして… その先には、自立型の、＜ＡＩ・エージェント＞や、＜ヒューマノイド・ロボット＞に、繋（つな）がって行く、という事でしょう」「まさに…」支折が言った。「＜AI／人工知能＞の、方向ですかあ…」「そうですね…」茜が言った。「あ、話を戻しましょう… ええと… このモデルは…７月４日に発表されたわけですが… 同月下旬には…ＮＩＣＴは、＜★ １７９０億パラメーターの・・・より大規模なモデル＞を、完成しています。でも、このモデルでは、”予想外の事” が、起こった様です。
８月　　２７日	《大規模言語モデルの考察》（１９１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● Unknown unknown に備えよ】（７） “エーゲ海での新婚旅行のプランは？” と… ＜４００億パラメーターのモデル＞と、同じ質問をすると… 驚いたことに、実在の旅行会社が扱う、旅行商品を挙げて、こう回答したと言います。 “○○ 企業の・・・○○プランが・・・お勧めです” つまり… この、＜１７９０パラメーターのモデル＞の回答は… “餅のコトは・・・餅屋に聞け！（／物事は、それぞれの分野の・・・専門家に任せるのが良い）” と、いうわけです。間違った回答ではないですが、あまりに、ソッケないものでした。他の質問の、回答も同様でした。数十文字の短文で、回答が出力される様になった、という事です」《大規模言語モデルの考察》（１９２）　　　　　　　　　　　　　　　　　　　　　　　　　　情報通信研究機構／ＮＩＣＴ　鳥澤健太郎・フェロー　　　（／ネットより画像借用）【● Unknown unknown に備えよ】（８）「うーん…」支折が、肩を傾げた。「パラメーターが、４００億から１７９０億に増えたのに、ですかあ。進化ではなく、退化ですよねえ、」「ええと…」茜が、口に指を当てた。「鳥澤さんは、こう言っています… 「パラメーターを大きくすれば・・・必ず、賢くなるわけではありません」 …と。この２つのモデルは、パラメーター数の違い以外は、演算時の浮動小数点の精度が異なる程度で、ほとんど同じ設定だと言います。＜事前学習の・・・テキストも、同じだ＞と、いう事です」「ふーん…」支折が、コブシを口に当てた。「それで…」茜が言った。「今は… 浮動小数点の精度を変えて、再度、学習を試みているそうです。ただ、浮動小数点が、モデルの賢さと、どう関係するかは、分からないと言います」支折が、無言で、コクリとうなづいた。《大規模言語モデルの考察》（１９３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ヒューマノイド・ロボット　　　（／ネットより画像借用）【● Unknown unknown に備えよ】（９）「ええ… 」茜が言った。「＜大規模言語モデル＞が… まだまだ、”獲得できていない・・・能力” は、たくさんある、と言います。その1つは… 「とがった・・・面白いことが、言えない点・・・」 …と、鳥澤さんは、話しています」「独特の…」支折が言った。「面白い …言い回しですか…？」「そうです…」茜が、大きくうなづいた。「現在の… ＜大規模言語モデル＞は… 単語間の関係性や、文脈の情報を元に、“もっとも、出現確率の高い・・・妥当な文章” を、出力する、わけですね。つまり… 一般論として言えば、創造的な内容からは、程遠いわけですわ。でも、単に、確率の低い単語をつないで文章を作ると、支離滅裂な日本語になると言います。それでは、意味がありません」
８月　　２８日	《大規模言語モデルの考察》（１９４）　　　【● Unknown unknown に備えよ】（１０）「うーん…」支折が言った。「どうすれば、いいのかしら？」「どの様に…」茜が、微笑した。「工夫するかは、まさに、研究者の腕の見せ所だ、と言います」「でも…」支折が、髪に手をやった。「これは、研究というよりも、芸術の感性ですよね…」「そうですね…」茜が言った。「こんな研究にも、解はあるわけですね。＜AI 開発＞では」「あ、でも…」支折が言った。「そこが、核心的技術ですよね？」「まあ…」高杉が言った。「人間に、似せようとするなら、そうですね…」《大規模言語モデルの考察》（１９５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● Unknown unknown に備えよ】（１１）「ええと…」茜が、“参考文献” に目を流した。「話を、進めましょう… 他にも… ＜大規模言語モデル＞が、“まだ・・・獲得していない／獲得するべき・・・能力” が、存在します。それは、すでに、各所で話題にもなっていますが、＜ハルシネーション（幻覚）・・・の問題＞です。これは、＜大規模言語モデル＞が… “ 物事の・・・真偽の判断がつかずに・・・堂々と・・・嘘をついてしまう現象！” です。ええと… 鳥澤さん／鳥澤・フェローが、今回のモデルに、こう尋ねた、言いとます。「＜大規模言語モデル＞が・・・偽情報を出して・・・みんなが、困っているらしいね」 …と、入力したら…　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 “ 私は＜ＡＩ＞なので・・・偽情報は出しません！・・・ ” …と、自信満々の回答が、返ってきた、と言います」「それは…」支折が、アゴに手を当てた。「困った、ものよねえ。堂々と、ウソをつくわけですか… 入って来た情報が、偽情報か本物か、判定できないわけかしら？つまり、入ってきた情報は、一義的には、本物だ、という事かしら？」《大規模言語モデルの考察》（１９６）　　　　　　　　　　　　　　　　　　　　　　　　　　　情報通信研究機構／ＮＩＣＴ　鳥澤健太郎・フェロー　　　（／ネットより画像借用）【● Unknown unknown に備えよ】（１２）「そこは…」高杉が、微笑した。「逆に、いかにも、機械らしい所ですね… およそ、トンチンカンな回答を、堂々と出力するという話は、何度も、聞いた事があります。冗談ではなく、まさに、遠慮容赦がない様子ですねえ」「うーん…」支折が、肩を傾げた。「でも、それは、困るわねえ…」「はい…」茜が、唇を、引き結んだ。「そこで… １つの、解決方法は… ＜根拠となる情報や、Ｗｅｂページのアドレスを示す・・・裏どり機能を・・・搭載！＞する事だ、そうです」「はい…」支折が、ユックリと、うなづいた。「”裏どり機能” ですか…」「でも…」茜が言った。「これも… 利用者が、十分に注意しながら、使う必要がある、と言います。＜♦ 文章Ａを根拠に・・・文章Ｂは正しいと言えるか＞を、判定するタスクは、“含意判定（がんい・はんてい）“ と、呼ばれるそうですね。
８月　　２９日	《大規模言語モデルの考察》（１９７）　　　　　　　　　　　　　　　　　　　　　　　　　　　情報通信研究機構／ＮＩＣＴ　鳥澤健太郎・フェロー　　（／ネットより画像借用）【● Unknown unknown に備えよ】（１３）この “含意判定（がんい・はんてい）の・・・精度” を、日本語について、ＮＩＣＴが調べています。それは、現在の＜大規模言語モデル＞では、高いもので９２％だったと言います。したがって… １００％でない以上、根拠を述べる際にも、＜大規模言語モデル＞は、発言を、誤る可能性がある、と言います」「うーん…」支折が、体を左右に傾けた。「これも… ”ややこしい問題” よ、ねえ…」「そうですね…」茜が言った。「ええと… 鳥澤・フェローは、この様に言っています。「今後・・・こうした、＜裏どり機能をもつ・・・大規模言語モデル＞が開発されても、安易に信用するのは禁物です。本来は、ユーザーが自ら、根拠として提示された情報を、確認するのが望ましい・・・」 …と、いう事です。《大規模言語モデルの考察》（１９８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　オリジネーター・プロファイル技術研究組合　　　（／ネットより画像借用）【● Unknown unknown に備えよ】（１４）ええ、それから… Ｗｅｂ上の文章が、＜ＡＩ＞が出力した、著者不明の文章によって汚染されると、“裏どりの・・・根拠” に、使用できなくなる、恐れもある様です。そこで… ２０２２年／末に… 国内メディア各社が参画する、＜オリジネーター・プロファイル技術研究組合＞が、発足しています。この技術というのは、Ｗｅｂ上のテキストに、改変できない符号を与えて、“内容の責任者を・・・明示できる様にする！ ” ものです。鳥澤さんは… 直接、この取り組みには、関わっていないそうですが… 「この手の仕組みを・・・構築することは、大切・・・」 …と、評価しています。《大規模言語モデルの考察》（１９９）【● Unknown unknown に備えよ】（１５）鳥澤さんは… 現在の、＜大規模言語モデル＞をめぐる状況を… 「『Unknown unknown 』・・・　つまり、『未知なる未知』が、無数にある状況だ・・・」 …と、表現していますわ」「ふーん…」支折が、微笑した。「やっと… ＜Unknown unknown＞という言葉が、出て来ましたね。意味は、何となく分かっていましたが、日本語に翻訳すれば、＜未知なる・・・未知＞と、いうことですかあ、」「そうですね…」茜も、微笑した。「ええ… ＜大規模言語モデル＞の使用によって… 社会に、何が起こるのでしょうか。そこに潜む、未知のチャンスやリスクについて、そのおぼろげなイメージすら、私達にとっては未知なのだ、と言います。そうした、二重の未知なる事象に、対処することを、私達は迫られている、様ですね…」「はい…」支折が、うなづき…大きく…息を吐いた。