無題 1

　　　 ＭＥＮＵ／ ボスの展望台／ボスのＴｗｉｔｔｅｒ／物理学／人工知能／ＬＬＭ・基盤モデルとは？

　　ＡＩ／人工知能・・・の考察（３）　

　　　　 ＬＬＭ／大規模言語モデルの考察

　　　　　

トップページ／ＮｅｗＰａｇｅＷａｖｅ／ＨｏｔＳｐｏｔ／Ｍｅｎｕ／最新のアップロード／　　担当：　ボス＝岡田　健吉

２０２５年7月	上から・・・下へ
７月　　１６日	《ＬＬＭ／大規模言語モデルの考察》　(1～５) 【プロローグ】　（1～５） “参考文献” 　　　『日経サイエンス・・・２０２３／１０』　　　　　『日経サイエンス・・・２０２５／０２』　　　　　『日経サイエンス・・・２０２３／１０』＜特集＞　　= 大規模言語モデル／科学を変えるＡI = 　　■ オウム以上フクロウ未満？／生成AI の“思考力” 　　　　＜生成AI は事前に教えていないことを、どういうわけか、理解している様だ。　　　　　いったい何故なのか？研究者は理解に苦しんでいる。＞　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　G.マッサー（SCIENTIFIC AMERICAN　編集部）　　■ 大規模言語モデルとは何か　　　　＜ChatGPT で一躍有名になったこの AI は、一体、どこからやって来て、どこ　　　　　へ向かうのだろう。＞　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　出村政彬（編集部）　　■ 脳とAI 溶ける境界／大規模言語モデルが開く、脳の理解　　　　＜脳の中で、異なる種類の情報はどの様に統合されるのか。この長年の未解　　　　　　決問題に、大規模言語モデルが新たな光を当てている。＞　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　平理一郎（東京医科歯科大学）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　丸山隆一（科学技術振興機構研究開）　　■ タンパク質を語る言語　　　　＜AI は、便利な実験ツールにとどまらず、生命現象を俯瞰する新たな視点を　　　　　提供しつつある。＞　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　出村政彬（編集部）《大規模言語モデルの考察》（６）　　　　　　　【プロローグ】　（６）　　　　　　　　　　　　　　　　　　　　　　　　　　「はい、ええ…」秋月茜が、一礼して、椅子に掛けた。「さっそく、始めましょう… 同じメンバーで、考察して行きます。皆さん、よろしくお願いします。今回は… 猛暑の季節でもあり… 《大規模言語モデルの考察》（７）　　　　【プロローグ】　（７） …羽衣弥生さんの “クラブ・須弥山” から、飲物やフルーツも、取り寄せたいと思っています。さあ… ＜２０２５・・・参議院選挙＞も… 現在、最終盤になっていますね。《危機管理センター》で、里中響子さんが、見守っています。それから… 《大規模言語モデルの考察》（８）　　【プロローグ】　（８） … 《My Weekly Journal》／編集長／津田真さんも、一緒に、注視しています。今回は… 当／《HomePage／人間ん理空間》では… ＜東京都／・・・山尾しおり（さん）＞を、推奨しています。実力派であり、必ず、活躍する人材です。よろしくお願いします！　」　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）
７月　　１７日	《LLM／大規模言語モデルの考察》（９）　　　　　　【プロローグ】　（９）ええと… あ、折原マチコさんと、ポンちゃんが、さっそく、飲物とフルーツを運んで来てくれていますね、」マチコとポン助が、それらをワゴンから軽食テーブルの方に移していた。フルーツジュースに、スライスしたスイカは、小皿に… 《LLM／大規模言語モデルの考察》（１０）　　　　　【プロローグ】　（１０） …盛り分けてあった。「マチコさん…」茜が言った。「お久しぶりです！」「うん！」マチコが言った。「このスイカ、美味しいわよ！熊本産だと言っていたわねえ、」「そうですか…」茜が、満面で微笑んだ。他のみんなも、軽食テーブルの方に集まって来た。《大規模言語モデルの考察》（１１）【● LLM／大規模言語モデルとは？】　（１）　　　「さあ…」茜が、準備したスクリーンボードを眺めた。「さっそく、本題に入ります… “参考文献” にある… 4本の論文記事を掲載しましたが、難しい内容… 《大規模言語モデルの考察》（１２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【● LLM／大規模言語モデル・・・とは？】（２） …なので、最も分かりやすい所から、入って行きましょう。つまり、論文の順序が違いますが、まず２番目の論文記事／『大規模言語モデルとは・・・何か？」から、入る事にします。そして、まさにこれが、このページの本題でもあるわけですね。《大規模言語モデル考察》（１３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（３）ええと… ＜LLM = Large Language Models／大規模言語モデル＞とは… 簡単に言えば… ＜ＣｈａｔＧＰＴの・・・内部で動いている・・・ＡＩのコト・・・＞ですね、」「はい…」高杉が、うなづき、“参考文献” に目を落とした。「ええ… 《大規模言語モデルの考察》（１４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【● LLM／大規模言語モデル・・・とは？】（４）＜米・オープンAI （社）＞が提供する… ＜ＣｈａｔＧＰＴ＞の中では、２０２３年８月現在の、時点ですが… ＜ＧＰＴ-３．５／・・・有料版では、ＧＰＴ-４＞という、＜大規模言語モデル＞が、動いています。データが、少々古いのは… “参考文献”が…
７月　　１８日	《大規模言語モデル考察》（１５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（５） …２０２３年１０月のモノだからです。私達は、まず、＜大規模言語モデル＞の開闢（かいびゃく）時点から、その基盤技術と、“人間の理解を超える・・・奇妙な謎の発火・・・” を、考察して行こうと、考えています」「そういう意味では… 《大規模言語モデル考察》（１６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（６） …」支折が言った。「古いデータというコトでは、ないわけですね？」「まあ…」高杉が、顔を崩した。「１０年後に振り返れば、まさに、“当初から” と言えるでしょう。＜ＬＬＭ／＝大規模言語モデル＞は… ＜オープンAI （社）＞以外… 《大規模言語モデル考察》（１７）　　　　　　【LLM／大規模言語モデル・・・とは？】（７） …にも、＜グーグル＞や、＜マイクロソフト＞、＜メタ＞、＜アマゾン＞といった、有名ＩＴ企業が、ここ数年で、それぞれリリースしています。＜オープンAI（社）の・・・ＣｈａｔＧＰＴ＞の登場以後は、さらに動きが加速しています」「うーん…」支折が… 《大規模言語モデル考察》（１８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（８） …うなづいた。「それは、最近のニュースなどで、チラホラ聞こえて来るわねえ。私達も、まさに、そうした時代の、渦中にあるという事ですね？」「そうです…」高杉が、“参考文献” を取り上げた。「さて… 《大規模言語モデル考察》（１９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（９）＜● この、ＡＩの仕組み・・・ＬＬＭ／大規模言語モデル・・・＞は、ある意味で、シンプルだと言います。　＜ＬＬＭ／大規模言語モデル＞は・・・まず、あらかじめ、膨大なテキストを取り込むのです。そして、そこから、知識を学習して・・・《大規模言語モデル考察》（２０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１０）・・・ニューラルネットワークの中に、蓄えるわけです。この知識を利用して、言語に関する様々なタスクを解きます。特に・・・＜ＧＰＴ＞の場合は、利用者が入力文の形式を変えるだけで、幅広いタスクをこなせる様です。　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）
７月　　１９日	《大規模言語モデル考察》（２１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１１）＜ＣｈａｔＧＰＴ＞に、どんな文章を入力するのが、効果的かを指南する書籍も、数多く出版されている・・・　 …と、いう事ですねえ、」「はい…」茜が、うなづいた。「ええ… ＜ＧＰＴを・・・ベースにした、システム・・・＞も … 《大規模言語モデル考察》（２２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１２） …リリースされています。＜大量の医学論文を学習した・・・大規模言語モデルの・・・ＢｉｏＧＰＴ＞や、＜日常会話で使う・・・普通の言葉を・・・プログラムの、ソースコードに変換する・・・Ｃｏｄｅｘ＞ …など、ですね。さらに… 《大規模言語モデル考察》（２３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１３）今年／２０２３年７月には… ＜ＣｈａｔＧＰＴの・・・有料版＞に、＜ＣｏｄｅＩｎｔｅｒｐｒｅｔｅｒ＞という、新機能が追加されたと、言っています。この機能は、＜表形式の・・・数値データの入ったファイルを・・・入力＞して、調べたい項目を… 《大規模言語モデル考察》（２４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１４） …普通の言葉で、入力するものです。これだけで… “データ解析のための・・・プログラムを生成し・・・自動で、統計解析をしてくれる” と、いうものですね」「うーん…」支折が言った。「＜表形式の・・・数値データファイル＞を、入れて… 《大規模言語モデル考察》（２５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*ヒューマノイド・ロボット　　　（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１５） …置くわけですね。後は、普通の言葉で質問すれば、いいわけですか。これが、ええと… ＜日常会話で使う、普通の言葉を・・・プログラムの、ソースコードに変換する・・・Ｃｏｄｅｘ＞ …なのですね？」「はい…」茜が… 《大規模言語モデル考察》（２６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１６） …うなづいた。「こうした、現状というのは… ＜★ このＡＩ／・・・大規模言語モデルが・・・単なる、便利な、お喋り（おしゃべり）アシスタント・・・＞の領域を、超えている、という事です。”言葉そのものを・・・本質的に理解している様な・・・印象・・・” と、いう事ですわ」「そうよねえ…」支折が…
７月　　２０日	《大規模言語モデル考察》（２７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１７） …頭を傾げた。「でも… “いきなり・・・テキストから・・・知識を学習する” と、言われても、＜ＬＬＭ／大規模言語モデル＞の内部で、何をしているのかは、いまいち、ピンと来ないわねえ…」「そうですね…」茜が、小さく… 《大規模言語モデル考察》（２８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１８） …うなづいた。「＜このＡＩ／・・・大規模言語モデル＞のことを、知ろうとすればするほど、まるで雲をつかもうとしている様な、感覚になります。一体、＜大規模言語モデル＞では、言語を、どの様に把握しているのでしょうか。《大規模言語モデル考察》（２９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（１９）ええと… この、”参考文献” の中の、論文記事／『■ 大規模言語モデルとは何か』では、この疑問を、真正面から取り上げています。＜大規模言語モデル＞を、理解する上で、キーワードとなるのが… ＜１／★ 分散表現・・・単語の意味を・・・ベクトルで表す＞と… 《大規模言語モデル考察》（３０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２０）＜２／★ Transfomer （トランスフォーマー）という・・・ニューラルネット＞ …の、２つですわ」「うーん…」支折が言った。「＜Ｔｒａｎｓｆｏｍｅｒ＞という、言葉は… これまで、何度も聞いているわねえ。意味を調べると、”何かを・・・《大規模言語モデル考察》（３１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　玩具／『トランスフォーマー』　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（２１）・・・別のものに変えるもの・・・” という、ことですよね。例えば… 変圧器（／電気回路の電圧を変える装置）や、ロボットに変形する玩具／『トランスフォーマー』などが、該当するとか。これは、＜ＡＩ／・・・ニューラルネット＞なのですね。《大規模言語モデル考察》（３２）　【LLM／大規模言語モデル・・・とは？】（２２）うーん… ＜★ 単語の意味を・・・ベクトルで表す・・・分散表現＞とは、どういうもの、かしら？」「はい…」茜が、うなづき、スクリーンボードに、目を投げた。「そもそも… コンピューターで、単語の意味をとらえるには、＜★ 複数の・・・
７月　　２１日　　　　　　　　　　海の日	《大規模言語モデル考察》（３３）　　　【LLM／大規模言語モデル・・・とは？】（２３）・・・数値からなる・・・ベクトルで意味を表す・・・分散表現＞が、適しているのです。つまり、ボードに書いてある様に… 　　＜ＬＬＭ／大規模言語モデル＞　　　　＝　　＜ベクトルで、単語の意味を表す・・・分散表現＞　　　　＋　　＜広く、深く・・・データの特徴を学ぶ・・・Ｔｒａｎｓｆｏｍｅｒ＞《大規模言語モデル考察》（３４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２４） …が、中核になる、という事ですね。そして… ＜このＡＩ／・・・大規模言語モデル＞は、言語や自然現象の複雑なシステムを、＜丸ごと受け止められる点で・・・ヒトの脳と、よく似た情報処理・・・＞を… 《大規模言語モデル考察》（３５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２５） …行っている、という事です。さあ… そこで、まず… ＜単語の意味を、ベクトルで表す・・・★ 分散表現＞について、説明して行きましょうか。＜広く、深く、データの特徴を学ぶ・・・★ Ｔｒａｎｓｆｏｍｅｒ＞については、その後で、考察します。とりあえず… ＜分散表現＞という言葉を、ネットで調べてみました。以下のような、説明になっています… 　＜分散表現＞単語の意味を・・・低次元の実数値ベクトルで・・・表現する手法分散表現とは、単語の意味を低次元の実数値ベクトルで表現する手法です。これにより、単語同士の距離や位置関係から意味を捉えることが可能になります。具体的には、単語を ”少ない数の・・・要素で構成された・・・ベクトルに変換” し、これを用いて、単語の様々な側面を表現します。分散表現は、単語埋め込み（Word Embedding）とも呼ばれ、自然言語処理の分野で広く利用されています。　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）　 …というものですが、どうも、素人にはチンプンカンプンですね。ともかく… ここは、”参考文献” に沿って、説明して行きましょうか」「はい…」支折が… 《大規模言語モデル考察》（３６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２６） …うなづいた。「ベクトルは、“力と方向の・・・矢印” よねえ。それだけで、単語が表されるのかしら？」「はい…」茜が言った。「ええと… そもそも… ”単語が並んだ、文字列データである・・・文章” を、なぜ、”ベクトルの・・・数値データ” に… 《大規模言語モデル考察》（３７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*タンパク質の構造　　　（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２７） …変換する必要があるかですね、」「そうですね…」アンが、口を開いた。「もちろん、それは、＜分散表現＞のためですが… 「“参考文献” の… ４番目の論文記事／『■ タンパク質を語る言語』は、タンパク質のアミノ酸配列を、言語に見立てて、＜大規模言語モデル＞に… 《大規模言語モデル考察》（３８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２８） …学習させ、立体構造や機能予測に役立てる研究が、進んでいると言うものです。＜ＤＮＡ／・・・ＤＮＡ言語＞は… ご存知の様に、二重らせん構造を持ち、Ａ（アデニン）、Ｔ（チミン）、Ｇ（グアニン）、Ｃ（シトシン）の、４種類の塩基が並んだ…
７月　　２２日	《大規模言語モデル考察》（３９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *タンパク質の構造　　　（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（２９） …塩基配列によって、遺伝情報が記録されています。複製される時に… ２重鎖は、１本鎖になるわけですが、この１本鎖が文章構造と似ている、と言う事ですね。でも、ＤＮＡ言語の解明はこれからですわ。これが読めるなら… 《大規模言語モデル考察》（４０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（３０） …機械学習やニューラルネットの、苦労も無いわけです。そして、私達／生命体の内部では、まさにそれが、実行されているのです。ええ… ノーベル化学賞を受賞したハサビスの… ＜ AlphaFold２（アルファフォールド２）＞では、そのタンパク質／・・・ＤＮＡ（言語）解明の、端緒に着いたという事… 《大規模言語モデル考察》（４１）　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）　　　 ◆ グーグル・デーブマインド　　　　　　　　　デミス・ハサビス* 【LLM／大規模言語モデル・・・とは？】（３１） …でしょうか。この、＜ AlphaFold２＞の背後には、膨大なタンパク質研究の蓄積／基盤があるわけです。ええと、つまり… ＜１本鎖・ＤＮＡという、１本の文章／・・・ＤＮＡ・２重螺旋（らせん）言語＞を、アッサリと、理解できるなら、何も＜ベクトル表示の・・・分散表現＞に… 《大規模言語モデル考察》（４２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（３２） …変換するコトもないのです。身の回りに溢れる、生命体／細胞／ＤＮＡ言語は、それをアッサリとクリアしているのですから」「はい、アン…」茜が、うなづいた。「有難うございます… ＜分散表現＞や、＜Transfomer＞ … 《大規模言語モデル考察》（４３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（３３） …を超えるシステムが、私達の身体も含め、眼前に、溢れていると言うことですね。そして、＜Transfomer＞は、ヒトの頭脳に近い情報処理能力を、展開していると言うことですね」「うーん…」支折が、髪を揺らした。「まさに… 《大規模言語モデル考察》（４４）　　　　　　*マンハッタン計画で製造された、原子爆弾。　　『リトルボーイ』上　　、『ファットマン』下　　　（／ネットより画像借用）* 【LLM／大規模言語モデル・・・とは？】（３４）＜ＡＩ／・・・人工知能が・・・育てられている＞と、言うことですね。そして… それが、かつての… ＜★ 原爆製造の・・・マンハッタン計画／・・・核戦略時代の開闢（かいびゃく）＞の様に、＜★ 人類文明にとって・・・非常に有害であり・・・必要性のない・・・危険なモノ！＞に、なるかも知れない…
７月　　２３日	《大規模言語モデル考察》（４５）　　【LLM／大規模言語モデル・・・とは？】（３５） …ワケですかあ、」「そうですねえ…」高杉が、頭の後ろに、手を当てた。「人間が、幸福に生きるには… ＜人間サイズ／・・・人間原理のサイズが・・・最適だ！＞と、言うコトです。いわゆる… ＜= 神 =＞は、人類文明社会に… 《大規模言語モデル考察》（４６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（３６） …そして人々に、そういう＜敬虔（けいけん／・・・親や、神々に対する深い愛や尊敬、忠誠心を表す言葉。西洋では、古代ギリシャ以降、徳目の一つとされ、キリスト教においては信心を表す用語として認識されています。また、「敬虔な気持ち」とは、人や物事を大切にし、心から尊敬している状態を指します。）な生き方／生活を・・・推奨＞して来た、わけです。むろん… 現在も、宗教は、一定の勢力を持っているわけですが、科学技術が優勢ですね。ちなみに、人間の好奇心が… 《大規模言語モデル考察》（４７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（３７）この世界／この世を… ＜物の領域と、心の領域の・・・２つに分割＞し…また、＜天動説＞から＜地動説＞に、大転換して… ＜文明の第１ステージ／・・・農耕・文明の曙の時代・・・＞から、＜文明の第２ステージ／・・・エネルギー　・産業革命の時代＞を、創出して来たわけです。ところが、今／現在… ＜人類文明は・・・複数の面で・・・壮大な壁・・・＞に… 《大規模言語モデル考察》（４８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（３８） …ブチ当たりはじめ、にわかに立ち往生している様相ですねえ。物理科学に、限って言えば… ＜物理学の・・・２本柱／・・・交わることのない、２本のレール・・・＞、すなわち、【一般相対性理論】と、【量子力学／・・・標準モデル】が、一頓挫（いちとんざ／・・・物事の進行・進展が、中途で一時、くじけること。）、している様相ですね。これは… 具体的な、分かりやすい例を言えば、＜暗黒物質が・・・《大規模言語モデル考察》（４９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（３９）・・・依然として、特定できない・・・＞という事です。代表的な、＜ＷＩＭＰ（Weakly interacting massive particle（ＷＩＭＰ・・・弱く相互作用する大質量粒子）とは、暗黒物質の候補の1つ。仮説上の粒子。）＞も、＜アクシオン（／暗黒物質の、有力な候補の１つ。理論上の素粒子。アクシオンは、太陽内部で生成される可能性があり、暗黒物質問題を解決するだけでなく、強い相互作用に関する深刻な問題も解決することが期待されている。）＞も、“空振り” が、続いていますねえ。”三振” も、視野に入って来ています。ここら辺りで… 綻び（ほころび）が、始まっている様相ですね。物理学は、現代社会の大きな基盤ですが、この２本柱が、揺れだしています。現代物理学で… ＜暗黒物質が・・・補足できない・・・大問題・・・＞は、２０世紀初頭において… 《大規模言語モデル考察》（５０）　　　　　　　　　　　　　　　　　　　宙を形成する、謎の超物質　「暗黒物質 (ダークマター) 」　とは？　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４０） …ケルビン卿（／絶対温度の概念を確立した人物で、絶対温度の単位「ケルビン（K）」、はケルビン卿の名前から取られています。）が指摘した、“黒体輻射の問題” と、“マイケルソン=モーレーの実験の問題” に、相当して来るのかも知れません。つまり、当時… それは、現実には、壮大な、ピント外れ、であり… 【一般相対性理論】と【量子力学】の、パラダイム…
７月　　２４日	《大規模言語モデル考察》（５１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４１） …シフトの大津波が、科学技術文明をリードして来た様に…です」「＜ＡＩ開発＞も…」支折が言った。「その、＜壮大な壁の・・・１つ＞と、いう事でしょうか？」「うーむ…」高杉が、頭を傾げた。「まあ、望洋（ぼうよう／あまりに、広々としているために、見当のつかないさま）としていますが、… 《大規模言語モデル考察》（５２）　　　　【LLM／大規模言語モデル・・・とは？】（４２） … ＜別のトラブルを・・・惹起（じゃっき／事件や問題を、ひきおこすこと。）＞しているということで、その壁を、感じます。＜基盤モデル＞を、開発している… ＜泰地真弘人（たいじ・まこと）さん＞が、言っていましたが、科学的・好奇心という意味では、必然の流れなのでしょう。だから… 《大規模言語モデル考察》（５３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*泰地真弘人（たいじ・まこと）氏*　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４３） …＜基盤モデル＞も、仮に、泰地さんが開発をストップしたとしても、誰かがそれをやり、結局、流れはそっちの方へ行くだけです。しかし… ＜原爆開発の・・・マンハッタン計画＞も、そうでしたが、その開発が、＜人類文明社会にとって・・・《大規模言語モデル考察》（５４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４４）・・・過ぎたる物／・・・扱いきれない不用物／・・・文明社会を破滅させるモノ・・・＞に、なりはしないか、という事ですねえ。まあ… ＜ＡＩ開発＞そのものは、既存パラダイムの中にあるモノです。しかし、現在、＜中東の火薬庫・・・《大規模言語モデル考察》（５５）　　　　『バベルの塔・・・旧約聖書／創世記中に登場する巨大な塔』　神の逆鱗に触れた。　＜ＡＩ＞もか？（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４５）・・・イスラエルが大暴走・・・＞している様に、これも、＜新たな・・・火種／巨大な人類文明の壁／・・・大難題・・・＞の１つに、カウントできるもの…でしょう」厨川アンが、無言でうなづいた。「ええ…」茜が、頭に… 《大規模言語モデル考察》（５６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４６） …手を当てた。「＜分散表現＞に、話を戻しましょう… 何故… ＜単語を、ベクトルで表す・・・分散表現＞に、するのかという事ですね。肝心な問題です。ええ… ＜★ ＡＩによる・・・チャット＞を… 創出するに当たって、コンピューター・プログラムで、色々と、試してみたわけです。
７月　　２５日	《大規模言語モデル考察》（５７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４７）＜チャット・プログラムを作る・・・＞には、どうしたら良いか？これまで… どんな事が試されて来てたのか。そして、どの様に、＜★ ＡＩエージェントが・・・視界に入って来た＞のか、です」「はい…」支折が、神妙に、うなづいた。「ええ…」茜が… 《大規模言語モデル考察》（５８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（４８） …スクリーンボードの画像を、拡大した。「ます… ① 人の会話パターンを、全てプログラムに書き込む方法これは… １番素朴な方法で、人が言いそうな言葉を、全て、コンピューターに登録して置く方法ですね。… 《大規模言語モデル考察》（５９）【LLM／大規模言語モデル・・・とは？】（４９） …でも、これは、あまり賢くない方法で、ともかく膨大な作業になります。 ② 文法などのルールを、プログラムに書き込む方法これは… ① よりも、はるかに、多くの会話を生成できそうですが、入力された内容に応じて、何を言う… 《大規模言語モデル考察》（６０）　【LLM／大規模言語モデル・・・とは？】（５０） …かを、プログラムに、書き込んで置く必要があります。ここでは… ＜対話や、翻訳・・・質問の応答＞など、言語を使った問題を、コンピューターに解かせる、＜自然言語処理という・・・研究分野が勃興（ぼっこう／にわかに勢力を得て盛んになること。）＞していますわ。でも、これらを、全て記述しようとすると、プログラムの量は膨大になり、やはり、人力で頑張る事に… 《大規模言語モデル考察》（６１）　　　【LLM／大規模言語モデル・・・とは？】（５１） …なります ③ 質問と、答えの・・・相関関係を学ばせる方法これは… 世の中にある、大量の質問と回答の例を集め、質問に対する答え方を、自力でコンピューターに、学ばせる方法です。これは、＜★ 機械学習の用語で・・・《大規模言語モデル考察》（６２）　【LLM／大規模言語モデル・・・とは？】（５２）・・・教師あり学習＞と、呼ばれる方法ですね。最も、分かりやすい例は、“翻訳” ですわ。日本語の文章と、それに対応する英語の文章の組を、たくさん、覚えさせます。そして、日本語の単語が、英語のどの単語に、翻訳されやすい…
７月　　２６日	《大規模言語モデル考察》（６３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（５３） …かを、学ばせます。＜日本語と英語の・・・文字列の相関関係を・・・統計的に学ぶ＞ことに、なるわけですね。＜質問応答＞についても… ＜質問文と・・・回答文の・・・セット＞があれ、同じ手法が使えるわけです」「うーん…」支折が、頭のテッペンに… 《大規模言語モデル考察》（６４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　自作で、機械学習モデル・AIの使い方を学ぶ　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（５４） …手を当てた。「それが、＜機械学習 = machine learning＞ですかあ…」「そうです…」茜が言った。「＜★ 機械学習の用語で・・・教師ありの学習・・・＞に、分類されますわ。こうした、統計的手法は… コンピューターの性能が上がり、電子化された… 《大規模言語モデル考察》（６５）　　　　　　　　　　　　　　　　　　　　　　　　　　　自然言語処理 = natural language processing　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（５５） …テキス・トデータが大量に集まる様になった、１９９０年代から、盛んに＜自然言語処理 = natural language processing＞で、使われる様になりました。特に… 翻訳にこれを用いた、＜統計的・機械翻訳＞は、グーグルの翻訳サービスで２０１６年まで、使われていた… 《大規模言語モデル考察》（６６）　【LLM／大規模言語モデル・・・とは？】（５６） …様ですね」「うーん…」支折が、肩を傾げた。「私も、お世話になった翻訳よねえ…」「そうですね…」茜が、唇に微笑を浮かべた。「様々なシチュエーション（situation／状況。場面。／境遇、局面。）で、お世話になった人は、多いはずです」支折が… 《大規模言語モデル考察》（６７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　機械学習　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（５７） …笑って、口に手をやった。「ただし…」茜が言った。「＜★ 機械学習 = machine learning＞は… ＜★ 学習前に・・・具体的なタスクを１つ決めて・・・その正答率を最大にできる様に・・・コンピューターを学習させるのが・・・基本・・・＞です。そのため… 《大規模言語モデル考察》（６８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（５８）この方法で、様々なタスクをこなす、＜チャット・プログラムを・・・作るのは、難しかった・・・＞様ですね、」「うーん…」支折が言った。「翻訳どまりですか…」「あ…」茜が言った。「それから… “文字列の・・・相関関係を・・・統計的に・・・
７月　　２７日	《大規模言語モデル考察》（６９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（５９）・・・学ぶ・・・この方法” では、＜単語が持つ・・・同義性＞が、問題になります」「＜同義性＞ですか…」支折が言った。「そうです…」茜が言った。「単語の同義性とは… 例えば、“和服” と “着物” のように、文字列上は全く異なる… 《大規模言語モデル考察》（７０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　和服／・・・男性　　　　　　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（６０） …語なのに、意味が、非常に似ている事を指します。コンピューターが、こうした同義性のある表現を、全て別の言葉だとみなして、処理しようとすると、学習が効率よく進まなくなります。これを回避するには、“同義語の・・・《大規模言語モデル考察》（７１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ＡＩ・エージェント　　　　　（／ネットより画像借用）【LLM／大規模言語モデル・・・とは？】（６１）・・・リスト” を、あらかじめ用意する方法がありますが、結局それは、人力に頼った作業になるわけです」「うーん…」支折が、肩を傾げた。「それでは、＜ＡＩエージェント＞の方向とは、ほど遠い感じよねえ、」《大規模言語モデル考察》（７２）　　　　　　【● 数字の組で・・・言葉の意味を表す！】（１）「ええ…」茜が、スクリーンボードのコントローラーを取り上げた。「あ、ここですね… ええと… コンピューターに、独力で言語を処理させるなら、こうした “単語の・・・同義性” を、どうにか、うまく記述して、教え込みたい所ですね」《大規模言語モデル考察》（７３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（２）「はい…」支折が、うなづいた。「そうですね…」「実は…」茜が言った。「その… 土台となるアイデアが、１９５４年に発表されていました。言語学者のハリス（Zellig S.Harris）らが提唱した、『分布仮説』です。《大規模言語モデル考察》（７４）　【● 数字の組で・・・言葉の意味を表す！】（３）この『分布仮説』とは… 簡単に言うと、＜意味の・・・似ている単語は・・・文中で、似た使われ方をする＞という、いわゆる、”作業仮説” なのです。あ… ＜作業仮説（さぎょう・かせつ）＞とは… さらなる研究を行う、基盤とするために、暫定的（ざんていてき／急ごしらえ。間に合わせ。）に…
７月　　２９日	《大規模言語モデル考察》（７５）　　　　　【● 数字の組で・・・言葉の意味を表す！】（４） …受け入れられる仮説のことです。最終的には仮説自身は放棄されるとしても、仮説をたたき台として、批判に耐えうる強固な理論が生み出せることを期待して、こうした作業仮説が、受け入れられていると言います。《大規模言語モデル考察》（７６）　　　　　　分散表現では、単語をベクトル化し・・・ベクトル同士の足し算は、意味の足し算になります　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（５）ええと… ボードに表示してあるのは… 『英文の使用例を集めた・・・コーパス』から、英語の短文を大量に集めて、幾つかの単語に着目して、その周囲を調べたものす。例えば… ここにある、soda や beer といった語の… 《大規模言語モデル考察》（７７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（６） …周辺には、drink や bottle がよく登場します。car や truck の周辺には、go や drive が、よく登場します。ええ… ある単語と単語が… 文中で同時に出現する事を、＜・・・共起・・・＞と言います。この… ＜単語の・・・《大規模言語モデル考察》（７８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（７）・・・共起関係・・・＞をまとめた、この数表を、２次元平面のグラフ上に、落とし込むと、似た意味の単語が、グラフ上の近い場所に集まります…」　　　　「”参考文献” と、同一の画像がネット上で見つからないので、それに近い画像を表示します。意味は同じです。とりあえず、眺めておいてください。後で説明します…」　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）「うーん…」支折が、ボンヤリとグラフを眺めた。「そうですか…」《大規模言語モデル考察》（７９）　　　　　【● 数字の組で・・・言葉の意味を表す！】（８）「つまり…」茜が言った。「＜★ 分散表現＞では… 文中のある、単語の意味は、＜周囲に・・・どんな単語が、並んでいるかを見れば・・・分かる＞と、いう事ですわ」「ふーん…」支折が、アゴを傾げた。「言語学者というのは、こんな事も、研究しているわけですかあ…」《大規模言語モデル考察》（８０）　【● 数字の組で・・・言葉の意味を表す！】（９）「そうですね…」茜が言った。「言葉というモノの… 不思議さに気づき、本格的に解明しようとした人達がいたわけです。こうした、歴史に埋もれていたような努力が、＜チャット・プログラムの・・・創出・・・＞に際し…
７月　　３０日	《大規模言語モデル考察》（８１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（１０） …＜言葉の本質／・・・言葉の構造＞という事で、脚光をびた様ですね」「うーむ…」高杉が、ボードのグラフを眺めた。「初めて見るグラフですねえ…」「ええと…」茜が、うなづいた。「この方法なら… ＜単語の意味を・・・《大規模言語モデル考察》（８２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　共起語とは?　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（１１）・・・周囲の単語との・・・共起関係のみで表現・・・＞できますわ。 “参考文献” の表では… 縦軸に、＜beer　soda　car　truck＞をとり横軸に、＜eat　bottle　cold　drink　go　drive　run＞の、7つの単語をとっています。《大規模言語モデル考察》（８３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（１２）つまり… ここでは… ＜★ car は、７次元の（7つの単語の）ベクトル・・・（横軸の順に、）４４、２、１、２、９９、４６、１４＞で、記せばいいわけです。同じく… ＜★ Truckは、７次元のベクトル･･･３２、０、２、０、１０２、６７、１５＞ … 《大規模言語モデル考察》（８４）　【● 数字の組で・・・言葉の意味を表す！】（１３） …で、表せます。 car と Truck は… 字面（じづら）が違っても、似た意味を持っていることが、ベクトルの値で読み取れるわけです。このベクトルは… eat　bottle　cold　drink　go　drive　run の、7つの単語との関係性に… 《大規模言語モデル考察》（８５）　【● 数字の組で・・・言葉の意味を表す！】（１４） …よって、car や truck という、単語の意味を表現しているわけですね。つまり… ＜単語の持つ意味が・・・７次元の成分に、分散して表現・・・＞されている、わけです。この事から、単語の意味をベクトルで表すことを… 《大規模言語モデル考察》（８６）　【● 数字の組で・・・言葉の意味を表す！】（１５） …＜★ 分散表現＞と呼びます」「うーん…」支折が言った。「単語は、この7つでなくても、いいわけかしら？」「そうですね…」茜が言った。「複数の、ベクトルが取れればいいわけですから、そうだと思います。「”参考文献” と… 同一の画像がネット上で見つからないので、それに近いコーパスの画像を表示します。意味は同じです。＜★ beer は・・・７次元のベクトル＞ = have　new　drink　bottle　ride　speed　read の、単語からのベクトル・・・　　　　　横軸の、＜３６、１４、７２、５７、３、０、１＞で、表せます。　　＜★ wine は、７次元のベクトル＞ = ＜１０８、１４、９２、８６、０、１、２＞で表せま　　　　　す。主成分分析などの手法で、次元を圧縮すると、似た意味の語が近くに集まる・・・と　　いう事です。　　　「これはさあ…」支折が言った。「＜ベクトル／・・・力と方向の矢印＞では、ないけど… 私達には、矢印のアナロジー（Analogy／・・・ある事柄をもとにして、他の事柄について推し量ること）の方が、分かりやすいわよね？」「そうですね…」茜が、うなづいた。「でも、話を最初に戻しますが、コンピューターには、ベクトルは、この＜７次元の数値の方が・・・扱いやすい＞様ですね。私自身も、専門家ではないですので、”参考文献” 以上のことは、分かりません」「はい…」支折が、コクリとうなづいた。
７月　　３１日	《大規模言語モデル考察》（８７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　兄という単語の意味・・・　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（１６） “参考文献” には、これ以上の、詳しい説明はありません。要するに… ＜分散表現＞を使えば、“和服” や “着物” といった、単語の文字列の並びとは独立して、＜単語の意味を・・・数値で表現＞できるわけですわ。《大規模言語モデル考察》（８８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　共起語とは?　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（１７）コンピューターに… 単語や、文章の持つ意味を扱わせるなら、文字列に縛（しば）られずに、意味をそのまま扱える、”ベクトル形式” の方が、適していると言います」「ふーむ…」高杉が、うなづいた。「そういう事ですか… 《大規模言語モデル考察》（８９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜ＬＬＭ／大規模言語モデル＞　　　（／ネットより画像借用）【● 数字の組で・・・言葉の意味を表す！】（１８）＜ＬＬＭ／大規模言語モデル＞では、この＜分散表現＞が、取り入れられている、というわけですね？」「はい…」茜が、うなづいた。「そうです！」【● 単語の意味を・・・足し算・引き算する】　（１）　茜が、ノートパソコンから目を上げた。… 《大規模言語モデル考察》（９０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　『Word２Vec 』　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（２） …そして、スクリーンボードのコントローラーを取り、モザイク画像の１つを拡大した。「ええ…」茜が言った。「話を、進めましょう… ２０１３年に… グーグルのミコロフ（Tomas Mikolov）らが、発表した… 『 Word２Vec 』は… 《大規模言語モデル考察》（９１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（３） …ニューラルネット（／機械学習の一種）を用いて、＜単語の意味の・・・分散表現を、生成するシステム＞です。先ほどの… ７次元ベクトルの例では、＜個々の単語の、共起関係を・・・1個づつ調べて・・・数表の形に整理・・・＞したものですね。一方… 　　　　「イチロー」 - 「野球」 + 「サッカー」 = 「ロナウド」　　　　　　（／ネットより画像借用）《大規模言語モデル考察》（９２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（４）『 Word２Vec 』の場合は… ＜１度に、様々な単語のベクトルを・・・まとめて生成＞できるシステムです。こちらの方は、別の方法で、”単語の・・・共起関係” を、学び取ります。　訓練用のテキストから・・・数単語のフレーズを・・・ランダムに抜き出し・・・前後の単語から・・・
８月　　１日	《大規模言語モデル考察》（９３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（５）･･･真ん中の単語が何かを当てる・・・単語当てクイズ・・・＞を、くり返すものです」「ふーむ…」高杉が言った。「＜単語当てクイズ＞という言葉は… ＜ＡＩ関係＞の文章で、何度も見かけています。＜単語の意味を・・・《大規模言語モデル考察》（９４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 [AI・機械学習の数学]　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（６）・・・分散表現の・・・ベクトルで生成するため・・・＞に、やるのですか」「でも…」支折が、髪を揺らした。「まだ、なんとなく、シックリとしなわねえ…」「はい…」茜が、うなづいた。「それは、私達がまだ、こうした世界に、馴染んで… 《大規模言語モデル考察》（９５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（７） …いないからだと思います。ええと… ＜単語当てクイズ＞の、正答率が、上がるように… 『 Word２Vec』は、＜前後の単語に、割り当てたベクトルを・・・初期値から、少しづつ変化・・・＞させて、行きます。そして、＜単語当てクイズ＞が… 《大規模言語モデル考察》（９６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（８） …得意になった頃には、それらの＜ベクトルが・・・各単語の意味を・・・うまく表したもの！＞に、なっている、という事ですわ」「ふーむ…」高杉が、うなった。「その、＜ベクトルが・・・エキス／意味・・・＞と、なるわけ… 《大規模言語モデル考察》（９７）　　　　　　　　　　　　　　　　一面のラベンダー畑！　「富良野・美瑛ノロッコ号」で北海道の夏の絶景　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（９） …ですか、」「うーん…」支折が、頭を傾げた。「ラベンダーのエキスを、抽出したのを思い出すわねえ… 北海道／美瑛町（びえいちょう）で作った、ラベンダーのエッセンシャル・オイルは、今も、机の隅に置いてあるけど、」《大規模言語モデル考察》（９８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１０）「ほほ…」アンが、口に手を当てた。「あの時の… 去年、一緒に北海道へ行った時の…エッセンシャル・オイルですか？」「ええ…」支折が、生真面目（きまじめ）に、うなづいた。「その、アナロジー（analogy／類推。類似。）です…」「うーん…」アンが…
８月　　２日	《大規模言語モデル考察》（９９）　　　　　　　　　　　　　　　　　　　　　　　ラベンダー／水蒸気蒸留・・・エッセンシャル・オイルの精製　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１１） …肩を傾げた。「エッセンシャル・オイルですか…」「さあ…」茜が、顔を崩しながら言った。「ええと… この… ＜クイズ当ての・・・問題・回答は・・・全て訓練用テキストの中に入っている＞ので、『 Word２Vec 』の… 《大規模言語モデル考察》（１００）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１２） …＜機械学習の方法は・・・教師なし学習＞と、呼ばれます。これは… ＜★ 質問・回答がセットの・・・統計的・機械翻訳の方法・・・教師あり学習＞と、対比したものですね」「うーん…」支折が、唇をつまんだ。… 《大規模言語モデル考察》（１０１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１３） …「＜★ 問題・回答は・・・訓練用テキストの中に存在し・・・教師がいないから・・・教師なし学習＞ですか…？そして… ＜★ 質問・回答がセットになった・・・機械翻訳は・・・教師あり学習＞と、いう事ですか」《大規模言語モデル考察》（１０２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１４）「そうですね…」茜が、ノートパソコンに目を流した。「話を進めます… ええと… 『 Word２Vec 』のシステムでは、＜単語の意味を・・・足し算・引き算できるコト・・・＞で、大きな話題になった様ですね」《大規模言語モデル考察》（１０３）　　　　　　　【● 単語の意味を・・・足し算・引き算する】　（１５）「うむ…」高杉が言った。「そんな事を、言っていましたねえ… 私は、何となく、聞き流していましたが…」「そうですね…」茜が、小さくうなづいた。「＜ＡＩ開発＞のことは、大概そうでしたね… 今、それを、復習しているわけです。放置できない、という事で。あ、ええと… 『 Word２Vec 』で… 出力した、＜・・・単語のベクトル・・・＞を、使うと… 《大規模言語モデル考察》（１０４）　　【● 単語の意味を・・・足し算・引き算する】　（１６） …”興味深い・・・計算” が、成り立つ様ですね。 ①　「Paris」－「France」＋「Japan」 = 「Tokyo」 ②　「Sushi」－「Japan」＋「USA」 = 「Pizza」 …と、なる様です。これは、おかしな数式です。《大規模言語モデル考察》（１０５）　　　【● 単語の意味を・・・足し算・引き算する】　（１７）でも、２つとも、”直感的には・・・納得いく式／計算結果結果” なのでは、ないでしょうか？これらの… ＜単語の・・・分散表現・・・＞には… 「Paris」が、「フランス・首都・大都市」といった単語と、＜共起＞しやすい… 《大規模言語モデル考察》（１０６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　フランス／パリ／凱旋門　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１８） …わけですね。「Tokyo」は、「日本・首都・大都市」といった単語と、＜共起＞しやすいわけです。「Paris」や「Tokyo」には、そもそも、＜こうした情報が・・・含まれている！＞と、いう事です。それが、“字面（じづら）” … 《大規模言語モデル考察》（１０７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　日本／東京／スカイツリー　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（１９） …ではない “ベクトル表示” で、＜顕在化＞して来る、様ですわ。そのため… ＜それ等の情報／ベクトルが・・・足し算・引き算される・・・＞ことで、＜意味の・・・足し算・引き算が・・・可能・・・＞に、なる様です」　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）
８月　　３日	《大規模言語モデル考察》（１０８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜ベクトル／・・・力と方向の矢印＞　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（２０）「うーん…」支折が、髪を揺らした。「＜ベクトル／= 力・方向の矢印＞だから、それが可能になるのかしら？新しい概念よねえ、」「そうですね…」茜が言った。「ともかく、しばらく、眺めてみましょう… 《大規模言語モデル考察》（１０９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（２１）ええと… 『 Word２Vec 』は… 単体では、＜分散表現の・・・ベクトルを生成＞する、だけですが… 『 Word２Vec 』の後に、他のニューラルネットを接続して、＜教師ありの・・・機械学習＞を行うと、様々な言語処理… 《大規模言語モデル考察》（１１０）　　　　　【● 単語の意味を・・・足し算・引き算する】　（２２） …に、用いる事ができる様ですね。『 Word２Vec 』／ニューラルネットは… ＜学習の過程で・・・内部にある無数のニューロンの重み付け（パラメーター）を・・・少しづつ変化・・・＞させて行きますが、この際に、『 Word２Vec 』が… 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）《大規模言語モデル考察》（１１１）　　【● 単語の意味を・・・足し算・引き算する】　（２３） …生成した、＜単語の・・・ベクトルの数値も・・・更新＞されます。ええ… 質問応答や文章分類など、タスクに応じて、＜単語の・・・分散表現＞が、微調整される様ですね。ええと… ＜分散表現＞を、ニューラルネットと… 《大規模言語モデル考察》（１１２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（２４） …組み合わせることで、タスクの正答率を、高められる様になった、という事ですわ」「ふーむ…」高杉が、頭の後ろに手を当てた。「まあ… ようやく、＜分散表現の・・・大草原の片隅・・・＞に、足を踏み入れた感じですねえ。《大規模言語モデル考察》（１１３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜● LLM／大規模言語モデル＞　　（／ネットより画像借用）【● 単語の意味を・・・足し算・引き算する】　（２５）＜● ＡＩ／大規模言語モデル＞は… この＜★ 分散表現＞と、＜★ Transfomer という・・・ニューラルネット＞が、中核なのですね？」「そうですね…」茜が、うなづいた。「では… 次に、その＜Transfomerの・・・考察＞に、移りましょうか…」
８月　　４日	《大規模言語モデル考察》（１１４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　玩具／『トランスフォーマー』　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer】　（１）　「さあ…」茜が、スクリーンボードの画像を切り替えた。「いよいよ、＜Transfomer＞ですね… 改めて、言いますが… ＜★Transfomer というのは・・・ニューラルネット／= 人間の脳の神経回路を模した・・・数理モデルであり・・・《大規模言語モデル考察》（１１５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ニューラルネットワークとは・・・　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２）・・・機械学習や、深層学習の、基盤となる技術・・・＞ですね。ええ、その前に… 少し、まとめをして、置きましょうか。　　 ◆ コンピューターで、単語の意味を捉えるには・・・　　複数の数値からなる、ベクトルで意味を表す・・・《大規模言語モデル考察》（１１６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３）　　・・・＜★ 分散表現＞が、適している、という事です。 ◆ ＜★ 分散表現＞と、＜★ Transfomer／= 広く深く、データの特徴を学ぶ・・・　　ニューラルネット＞の、組み合わせで、＜● 大規模言語モデル＞が、生まれた、　　という事ですね。《大規模言語モデル考察》（１１７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（４）そして・・・ ◆ ＜● ＡＩ／・・・大規模言語モデル＞は・・・　　言語や自然現象の、複雑なシステムを、まるごと受け止められる点で、＜★ ヒトの脳と・・・よく似た情報処理＞を、行っている。　　 …と、いう事です」《大規模言語モデル考察》（１１８）　　　【● 広く、深く学ぶ・・・Transfomer 】　（５）「その…」高杉が言った。「＜● ＡＩ／大規模言語モデル＞が、急速に、研究開発が、加速している、という事ですねえ、」「はい…」茜が、うなづいた。「そうです… ええと… また少し、まとめをして、置きましょう。これは、*＜・・・警鐘！！・・・＞* です。《大規模言語モデル考察》（１１９）　　　　　　マンハッタン計画で製造された、原子爆弾。　　『リトルボーイ』上　　、『ファットマン』下　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（６）　　＜★ AI の・・・研究開発＞は・・・＜★ 人類文明にとって・・・無用な長物の・・・危険性！・・・＞が、警鐘されつつ・・・　　　＜私達の知らない所で・・・急速に・・・研究開発が加速！・・・＞しています。　当／《HomePage／人間原理空間》では・・・　　　＜★原子爆弾の開発／・・・
８月　　５日	《大規模言語モデル考察》（１２０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　マンハッタン・プロジェクト　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（７）・・・核戦略時代の開闢（かいびゃく）となった・・・マンハッタン計画＞と、＜ＡＩ開発の・・・暴走！＞を、”類似の現象／・・・状況” 、と捉えています。＜★ 原子爆弾／・・・核戦略時代・・・＞は、結局、人類文明には、何の幸福も、もた　　らさなかった、と言う事です。《大規模言語モデル考察》（１２１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（８）ひたすら、＜・・・無の長物だった！・・・＞と、いう事ですわ。ええ・・・＜★ ＡＩ／人工知能・・・ “人工の神の創出！ ” ・・・＞も・・・人類文明にとっては・・・＜★ マンハッタン計画を・・・ ”遥かに上回る危険性！ ”＞が・・・予想されます。でも、人間が持つ・・・《大規模言語モデル考察》（１２２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（９）・・・本能的な、好奇心は、それを封殺することは、困難でしょう。ならば・・・＜★ ＡＩ開発は・・・　　慎重を期して・・・戦争・覇道に、利用するのではなく・・・　　地球温暖化対策や・・・学術の探索等に・・・特化! ＞すべきだ。　　《大規模言語モデル考察》（１２３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１０） …と、いう事ですわ」「そうですね…」北原が、大きくうなづいた。「ともかく… ＜人類文明にとって・・・非常に、重大な・・・局面が到来！＞しています。まさに… ＜文明の・・・ターニングポイント！＞が、迫られている、のかも知れません。《大規模言語モデル考察》（１２４）　　　　　　　【● 広く、深く学ぶ・・・Transfomer 】　（１１）それゆえ… ＜ＡＩ分野は・・・１部の人々の独占領域・・・＞と、すべきではなく、＜★ 全人類的な・・・大課題！＞と、するべきです。私は… この意味でも、現在の、国連の管理下で… 《大規模言語モデル考察》（１２５）　　　　　　　　　　　　　　　　　　　　　　　　トランプ大統領・・・　「掘って、掘って、掘りまくれ！」　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１２）　　＜生活者／世界市民の・・・初・世界会議！＞を・・・　　開催する事を、提唱します。＜★ 生活者／世界市民が・・・誰も望んでいない・・・戦争・覇権争い・巨大飢餓が・・・世界中で拡大！＞しています。この状況を、許していていいのでしょうか！＜★ＡＩ技術＞を… 　＜戦争ゴッコや・・・　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）
８月　　６日	《大規模言語モデル考察》（１２６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜地球温暖化対策＞　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１３）・・・覇権ゴッコ＞に、移植するのではなく・・・まさに、＜地球温暖化対策や・・・人類文明の、折返し技術・・・＞に、使って欲しいですね。現在は… ＜戦争ゴッコ・覇権ゴッコ＞が、勢いを増し、＜世界大混乱・・・の兆候・・・＞が、見え始めています。《大規模言語モデル考察》（１２７）　　　　　　　　　　　　　　　　　　　　　　　　　　トランプ大統領・・・　「掘って、掘って、掘りまくれ！」　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１４）＜政治家が・・・理想を語らなく・・・＞なり、〔生活者／世界市民〕から、信用されなくなって、時間が、積み重なっています。それゆえに… “ 政治家ではない・・・不動産屋のオヤジ・・・米トランプ大統領の様な人物・・・” を、招来してしまった様です。アメリカの大統領であり、アメリカの… 《大規模言語モデル考察》（１２８）　　　　【● 広く、深く学ぶ・・・Transfomer 】　（１５） …問題ですが、アメリカは超大国の側面を持ちます。その… 超大国のアメリカが… ＜世界のパラダイム（paradigm／あるひとつの時代の人々の考え方を、根本的に支える概念。）の・・・国際法／国際秩序／国際的慣習・・・を破壊し・・・世界を大混乱・・・＞に、陥れています。《大規模言語モデル考察》（１２９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１６）＜ウクライナに・・・不埒（ふらち／・・・道理にはずれていて、けしからぬこと。）な、侵略戦争を仕掛けた・・・ロシア／プーチン大統領＞＜ガザで・・・世界が注目する中で・・・ジェノサイドを継続する・・・イスラエル／ネタニヤフ首相＞そして… ＜イランの・・・《大規模言語モデル考察》（１３０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１７）・・・地下核施設に、大型貫通爆弾／バンカーバスターＧＢＵ-５７（／・・・アメリカ空軍によって開発された、３０,０００ポンド（約１３・６トン。全長６m。の精密誘導爆弾。）を、B－２ステルス爆撃機を使用して投下し・・・ウクライナ戦争・ガザ戦争には、匙（さじ）を投げ・・・パリ協定と、ＷＨＯを脱退し・・・アメリカ自身もクラッシュさせている張本人・・・米／トランプ大統領・・・＞この、３人が… まさに、＜世界を・・・大混乱の方向・・・＞へ、引き寄せている様相ですね。《大規模言語モデル考察》（１３１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜生活者／・・・８０億の、世界市民＞　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１８）これは… ＜● 生活者／・・・８０億世界市民の、望む方向ではない！＞ …と、いう事です。この事態に、全力で、強力に、抗議するべきです。ええ… こうした、時代状況であり… ＜★ ＡＩ開発の・・・問題＞ばかりでなく、＜地球温暖化対策＞や…
８月　　７日	《大規模言語モデル考察》（１３２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ガザ　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（１９） …＜世界平和・・・移民・難民・飢餓対策・・・＞のためにも… ＜生活者／世界市民の・・・初会議！＞を、開催する事を、強く、提唱します！」「はい…」茜が、うなづいた。「そうした、スタンスも踏まえ、話を進めましょう… 《大規模言語モデル考察》（１３３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ＡＩの軍事利用　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２０）でも… ＜人間の好奇心・・・学術的なＡＩの研究開発・・・それ自体＞は、＜・・・悪・・・＞と言うコトではないわけですね。ここが、まさに、＜マンハッタン計画と・・・類似・・・＞している所ですね。そして… ＜科学者達の・・・反省・大後悔も・・・ここに集中している！＞わけですね。学者は、純粋に研究開発をしますが、それが… 《大規模言語モデル考察》（１３４）　　　　　　　　　　　　　　　マンハッタン計画／最初の原爆実験　「トリニティ実験」の核爆発の様子　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２１） …政治家・軍人の手に移ると、収拾が付かなくなりますわ…」「さあ…」茜が、スクリーンボードに目を投げた。「前置きが、長くなりました… ＜★ Transfomer＞の、考察に入りましょうか。　　　　　　　　　　　　　　　＜ニューラルネット＞は… しばしば、＜ヒトの脳の・・・《大規模言語モデル考察》（１３５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２２）・・・神経回路を真似た・・・情報処理＞と、説明されています。ええ… 処理内容という、面から見れば… この技術は… ＜入力された・・・複数のデータ間に存在する・・・ ”関係性” ・・・を学びとって・・・表面的な文字列や、数字の背後にある・・・データの特徴を取り出す・・・計算手法＞《大規模言語モデル考察》（１３６）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２３） …と、いう事ですね。＜単語が持つ・・・意味情報！＞を扱う上で、“非常に・・・相性の良い方法！ ” と、いう事です」「しかし…」高杉が言った。「＜ニューラルネット＞が… ＜自然言語処理（Natural Language Processing、略称／NLP = 人間が日常的に使用する言語（自然言語）をコンピュータに理解させ、処理させる技術。）＞で… 《大規模言語モデル考察》（１３７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２４） …使われるようになったのは、ここ、１０年ほどの事だと、聞いていますねえ、」「そうですね…」茜が、うなづいた。「キッカケと、なったのは… ＜★ 深層学習／・・・ディープラーニングの・・・登場！＞だった様ですね。＜深層学習＞は…
８月　　９日	《大規模言語モデル考察》（１３８）　ノーベル物理学賞にＡＩの中核「機械学習」の基礎に関わった２人。右が、ジェフリー・ヒントン　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２５） …ノーベル物理学賞を受賞した、カナダ／トロント大学のヒントン（Geoffrey Hinton。…ジョン・ホップフィールド（John Hopfield）と共に受賞。）が、２０００年代後半から、提唱していたものです。彼は、２０１２年の… 《大規模言語モデル考察》（１３９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　画像認識競技会　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２６）＜画像認識のコンテスト／ＩＬＳＶＲＣ＞で、その威力を、世界に示した様ですね。＜ＩＬＳＶＲＣ＞というのは… 画像中にある、物体の認識や、セグメンテーション（／切り出し）アルゴリズムの、性能を競うコンテストです」「ふむ…」高杉が… 《大規模言語モデル考察》（１４０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２７） …言った。「色々なものが、あるんですねえ…」「そうですね…」茜が言った。「ともかく… ＜★ 深層学習／・・・ディープラーニング＞は、入力データから、抽象的な特徴を学び取るのが得意で、その名前の通り… 《大規模言語モデル考察》（１４１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　グーグル／バスワニ（Ashish Vaswani）　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２８） …＜深い学習に・・・秀（ひい）でた・・・ニューラルネット＞だ、という事です」「ふーむ…」高杉が、うなづいた。「で…？」「あ…」茜が言った。「ええと… ２０１７年には… グーグルの、バスワニ（Ashish Vaswani）らが… 《大規模言語モデル考察》（１４２）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（２９）＜自然言語処理に向いた・・・　　　　　　　　深層学習のニューラルネット・・・Transfomer ＞を、発表しています。＜Transfomer＞は… 長い文章の中で、遠く離れた単語どうしの関係性を、上手（うま）く学び取ります。“深い学習” だけでなく… 《大規模言語モデル考察》（１４３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３０） …“広い学習” にも秀でた、ニューラルネットなのです。翌／２０１８年には… ＜ Transfomerを用いた・・・言語モデル＞が、あいついで登場しています。＜グーグルの・・・ＢＥＲＴ＞と、＜オープンＡＩ（社）の・・・ＧＰＴ＞ですね。ええと…
８月　　１０日	《大規模言語モデル考察》（１４４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３１）今でこそ、＜ GPT＞の方が有名ですが、最初に＜大規模言語モデルの・・・ブーム＞を引き起こしたのは、＜ BERT＞の方です。ちなみに… ＜ＢＥＲＴ = Bidirectional Encoder Representations from Transformers／＝・・・　　《大規模言語モデル考察》（１４５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３２）・・・Transfomer を使って学ぶ、エンコード表現・・・の略称＞＜ＧＰＴ = Generative Pre-trained Transformer／ = 事前訓練済みの、生成的 Transfomer ・・・の略称＞ …です。この２つの英語表現の略称自体が、＜ＢＥＲＴ＞と＜ＧＰＴ＞の特徴を、表しているのかも知れません」《大規模言語モデル考察》（１４６）　　【● 広く、深く学ぶ・・・Transfomer 】　（３３）「そうなんですか…」北原が言った。「あ…」茜が笑った。「専門家ではないので、詳しい事は言えません… さあ… いよいよ… ＜大規模言語モデルの・・・仕組みの話・・・＞に、入って行きましょう。まずは、最初にブームを引き起こした、＜ＢＥＲＴ＞の方からです。「はい…」支折が、大きくうなづいた。《大規模言語モデル考察》（１４７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３４）「＜ＢＥＲＴ＞は…」茜が言った。「まず、初めに… ネット上にある『Wikipedia』などの、大量のテキストデータを使った、＜★ 事前学習＞を行います。 “テキストの中の単語を・・・伏せて・・・それを当てる・・・単語当てクイズ” を、ひたすら、解きます」「それが…」支折が言った。「＜★ 事前学習＞なのですね?」「そうです…」茜が言った。「人間では、＜クイズ脳＞などと、揶揄（やゆ／からかうこと）されることもありますが、まさにニューラルネットが、鍛えられるわけですね。＜ BERT＞は… 単語が、うまく当てられる様に、“ニューラルネットの・・・重み付け・・・” を、変えて行きます。その過程で、“単語の・・・多面的な意味をとらえた・・・分散表現・・・” を、獲得できる様に、なって行きます」《大規模言語モデル考察》（１４８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３５）「そうかあ…」支折が、言った。「これは、＜ Word２Vecの・・・訓練＞と、似ているわねえ…」「そうです…」茜が、大きくうなづいた。「ただし、クイズの難易度が、桁違いですわ… ＜ Word２Vec＞は、“数単語の・・・フレーズの中” で、解いていました。これに対し、＜ＢＥＲＴ＞は、“複数の・・・段落を含む様な・・・長い文章の中” で、このクイズを解くのです」「ふーん…」支折が、口に手を当てた。「すごい、飛躍よねえ…」「そうですね…」茜が言った。「私達／人間が… 国語の文章問題で、空欄補充の問題を、解く場合は… “前後の段落まで見渡して・・・文脈を考慮しながら・・・適切な語句を考えようとする” …わけですね。＜ＢＥＲＴ＞が、やっているのも、基本的には、それと同じです」
８月　１１日　　　山の日	《大規模言語モデル考察》（１４９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３６）「はい…」支折が言った。「＜ BERT＞の…」茜が言った。「内部にある＜Transfomer＞は… 単語当てクイズを、解くには… “文章のどこに・・・注目すれば良いかという・・・注意の向け方・・・” を、学習するのです。その結果… 個々の単語の意味を表す、ベクトルの中には… “周囲の単語との、関係性だけでなく・・・　前後の文章や・・・段落との関係性・・・さらに、文章全体の文脈情報を・・・広く取り混ぜた情報・・・”　 …が、格納できる様になって行く、という事ですわ」「うーん…」支折が言った。「何で、こんなコトが出来るのかしら？」《大規模言語モデル考察》（１５０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３７）「確かに…」茜が言った。「そうですが… ヒトの脳も、普通にやっているコトですわ。でも、それが、驚異的であり、私達の理解を超えている所ですね。現在、逆に… ＜Transfomer＞から、ヒトの脳へのアプローチが進んでいます。ヒトの脳は理解できなくても、＜Transfomer＞は人間が組み上げたモノです。膨大な組立部品も、開発経過も、訓練まで、全てのテクノロジーが、分かっているわけですから、」「しかし…」高杉が言った。「最後に… 何故、コレが、＜脳の・・・発火（神経細胞／ニューロンが・・・電気信号を発生させる現象）＞に、結びつき、“思考・・・という、超越が、起こるのか・・・理解できない・・・” と？」《大規模言語モデル考察》（１５１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】　（３８）「はい…」茜が、うなづいた。「その様ですね… 脳科学者も、ＡＩ科学者も、そろって、首を傾げる所です。“参考文献” の、論文記事の表題にある… 『■ オウム以上フクロウ未満？　生成ＡＩの “思考力” 』と、いうことですね。その、 “思考力の・・・発火・・・” が、”理解不能な・・・謎・・・” と、　　いうことです。ええ… 話を戻しましょう。事前学習を終えた、＜ＢＥＲＴ＞は… 文章中の全ての単語について、”どれを隠されても・・・当てられる状態・・・” になっています。これは、人間に例えれば、”文章を・・・隅から隅まで、舐（な）め尽くすように・・・読み終えた状態” です。子供の頃から… 何度も、読み込んだ本であれば… 途中のページにあるキーワードを、目に止めた時に… 　　“ 筆者は・・・こういう意味で・・・使っているのだろうな・・・” 　　“あの辺りに・・・これと関係しそうなことが・・・書いてあったな・・・” …といった、漠然としたイメージが、スッと、頭に浮かぶと、思います。つまり…
８月　　１２日	《大規模言語モデルの考察》（１５２）　　　　　　　　　　　　　　　　　　　　　　Pythonで、単語分散表現のクラスタリング - Ahogrammer　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（３９）事前学習を終えた、＜ BERT＞は… 文章中の、全ての語句に対して、こうしたイメージを、“ ☆ ベクトル形式で・・・スッと、取り出せる・・・” ように、なっているわけです。「うーん…」支折が、髪を揺らした。「＜分散表現の・・・ベクトル形式＞で、てすかあ、」「そうです…」茜が言った。「＜事前学習を終えた・・・ＢＥＲＴの内部＞では… “ 文章の意味を・・・ベクトルへ、上手く変換できるように・・・ニューラルネットの重み付け・・・” が、変化しています。つまり… ニューラルネットの中には、事前学習でテキストに含まれていた、”あらゆる単語間の・・・関係性・・・” が、獲得されているのです。《大規模言語モデルの考察》（１５３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４０）前に… ① ② ③ の、タスクを考察しましたが、覚えていますか？」「ええと…」支折が、自分のモニターを、マウスでスクロールした。「うーん…」支折が言った。「この辺りかしら…あ、ありました… ① “会話のパターンを・・・全てプログラムに書き込む” ② “文法などのルールを・・・プログラムに書き込む” ③ “質問と答えの・・・相関関係を学ばせる／・・・教師あり学習／・・・統計的機械翻　　　訳” …ですね？」「そうです…」茜が、微笑した。「丁寧に、有難うございます… ③ の、例では… タスクごとに、別の統計手法で、文意を処理する必要がありました。でも、＜大規模言語モデル＞なら、少し調整を加えるだけで、済むのです」《大規模言語モデルの考察》（１５４）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４１）「ふーん…」支折が、うなづいた。「③ は、“質問と答えの・・・相関関係を学ばせる／・・・教師あり学習／・・・統計的機械翻訳” ですよね、」「はい…」茜が、うなづいた。「この ③ の… “教師あり学習の・・・教師データ・・・” となる、“例題と、答えの・・・セット” を、小数与えて… ＜ BERT＞の、出口から… ＜答えを表現する・・・ベクトルが出て来るように・・・ニューラルネットを微調整・・・＞する、だけですわ。この、微調整を、＜ファインチューニング＞と、呼ぶそうです」「ふーん…」支折が、口に拳を当てた。「＜ファインチューニング＞ですか、」「大量の…」茜が、ノートパソコンに目をやった。「テキストで学ぶ… ＜★ 共通の･･･事前学習＞と… 用途に応じた、少量の、＜ファインチューニング＞で… ＜ BERT＞は、“質問応答” や “ 文章の分類” といった、”全く種類の異なる・・・言語タスク” に、対応できる様ですね」「ふーん…」支折が、上体を後ろにそらせた。「それだけですか…」「そうです…」茜が言った。「ええと…
８月　　１３日	《大規模言語モデルの考察》（１５５）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４２）この便利さが、評判になり… ＜ BERT＞を使用する、自然言語処理の研究者が、急増した様ですね。一時は、＜BERT があれば・・・何でもできる＞とさえ、言われた様です」「ふーん…」支折が言った。「でも、＜ GTP／Ｃｈａｔ GPT＞が、出てきたわけですか、」「そうです…」茜が、うなづいた。「明智光秀の… ３日天下（／明智光秀は、主君を裏切り、本能寺で織田信長を倒しました。しかし、わずか３日で、羽柴秀吉に倒された古事。）ではありませんが、＜グーグルの・・・ＢＥＲＴ＞を、たった数年で追い抜いたのが、＜オープンAI（社）の・・・ＧＰＴ＞です。ええ… この＜ＧＰＴ＞と、＜ＢＥＲＴ＞は、よく似ています。《大規模言語モデルの考察》（１５６）　　　　　　　　　　　　　　　　　　　　　　　　　　大規模言語モデル／ BERTとGPT　の学習の様子　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４３）＜最初に・・・　事前学習で、単語当てクイズを解いて・・・　単語の意味を表す、ベクトルに・・・　他の文章や、文脈の情報が・・・織り込まれて行く・・・＞ …という点では、同じだ、という事ですわ。ただ… ＜ＧＰＴ＞と＜ＢＥＲＴ＞では… ＜事前学習で解く・・・クイズの出題の方法が・・・異なっている！＞と、いう事です。＜ＢＥＲＴ＞は、＜★ 文章の途中を・・・１単語隠した、穴埋めクイズ＞を、解きます。これに対し… ＜ＧＰＴ＞は、＜★ 文章の途中から・・・後ろを全て隠して・・・次に来る単語は何かを・・・それまでの文章から・・・予測！・・・＞させる、様です。これは… いわば、＜★★ 単語生成クイズを・・・解いている！＞ことに、成るのだそうです」《大規模言語モデルの考察》（１５７）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４４）「うーん…」支折が、頭を揺らした。「それは、確かに、相当に違うわねえ…」「こうした…」茜が言った。「＜★ ＧＰＴの・・・事前学習の、やり方＞は… 後で、実際にクイズを解く時に、大きな意味を持って来る、と言います。＜ＧＰＴ＞にとっては… ＜○○という英語を・・・和訳して＞という、翻訳タスクも… ＜日本初の・・・ノーベル賞受賞者は？＞という、質問応答タスクも… 全て、＜★★ 単語生成クイズの・・・１種＞と、みなせるからです。＜BERT＞では… ＜事前学習後に・・・改めて・・・回答方法を学ぶ必要！＞が、あります。
８月　　１４日	《大規模言語モデルの考察》（１５８）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４５）＜ＧＰＴ＞の場合は… そのままでも、ある程度のタスクをこなす事が、可能な様です。もちろん、調整を行った方が、精度は上がるという事ですね。つまり… ＜ＧＰＴ＞は、単語の意味や、文法だけにとどまらず… ＜★ タスクの解き方・・・そのものも・・・事前学習で・・・それなりに獲得している！＞と、いうことに、なる様です。「ふーん…」支折が言った。「事前学習のやり方で、そんなに違って来る、わけですか…」「そうですね…」茜が言った。「ええと… このコトに関して、“参考文献” による説明は、ここまでです。まだ、開発途上にある、という事ですね。《大規模言語モデルの考察》（１５９）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４６）＜ＡＩの・・・研究開発＞は… 日進月歩で、進行している事が、予想されます！この “参考文献” は… 『日経サイエンス…2023／10』の、ものです。前に考察した、《ＡＩの・・・考察》は、『日経サイエンス…2024／02』の、ものですね。いずれも… だいぶ前のものになりますが、開発の経過／基礎を整理するという事で、古い資料を使用して来ました。ええ… そういうわけで、現状は相当に、進んでいるものと思われます。２０２５年度の末頃までには、理化学研究所／泰地真弘人さんのグループの、＜基盤モデルの・・・試験版＞も、リリースされる様です。あ、これは、早ければ、という事ですが… 《大規模言語モデルの考察》（１６０）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４７）さあ… 話を、簡単に、まとめて置きましょうか。＜● 大規模言語モデル＞は… ＜★ 単語の分散表現＞と、＜★ Transfomer＞の、組み合わせで、誕生したという事ですね。そして… ＜この・・・ＡＩ＞は… ＜言語や自然現象の・・・複雑なシステム＞を、まるごと、受け止められる点で、＜ヒトの脳と・・・よく似た情報処理＞を、行っている、という事です。それから… ＜大規模言語モデルの・・・コア技術／Transfomer＞は、＜脳／海馬の・・・数理モデルと・・・対応関係＞が、あるようです。脳を理解する、ヒントになる、可能性がある、という事ですね」「はい…」支折が、コクリとうなづいた。
８月　　１５日	《大規模言語モデルの考察》（１６１）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ジェフリー・ヒントン（Geoffrey Everest Hinton）　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（４８）「他に…」茜が、みんなを見回した。「何か、質問はあるでしょうか？」「ヒントンは…」北原が、頭の上に手を置いた。「ノーベル物理学賞を受賞したわけでが… ＜深層学習／・・・ディープラーニング＞を、研究していたわけですね。それと、＜Transfomer＞は、どう結びついて、いるのでしょうか？」「はい…」茜が、うなづいた。「確かに… その辺りは、説明が不足していたかも知れません,ね。ええと… ジェフリー・ヒントン（Geoffrey Everest Hinton）は、イギリス生まれの、コンピューター科学者であり、認知心理学（cognitive psychology ／・・・精神過程（例えば…注意、言語使用、記憶、知覚、問題解決、創造性、論理的思考など）に関する、科学的研究。）の研究者ですね。そして… ＜ニューラルネットワークの・・・研究＞をしていて、＜ＡＩ／人工知能の研究の・・・第一人者＞です。《大規模言語モデルの考察》（１６２）　　　【● 広く、深く学ぶ・・・Transfomer 】（４９）米／プリンストン大学（Princeton University）の研究者である、ホップフィールド（John J. Hopfield）と共に、2024年度の、ノーベル物理学賞を受賞しています。ええと… 受賞理由は… ＜深層学習の・・・基礎を・・・築いた業績＞と、いう事ですわ。ですから、そうした基礎の上に、＜ Transfomer＞が、登場したことになります」「それと…」北原が言った。「改めて、聞きますが… ＜深層学習／・・・ディープラーニング＞の、定義とは、どの様なものですか？」「はい…」茜が、うなづいた。「ええと、そうですね… 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）《大規模言語モデルの考察》（１６３）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）【● 広く、深く学ぶ・・・Transfomer 】（５０）『ＩＴ用語集』によると… 　　＜深層学習（ディープラーニング）＞とは・・・深層学習、またはディープラーニングとは・・・人間の神経細胞の仕組みを再現した、ニューラルネットワークを用いた機械学習の手法の１つであり、多層構造のニューラルネットワークを用いることが、特徴です。現在では・・・画像認識や、音声認識、翻訳など、様々な分野で大きな成果を生み出しています。深層学習の仕組みを使って、画像認識や、音声認識などを行うには、まず、ラベル付けされたデータ（教師データ）を用いて、学習させる必要があります。例えば・・・手書きの、数字をＡＩによって認識させたいといった場合、手書きした数字の画像と、その画像に書かれた正しい数字を示したラベルをセットにした、教師データを用意し、多層構造のニューラルネットワークに入力します。この教師データを使って、自動的に学習を行い、手書き数字を認識できるようになる、という仕組みです。ただ・・・認識精度を高めるためには・・・膨大な量の学習データが必要であり、従来はそれを用意することが困難でした。しかし現在は、インターネットの普及などによって膨大なデータを用意することが可能になっています。また・・・学習には・・・膨大な計算を行う必要がありますが、これもコンピューターの進化によって、短時間で、学習できる環境を整えられるようになりました。このように、環境が整備されたことも、深層学習が、進化した大きな要因です。　　 …と、いう事ですね」「はい…」北原が、肩を傾げ、うなづいた。