ＡＩ／人工知能・・・の考察
（３） 
ＬＬＭ／大規模言語モデルの考察
| ＭＥＮＵ／ ボスの展望台／ボスのＴｗｉｔｔｅｒ／物理学／人工知能／ ＬＬＭ・基盤モデルとは？ |
| ＡＩ／人工知能・・・の考察
（３） ＬＬＭ／大規模言語モデルの考察
|
| トップページ／Ｎｅｗ Ｐａｇｅ Ｗａｖｅ／Ｈｏｔ Ｓｐｏｔ／Ｍｅｎｕ／最新のアップロード／ 担当： ボス＝ 岡田 健吉 |
| ２０２５年7月 |
 上から ・・・下へ |
| ７月 １６日 |
《ＬＬＭ／大規模言語モデルの考察》 (1～５) 【プロローグ】 （1～５） “参考文献” 『日経サイエンス・・・２０２３／１０』 『日経サイエンス・・・２０２５／０２』
『日経サイエンス・・・２０２３／１０』 ＜特集＞ = 大規模言語モデル／ 科学を変える ＡI = ■ オウム以上フクロウ未満？／生成AI の“思考力” ＜生成AI は事前に教えていないことを、どういうわけか、理解している様だ。 いったい何故なのか？研究者は理解に苦しんでいる。＞ G.マッサー（SCIENTIFIC AMERICAN 編集部）
＜ChatGPT で一躍有名になったこの AI は、一体、どこからやって来て、どこ へ向かうのだろう。＞ 出村政彬（編集部）
＜脳の中で、異なる種類の情報はどの様に統合されるのか。この長年の未解 決問題に、大規模言語モデルが新たな光を当てている。＞ 平理一郎（東京医科歯科大学） 丸山隆一（科学技術振興機構研究開）
＜AI は、便利な実験ツールにとどまらず、生命現象を俯瞰する新たな視点を 提供しつつある。＞ 出村政彬（編集部）
《大規模言語モデルの考察》 （６） 【プロローグ】 （６） 同じメンバーで、考察して行きます。皆さん、よろしくお願いします。 今回は… 猛暑の季節でもあり…
《大規模言語モデルの考察》 （７） 【プロローグ】 （７） す。
＜ 現在、最終盤になっていますね。《危機管理センター》 で、里中響子さんが、見守ってい ます。それから…
《大規模言語モデルの考察》 （８） 【プロローグ】 （８）
今回は… 当／《HomePage／人間ん理空間》 では… ＜東京都／・・・山尾しおり（さん）＞ を、推奨しています。実力派であり、必ず、 活躍する人材です。よろしくお願いします！ 」
（／ネットより画像借用）
|
| ７月 １７日 |
《LLM／大規模言語モデルの考察》 （９） 【プロローグ】 （９）
あ、折原マチコさんと、ポンちゃんが、さっそく、飲物とフルーツを運んで来てくれています ね、」 マチコとポン助が、それらをワゴンから軽食テーブルの方に移していた。フルーツジュース に、スライスしたスイカは、小皿に…
《LLM／大規模言語モデルの考察》 （１０） 【プロローグ】 （１０）
「マチコさん…」茜が言った。「お久しぶりです！」 「うん！」マチコが言った。「このスイカ、美味しいわよ！ 熊本産だと言っていたわねえ、」 「そうですか…」茜が、満面で微笑んだ。 他のみんなも、軽食テーブルの方に集まって来た。
《大規模言語モデルの考察》 （１１） 【● LLM／大規模言語モデルとは？】 （１）
“参考文献” にある… 4本の論文記事を掲載しましたが、難しい内容…
《大規模言語モデルの考察》 （１２） 【● LLM／大規模言語モデル・・・とは？】 （２）
が、まず２番目の論文記事／『大規模言語モデルとは・・・何か？」 から、入る事にしま す。そして、まさにこれが、このページの本題でもあるわけですね。
《大規模言語モデル考察》 （１３） 【LLM／大規模言語モデル・・・とは？】 （３）
＜LLM = Large Language Models／大規模言語モデル＞ とは… 簡単に言えば… ＜ＣｈａｔＧＰＴの・・・内部で動いている・・・ＡＩ のコト・・・＞ ですね、」 「はい…」高杉が、うなづき、“参考文献” に目を落とした。「ええ…
《大規模言語モデルの考察》 （１４）
【● LLM／大規模言語モデル・・・とは？】 （４）
＜ＣｈａｔＧＰＴ＞ の中では、２０２３年８月現在の、時点ですが… ＜ＧＰＴ-３．５／・・・有料版では、ＧＰＴ-４＞ という、＜大規模言語モデル＞ が、動い ています。 データが、少々古いのは… “参考文献”が…
|
| ７月 １８日 |
《大規模言語モデル考察》 （１５） 【LLM／大規模言語モデル・・・とは？】 （５）
びゃく）時点から、その基盤技術と、“人間の理解を超える・・・奇妙な謎の発火・・・” を、考察 して行こうと、考えています」 「そういう意味では…
《大規模言語モデル考察》 （１６） 【LLM／大規模言語モデル・・・とは？】 （６）
「まあ…」高杉が、顔を崩した。「１０年後に振り返れば、まさに、“当初から” と言えるでしょ う。 ＜ＬＬＭ／＝大規模言語モデル＞ は… ＜オープンAI （社）＞ 以外…
《大規模言語モデル考察》 （１７） 【LLM／大規模言語モデル・・・とは？】 （７）
名 ＩＴ 企業が、ここ数年で、それぞれリリースしています。＜オープンAI（社）の・・・ ＣｈａｔＧＰＴ＞ の登場以後は、さらに動きが加速しています」 「うーん…」支折が…
《大規模言語モデル考察》 （１８）
【LLM／大規模言語モデル・・・とは？】 （８）
さに、そうした時代の、渦中にあるという事ですね？」 「そうです…」高杉が、“参考文献” を取り上げた。「さて…
《大規模言語モデル考察》 （１９） 【LLM／大規模言語モデル・・・とは？】 （９）
ある意味で、シンプルだと言います。 ＜ＬＬＭ／大規模言語モデル＞ は・・・ まず、あらかじめ、膨大なテキストを取り込むのです。そして、そこから、知識を学習 して・・・
《大規模言語モデル考察》 （２０） 【LLM／大規模言語モデル・・・とは？】 （１０）
する様々なタスクを解きます。 特に・・・ ＜ＧＰＴ＞ の場合は、利用者が入力文の形式を変えるだけで、幅広いタスクをこなせ る様です。
|
| ７月 １９日 |
《大規模言語モデル考察》 （２１） 【LLM／大規模言語モデル・・・とは？】 （１１）
出版されている・・・
「はい…」茜が、うなづいた。「ええ… ＜ＧＰＴを・・・ベースにした、システム・・・＞ も …
《大規模言語モデル考察》 （２２） 【LLM／大規模言語モデル・・・とは？】 （１２）
＜日常会話で使う・・・普通の言葉を・・・プログラムの、ソースコードに変換する・・・
さらに…
《大規模言語モデル考察》 （２３） 【LLM／大規模言語モデル・・・とは？】 （１３）
＜ＣｈａｔＧＰＴ の・・・有料版＞ に、＜ されたと、言っています。 この機能は、＜ い項目を…
《大規模言語モデル考察》 （２４） 【LLM／大規模言語モデル・・・とは？】 （１４）
これだけで… “データ解析のための・・・プログラムを生成し・・・自動で、統計解析をしてくれる” と、いう ものですね」 「うーん…」支折が言った。「＜表形式の・・・数値データファイル＞ を、入れて…
《大規模言語モデル考察》 （２５） 【LLM／大規模言語モデル・・・とは？】 （１５）
これが、ええと…
＜ Ｃｏｄｅｘ ＞ …なのですね？」 「はい…」茜が…
《大規模言語モデル考察》 （２６） 【LLM／大規模言語モデル・・・とは？】 （１６）
＜★ この ＡＩ／・・・大規模言語モデルが・・・単なる、便利な、お喋り（おしゃべり）アシス タント・・・＞ の領域を、超えている、という事です。”言葉そのものを・・・本質的に理解し ている様な・・・印象・・・” と、いう事ですわ」 「そうよねえ…」支折が…
|
| ７月 ２０日 |
《大規模言語モデル考察》 （２７） 【LLM／大規模言語モデル・・・とは？】 （１７）
“いきなり・・・テキストから・・・知識を学習する” と、言われても、＜ＬＬＭ／大規模言語モ デル＞ の内部で、何をしているのかは、いまいち、ピンと来ないわねえ…」 「そうですね…」茜が、小さく…
《大規模言語モデル考察》 （２８） 【LLM／大規模言語モデル・・・とは？】 （１８）
ど、まるで雲をつかもうとしている様な、感覚になります。 一体、＜大規模言語モデル＞ では、言語を、どの様に把握しているのでしょうか。
《大規模言語モデル考察》 （２９） 【LLM／大規模言語モデル・・・とは？】 （１９）
この、”参考文献” の中の、論文記事／『■ 大規模言語モデルとは何か』 では、この疑 問を、真正面から取り上げています。
＜大規模言語モデル＞ を、理解する上で、キーワードとなるのが…
《大規模言語モデル考察》 （３０） 【LLM／大規模言語モデル・・・とは？】 （２０）
「うーん…」支折が言った。「＜Ｔｒａｎｓｆｏｍｅｒ＞ という、言葉は… これまで、何度も聞いているわねえ。意味を調べると、”何かを・・・
《大規模言語モデル考察》 （３１） 【LLM／大規模言語モデル・・・とは？】 （２１）
例えば… 変圧器（／電気回路の電圧を変える装置）や、ロボットに変形する玩具／『トランスフォーマー』 な どが、該当するとか。これは、＜ＡＩ／・・・ニューラルネット＞ なのですね。
《大規模言語モデル考察》 （３２） 【LLM／大規模言語モデル・・・とは？】 （２２）
＜★ 単語の意味を・・・ベクトルで表す・・・分散表現＞ とは、どういうもの、かしら？」 「はい…」茜が、うなづき、スクリーンボードに、目を投げた。「そもそも… コンピューターで、単語の意味をとらえるには、＜★ 複数の・・・
|
|
７月 ２１日 海の日 |
《大規模言語モデル考察》 （３３） 【LLM／大規模言語モデル・・・とは？】 （２３）
まり、ボードに書いてある様に…
＝ ＜ベクトルで、単語の意味を表す・・・分散表現＞ ＋ ＜広く、深く・・・データの特徴を学ぶ・・・Ｔｒａｎｓｆｏｍｅｒ＞
《大規模言語モデル考察》 （３４） 【LLM／大規模言語モデル・・・とは？】 （２４）
そして… ＜この ＡＩ／・・・大規模言語モデル＞ は、言語や自然現象の複雑なシステムを、＜丸 ごと受け止められる点で・・・ヒトの脳と、よく似た情報処理・・・＞ を…
《大規模言語モデル考察》 （３５） 【LLM／大規模言語モデル・・・とは？】 （２５）
さあ… そこで、まず… ＜単語の意味を、ベクトルで表す・・・★ 分散表現 ＞ について、説明して行きましょう か。＜広く、深く、データの特徴を学ぶ・・・★ Ｔｒａｎｓｆｏｍｅｒ ＞ については、その後で、 考察します。 とりあえず… ＜分散表現＞ という言葉を、ネットで調べてみました。以下のような、説明になっていま す…
＜分散表現＞ 単語の意味を・・・低次元の実数値ベクトルで・・・表現する手法 分散表現とは、単語の意味を低次元の実数値ベクトルで表現する手法です。 これにより、 単語同士の距離や位置関係から意味を捉えることが可能になります。 具体的には、単語を ”少ない数の・・・要素で構成された・・・ベクトルに変換” し、これを用 いて、単語の様々な側面を表現します。 分散表現は、単語埋め込み（Word Embedding）とも呼ばれ、自然言語処理の分野で広く利 用されています。
ともかく… ここは、”参考文献” に沿って、説明して行きましょうか」 「はい…」支折が…
《大規模言語モデル考察》 （３６） 【LLM／大規模言語モデル・・・とは？】 （２６）
のかしら？」 「はい…」茜が言った。「ええと… そもそも… ”単語が並んだ、文字列データである・・・文章” を、なぜ、”ベクトルの・・・数値データ” に…
《大規模言語モデル考察》 （３７） 【LLM／大規模言語モデル・・・とは？】 （２７）
「そうですね…」アンが、口を開いた。「もちろん、それは、＜分散表現＞ のためですが… 「“参考文献” の… ４番目の論文記事／『■ タンパク質を語る言語』 は、タンパク質のアミノ酸配列を、言語 に見立てて、＜大規模言語モデル＞ に…
《大規模言語モデル考察》 （３８） 【LLM／大規模言語モデル・・・とは？】 （２８）
＜ＤＮＡ／・・・ＤＮＡ言語＞ は… ご存知の様に、二重らせん構造を持ち、Ａ（アデニン）、Ｔ（チミン）、Ｇ（グアニン）、Ｃ（シトシ ン）の、４種類の塩基が並んだ…
|
| ７月 ２２日 |
《大規模言語モデル考察》 （３９）
【LLM／大規模言語モデル・・・とは？】 （２９）
複製される時に… ２重鎖は、１本鎖になるわけですが、この１本鎖が文章構造と似ている、と言う事ですね。 でも、ＤＮＡ言語の解明はこれからですわ。これが読めるなら…
《大規模言語モデル考察》 （４０） 【LLM／大規模言語モデル・・・とは？】 （３０）
は、まさにそれが、実行されているのです。 ええ… ノーベル化学賞を受賞したハサビスの…
＜ の、端緒に着いたという事…
《大規模言語モデル考察》 （４１）
【LLM／大規模言語モデル・・・とは？】 （３１）
盤があるわけです。 ええと、つまり… ＜１本鎖・ＤＮＡという、１本の文章／・・・ＤＮＡ・２重螺旋（らせん）言語＞ を、アッサリと、 理解できるなら、何も ＜ベクトル表示の・・・分散表現＞ に…
《大規模言語モデル考察》 （４２） 【LLM／大規模言語モデル・・・とは？】 （３２）
身の回りに溢れる、生命体／細胞／ＤＮＡ言語は、それをアッサリとクリアしているのです から」 「はい、アン…」茜が、うなづいた。「有難うございます… ＜分散表現＞ や、＜Transfomer＞ …
《大規模言語モデル考察》 （４３） 【LLM／大規模言語モデル・・・とは？】 （３３）
＜Transfomer＞ は、ヒトの頭脳に近い情報処理能力を、展開していると言うことですね」 「うーん…」支折が、髪を揺らした。「まさに…
《大規模言語モデル考察》 （４４） 【LLM／大規模言語モデル・・・とは？】 （３４）
そして… それが、かつての… ＜★ 原爆製造の・・・マンハッタン計画／・・・核戦略時代の開闢（かいびゃく）＞ の様に、 ＜★ 人類文明にとって・・・非常に有害であり・・・必要性のない・・・危険なモノ！＞ に、なるかも知れない…
|
| ７月 ２３日 |
《大規模言語モデル考察》 （４５） 【LLM／大規模言語モデル・・・とは？】 （３５）
「そうですねえ…」高杉が、頭の後ろに、手を当てた。「人間が、幸福に生きるには… ＜人間サイズ／・・・人間原理のサイズが・・・最適だ！ ＞ と、言う コトです。 いわゆる… ＜= 神 =＞ は、人類文明社会に…
《大規模言語モデル考察》 （４６） 【LLM／大規模言語モデル・・・とは？】 （３６）
洋では、古代ギリシャ以降、徳目の一つとされ、キリスト教においては信心を表す用語として認識されています。また、「敬虔 な気持ち」 とは、人や物事を大切にし、心から尊敬している状態を指します。）な生き方／生活を・・・推奨＞ して来た、わけです。 むろん… 現在も、宗教は、一定の勢力を持っているわけですが、科学技術が優勢ですね。ちなみに、 人間の好奇心が…
《大規模言語モデル考察》 （４７） 【LLM／大規模言語モデル・・・とは？】 （３７）
＜物の領域と、心の領域の・・・２つに分割＞ し…また、＜天動説＞ から ＜地動説＞ に、大転換して… ＜文明の第１ステージ／・・・農耕 ・ 文明の曙の時代・・・＞ から、＜文明の第２ステ ージ／・・・エネルギー ・ 産業革命の時代＞ を、創出して来たわけです。 ところが、今／現在… ＜人類文明は・・・複数の面で・・・壮大な壁・・・＞ に…
《大規模言語モデル考察》 （４８） 【LLM／大規模言語モデル・・・とは？】 （３８）
物理科学に、限って言えば… ＜物理学の・・・２本柱／・・・交わることのない、２本のレール・・・＞ 、 すなわち、【一般相対性理論】と、【量子力学／・・・標準モデル】 が、一頓挫（いちとんざ／ ・・・物事の進行 ・ 進展が、中途で一時、くじけること。）、している様相ですね。 これは… 具体的な、分かりやすい例を言えば、＜
《大規模言語モデル考察》 （４９） 【LLM／大規模言語モデル・・・とは？】 （３９）
代表的な、＜ＷＩＭＰ（Weakly interacting massive particle（ＷＩＭＰ・・・ 弱く相互作用する大質量粒子）とは、暗黒 物質の候補の1つ。仮説上の粒子。）＞ も、 ＜アクシオン（／暗黒物質の、有力な候補の１つ。理論上の素粒子。 アクシオンは、太陽内部で生成される可能性があり、暗黒物質問題を解決するだけでなく、強い相互作用に関する深刻な 問題も解決することが期待されている。）＞ も、“空振り” が、続いていますねえ。”三振” も、視野に 入って来ています。 ここら辺りで… 綻び（ほころび）が、始まっている様相ですね。物理学は、現代社会の大きな基盤ですが、この ２本柱が、揺れだしています。 現代物理学で…
＜
《大規模言語モデル考察》 （５０）
【LLM／大規模言語モデル・・・とは？】 （４０）
れています。）が指摘した、“黒体輻射の問題” と、“マイケルソン=モーレーの実験の問題” に、 相当して来るのかも知れません。 つまり、当時… それは、現実には、壮大な、ピント外れ、であり… 【一般相対性理論】 と 【量子力学】 の、パラダイム…
|
| ７月 ２４日 |
《大規模言語モデル考察》 （５１） 【LLM／大規模言語モデル・・・とは？】 （４１）
「＜ＡＩ 開発＞ も…」支折が言った。「その、＜壮大な壁の・・・１つ＞ と、いう事でしょう か？」 「うーむ…」高杉が、頭を傾げた。「まあ、望洋（ぼうよう／あまりに、広々としているために、見当のつかない さま）としていますが、…
《大規模言語モデル考察》 （５２） 【LLM／大規模言語モデル・・・とは？】 （４２）
その壁を、感じます。 ＜基盤モデル＞ を、開発している… ＜泰地真弘人（たいじ・まこと）さん＞ が、言っていましたが、科学的・好奇心という意味では、 必然の流れなのでしょう。だから…
《大規模言語モデル考察》 （５３） 【LLM／大規模言語モデル・・・とは？】 （４３）
結局、流れはそっちの方へ行くだけです。 しかし…
＜ 明社会にとって・・・
《大規模言語モデル考察》 （５４）
【LLM／大規模言語モデル・・・とは？】 （４４）
なりはしないか、という事ですねえ。 まあ…
＜ＡＩ 開発＞ そのものは、既存パラダイムの中にあるモノです。しかし、現在、＜ 東の火薬庫・・・
《大規模言語モデル考察》 （５５） 【LLM／大規模言語モデル・・・とは？】 （４５）
人類文明の壁／・・・大難題・・・＞ の１つに、カウントできるもの…でしょう」 厨川アンが、無言でうなづいた。
「ええ…」茜が、頭に…
《大規模言語モデル考察》 （５６） 【LLM／大規模言語モデル・・・とは？】 （４６）
何故… ＜単語を、ベクトルで表す・・・分散表現＞ に、するのかという事ですね。肝心な問題で す。 ええ… ＜★ ＡＩ による・・・チャット＞ を… 創出するに当たって、コンピューター・プログラムで、色々と、試してみたわけです。
|
| ７月 ２５日 |
《大規模言語モデル考察》 （５７） 【LLM／大規模言語モデル・・・とは？】 （４７）
これまで… どんな事が試されて来てたのか。そして、どの様に、＜★ ＡＩ エージェントが・・・視界に 入って来た＞ のか、です」 「はい…」支折が、神妙に、うなづいた。 「ええ…」茜が…
《大規模言語モデル考察》 （５８） 【LLM／大規模言語モデル・・・とは？】 （４８）
１番素朴な方法で、人が言いそうな言葉を、全て、コンピューターに登録して置く方法です ね。…
《大規模言語モデル考察》 （５９）
【LLM／大規模言語モデル・・・とは？】 （４９）
① よりも、はるかに、多くの会話を生成できそうですが、入力された内容に応じて、何を言 う…
《大規模言語モデル考察》 （６０） 【LLM／大規模言語モデル・・・とは？】 （５０）
ここでは… ＜対話や、翻訳・・・質問の応答＞ など、言語を使った問題を、コンピューターに解かせ る、＜自然言語処理 という・・・研究分野が勃興（ぼっこう／にわかに勢力を得て盛んになること。）＞ していますわ。 でも、これらを、全て記述しようとすると、プログラムの量は膨大になり、やはり、人力で頑 張る事に…
《大規模言語モデル考察》 （６１） 【LLM／大規模言語モデル・・・とは？】 （５１）
世の中にある、大量の質問と回答の例を集め、質問に対する答え方を、自力でコンピュー ターに、学ばせる方法です。 これは、＜★ 機械学習の用語で・・・
《大規模言語モデル考察》 （６２） 【LLM／大規模言語モデル・・・とは？】 （５２）
最も、分かりやすい例は、“翻訳” ですわ。日本語の文章と、それに対応する英語の文章 の組を、たくさん、覚えさせます。そして、日本語の単語が、英語のどの単語に、翻訳され やすい…
|
| ７月 ２６日 |
《大規模言語モデル考察》 （６３） 【LLM／大規模言語モデル・・・とは？】 （５３）
ことに、なるわけですね。 ＜質問応答＞ についても… ＜質問文と・・・回答文の・・・セット＞ があれ、同じ手法が使えるわけです」 「うーん…」支折が、頭のテッペンに…
《大規模言語モデル考察》 （６４） 【LLM／大規模言語モデル・・・とは？】 （５４）
「そうです…」茜が言った。「＜★ 機械学習の用語で・・・教師ありの学習・・・＞ に、分 類されますわ。 こうした、統計的手法は… コンピューターの性能が上がり、電子化された…
《大規模言語モデル考察》 （６５）
【LLM／大規模言語モデル・・・とは？】 （５５）
= natural language processing＞ で、使われる様になりました。 特に… 翻訳にこれを用いた、＜統計的 ・ 機械翻訳＞ は、グーグルの翻訳サービスで２０１６年 まで、使われていた…
《大規模言語モデル考察》 （６６）
【LLM／大規模言語モデル・・・とは？】 （５６）
「うーん…」支折が、肩を傾げた。「私も、お世話になった翻訳よねえ…」 「そうですね…」茜が、唇に微笑を浮かべた。「様々なシチュエーション（situation／状況。場面。 ／境遇、局面。）で、お世話になった人は、多いはずです」 支折が…
《大規模言語モデル考察》 （６７）
【LLM／大規模言語モデル・・・とは？】 （５７）
「ただし…」茜が言った。「＜★ 機械学習 = machine learning＞ は… ＜★ 学習前に・・・具体的なタスクを１つ決めて・・・その正答率を最大にできる様に ・・・コンピューターを学習させるのが・・・基本・・・＞ です。 そのため…
《大規模言語モデル考察》 （６８） 【LLM／大規模言語モデル・・・とは？】 （５８）
・・・＞ 様ですね、」 「うーん…」支折が言った。「翻訳どまりですか…」 「あ…」茜が言った。「それから… “文字列の・・・相関関係を・・・統計的に・・・
|
| ７月 ２７日 |
《大規模言語モデル考察》 （６９） 【LLM／大規模言語モデル・・・とは？】 （５９）
「＜同義性＞ ですか…」支折が言った。 「そうです…」茜が言った。「単語の同義性とは… 例えば、“和服” と “着物” のように、文字列上は全く異なる…
《大規模言語モデル考察》 （７０） 【LLM／大規模言語モデル・・・とは？】 （６０）
ある表現を、全て別の言葉だとみなして、処理しようとすると、学習が効率よく進まなくなり ます。 これを回避するには、“同義語の・・・
《大規模言語モデル考察》 （７１） |
２０２５・・・参議院選挙＞
