ツイート の 記 録　   　       　

《大規模言語モデルの考察》 （１６１）   　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　 ジェフリー ・ ヒントン（Geoffrey Everest Hinton）　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４８）

「他に…」茜が、みんなを見回した。「何か、質問はあるでしょうか？」

「ヒントンは…」北原が、頭の上に手を置いた。「ノーベル物理学賞を受賞したわけでが…

＜深層学習／・・・ディープラーニング＞ を、研究していたわけですね。

それと、＜Transfomer＞ は、どう結びついて、いるのでしょうか？」

「はい…」茜が、うなづいた。「確かに…

その辺りは、説明が不足していたかも知れません,ね。

ええと…

ジェフリー ・ ヒントン（Geoffrey Everest Hinton）は、イギリス生まれの、コンピューター科学者

であり、認知心理学（cognitive psychology ／・・・精神過程 （例えば…注意、言語使用、 記憶 、 知覚 、問題解

決、 創造性 、 論理的思考 など） に関する、科学的研究。）の研究者ですね。

そして…

＜ニューラルネットワークの・・・研究＞ をしていて、＜ＡＩ／人工知能の研究の・・・第

一人者＞ です。

《大規模言語モデルの考察》 （１６２）   　  　　

【● 広く、深く学ぶ・・・Transfomer 】 （４９）

米／プリンストン大学（Princeton University）の研究者である、ホップフィールド（John J.

Hopfield）と共に、2024年度の、ノーベル物理学賞を受賞しています。

ええと…

受賞理由は…

＜深層学習の・・・基礎を・・・築いた業績＞ と、いう事ですわ。

ですから、そうした基礎の上に、＜ Transfomer＞  が、登場したことになります」

「それと…」北原が言った。「改めて、聞きますが…

＜深層学習／・・・ディープラーニング＞ の、定義とは、どの様なものですか？」

「はい…」茜が、うなづいた。「ええと、そうですね…

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）

《大規模言語モデルの考察》 （１６３）   　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　　　　　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （５０）

『 ＩＴ用語集 』 によると…

＜深層学習 （ディープラーニング）＞ とは・・・

深層学習、またはディープラーニングとは・・・

人間の神経細胞の仕組みを再現した、ニューラルネットワークを用いた機械学習の

手法の１つであり、多層構造のニューラルネットワークを用いることが、特徴です。

現在では・・・

画像認識や、音声認識、翻訳など、様々な分野で大きな成果を生み出しています。

深層学習の仕組みを使って、画像認識や、音声認識などを行うには、まず、ラベル付

けされたデータ （教師データ）を用いて、学習させる必要があります。

例えば・・・

手書きの、数字をＡＩ によって認識させたいといった場合、手書きした数字の画像と、

その画像に書かれた正しい数字を示したラベルをセットにした、教師データを用意し、

多層構造のニューラルネットワークに入力します。

この教師データを使って、自動的に学習を行い、手書き数字を認識できるようになる、

という仕組みです。

ただ・・・

認識精度を高めるためには・・・

膨大な量の学習データが必要であり、従来はそれを用意することが困難でした。しか

し現在は、インターネットの普及などによって膨大なデータを用意することが可能にな

っています。

また・・・

学習には・・・

膨大な計算を行う必要がありますが、これもコンピューターの進化によって、短時間

で、学習できる環境を整えられるようになりました。このように、環境が整備されたこ

とも、深層学習が、進化した大きな要因です。

…と、いう事ですね」

「はい…」北原が、肩を傾げ、うなづいた。

《大規模言語モデルの考察》 （１５８）   
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　　　　　　　　　　　　　　　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４５）

＜ＧＰＴ＞ の場合は…

そのままでも、ある程度のタスクをこなす事が、可能な様です。もちろん、調整を行った方

が、精度は上がるという事ですね。

つまり…

＜ＧＰＴ＞ は、単語の意味や、文法だけにとどまらず…

＜★ タスクの解き方・・・そのものも・・・事前学習で・・・それなりに獲得している！＞

と、いうことに、なる様です。

「ふーん…」支折が言った。「事前学習のやり方で、そんなに違って来る、わけですか…」

「そうですね…」茜が言った。「ええと…

このコトに関して、“参考文献” による説明は、ここまでです。まだ、開発途上にある、とい

う事ですね。

《大規模言語モデルの考察》 （１５９）   
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　　　　　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４６）

＜ＡＩ の・・・研究開発＞ は…

日進月歩で、進行している事が、予想されます！

この “参考文献” は…

『日経サイエンス…2023／10』 の、ものです。

前に考察した、《ＡＩ の・・・考察》 は、『日経サイエンス…2024／02』 の、ものですね。

いずれも…

だいぶ前のものになりますが、開発の経過／基礎を整理するという事で、古い資料を使用

して来ました。

ええ…

そういうわけで、現状は相当に、進んでいるものと思われます。２０２５年度の末頃までに

は、理化学研究所／泰地真弘人さんのグループの、＜ 基盤モデルの・・・試験版＞

も、リリースされる様です。あ、これは、早ければ、という事ですが…

《大規模言語モデルの考察》 （１６０）   　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　　　　　　　　　　　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４７）

さあ…

話を、簡単に、まとめて置きましょうか。

＜● 大規模言語モデル＞ は…

＜★ 単語の分散表現＞ と、＜★ Transfomer＞ の、組み合わせで、誕生したという事

ですね。

そして…

 ＜この・・・ＡＩ ＞ は…

＜言語や自然現象の・・・複雑なシステム＞ を、まるごと、受け止められる点で、＜ヒト

の脳と・・・よく似た情報処理＞ を、行っている、という事です。

それから…

＜大規模言語モデルの・・・コア技術／Transfomer＞ は、＜脳／海馬の・・・数理モデ

ルと・・・対応関係＞ が、あるようです。脳を理解する、ヒントになる、可能性がある、とい

う事ですね」

「はい…」支折が、コクリとうなづいた。

《大規模言語モデルの考察》 （１５５）   
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４２）

この便利さが、評判になり…

＜ BERT＞ を使用する、自然言語処理の研究者が、急増した様ですね。一時は、

＜BERT があれば・・・何でもできる＞ とさえ、言われた様です」

「ふーん…」支折が言った。「でも、＜ GTP／Ｃｈａｔ GPT＞ が、出てきたわけですか、」

「そうです…」茜が、うなづいた。「明智光秀の…

３日天下（／明智光秀は、主君を裏切り、本能寺で織田信長を倒しました。しかし、わずか３日で、羽柴秀吉に倒された古

事。）ではありませんが、＜グーグルの・・・ＢＥＲＴ＞ を、たった数年で追い抜いたのが、

＜オープンAI（社）の・・・ＧＰＴ＞ です。

ええ…

この ＜ＧＰＴ＞ と、＜ＢＥＲＴ＞ は、よく似ています。

《大規模言語モデルの考察》 （１５６）   
  　　　　　　　　　　　　　　　　　　　　　　　　　  　   大規模言語モデル／ BERTとGPT　の学習の様子   　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４３） 

＜最初に・・・

 　事前学習で、単語当てクイズを解いて・・・

　 単語の意味を表す、ベクトルに・・・

　 他の文章や、文脈の情報が・・・織り込まれて行く・・・＞

…という点では、同じだ、という事ですわ。

ただ…

＜ＧＰＴ＞ と ＜ＢＥＲＴ＞ では…

＜事前学習で解く・・・クイズの出題の方法が・・・異なっている！＞ と、いう事です。

＜ＢＥＲＴ＞ は、＜★ 文章の途中を・・・１単語隠した、穴埋めクイズ＞ を、解きます。

これに対し…

＜ＧＰＴ＞ は、＜★ 文章の途中から・・・後ろを全て隠して・・・次に来る単語は何かを

・・・それまでの文章から・・・予測！・・・＞ させる、様です。

これは…

いわば、＜★★ 単語生成クイズを・・・解いている！＞ ことに、成るのだそうです」

《大規模言語モデルの考察》 （１５７）      
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　        　　　　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４４）

「うーん…」支折が、頭を揺らした。「それは、確かに、相当に違うわねえ…」

「こうした…」茜が言った。「＜★ ＧＰＴの・・・事前学習の、やり方＞ は…

後で、実際にクイズを解く時に、大きな意味を持って来る、と言います。

＜ＧＰＴ＞ にとっては…

＜○○という英語を・・・和訳して＞ という、翻訳タスクも…

＜日本初の・・・ノーベル賞受賞者は？＞ という、質問応答タスクも…

全て、＜★★ 単語生成クイズの・・・１種＞ と、みなせるからです。

＜BERT＞ では…

＜事前学習後に・・・改めて・・・回答方法を学ぶ必要！＞ が、あります。

《大規模言語モデルの考察》 （１５２） 
  　　　　　　　　　　　　　　　　　　　　　　Pythonで、単語分散表現のクラスタリング - Ahogrammer　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （３９）

事前学習を終えた、＜ BERT＞ は…

文章中の、全ての語句に対して、こうしたイメージを、“ ☆ ベクトル形式で・・・ スッと、取

り出せる・・・” ように、なっているわけです。

「うーん…」支折が、髪を揺らした。「＜分散表現の・・・ベクトル形式＞ で、てすかあ、」

「そうです…」茜が言った。「＜事前学習を終えた・・・ＢＥＲＴの内部＞ では…

“ 文章の意味を・・・ベクトルへ、上手く変換できるように・・・ ニューラルネットの重み

付け・・・” が、変化しています。

つまり…

ニューラルネットの中には、事前学習でテキストに含まれていた、”あらゆる単語間の・・・

関係性・・・” が、獲得されているのです。

《大規模言語モデルの考察》 （１５３）     
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　        　   　　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４０）

前に…

① ② ③ の、タスクを考察しましたが、覚えていますか？」

「ええと…」支折が、自分のモニターを、マウスでスクロールした。

「うーん…」支折が言った。「この辺りかしら…あ、ありました…

① “会話のパターンを・・・全てプログラムに書き込む”

② “文法などのルールを・・・プログラムに書き込む”

③ “質問と答えの・・・相関関係を学ばせる／・・・教師あり学習／・・・統計的機械翻

　　　訳”

…ですね？」

「そうです…」茜が、微笑した。「丁寧に、有難うございます…

③ の、例では…

タスクごとに、別の統計手法で、文意を処理する必要がありました。でも、＜大規模言語

モデル＞ なら、少し調整を加えるだけで、済むのです」

《大規模言語モデルの考察》 （１５４）   
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　        　　　 　　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】 （４１）

「ふーん…」支折が、うなづいた。「③ は、“質問と答えの・・・相関関係を学ばせる／・・・

教師あり学習／・・・統計的機械翻訳” ですよね、」

「はい…」茜が、うなづいた。「この ③ の…

“教師あり学習の・・・教師データ・・・” となる、“例題と、答えの・・・セット” を、小数与

えて…

＜ BERT＞ の、出口から…

＜ 答えを表現する・・・ベクトルが出て来るように・・・ニューラルネットを微調整・・・

＞ する、だけですわ。この、微調整を、＜ ファインチューニング＞ と、呼ぶそうです」

「ふーん…」支折が、口に拳を当てた。「＜ファインチューニング＞ ですか、」

「大量の…」茜が、ノートパソコンに目をやった。「テキストで学ぶ…

＜★ 共通の･･･事前学習＞ と…

用途に応じた、少量の、＜ ファインチューニング＞ で…

＜ BERT＞ は、“質問応答” や “ 文章の分類” といった、”全く種類の異なる・・・言

語タスク” に、対応できる様ですね」

「ふーん…」支折が、上体を後ろにそらせた。「それだけですか…」

「そうです…」茜が言った。「ええと…

《大規模言語モデル考察》 （１４９）   　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　        　　　  （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（３６）

「はい…」支折が言った。

「＜ BERT＞ の…」茜が言った。「内部にある ＜Transfomer＞ は…

単語当てクイズを、解くには…

“文章のどこに・・・注目すれば良いかという・・・注意の向け方・・・”

を、学習するのです。

その結果…

個々の単語の意味を表す、ベクトルの中には…

“周囲の単語との、関係性だけでなく・・・　

前後の文章や・・・段落との関係性・・・さらに、文章全体の文脈情報を・・・広く取り混

ぜた情報・・・”　

…が、格納できる様になって行く、という事ですわ」

「うーん…」支折が言った。「何で、こんなコトが出来るのかしら？」

《大規模言語モデル考察》 （１５０）   　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　       　　   （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（３７）

「確かに…」茜が言った。「そうですが…

ヒトの脳も、普通にやっているコトですわ。でも、それが、驚異的であり、私達の理解を超え

ている所ですね。

現在、逆に…

＜Transfomer＞ から、ヒトの脳へのアプローチが進んでいます。ヒトの脳は理解できなく

ても、＜Transfomer＞ は人間が組み上げたモノです。膨大な組立部品も、開発経過も、

訓練まで、全てのテクノロジーが、分かっているわけですから、」

「しかし…」高杉が言った。「最後に…

何故、コレが、 ＜脳の・・・発火（神経細胞／ニューロンが・・・電気信号を発生させる現象

）＞ に、結びつき、“思考・・・という、超越が、起こるのか・・・理解できない・・・”  と？」

《大規模言語モデル考察》 （１５１）   　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　     （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（３８）

「はい…」茜が、うなづいた。「その様ですね…

脳科学者も、ＡＩ 科学者も、そろって、首を傾げる所です。“参考文献” の、論文記事の表

題にある…

『■ オウム以上 フクロウ未満？　生成ＡＩ の “思考力” 』 と、いうことですね。その、

“思考力の・・・発火・・・” が、”理解不能な・・・謎・・・” と、　　いうことです。

ええ…

話を戻しましょう。

事前学習を終えた、＜ ＢＥＲＴ＞ は…

文章中の全ての単語について、”どれを隠されても・・・当てられる状態・・・” になっていま

す。これは、人間に例えれば、”文章を・・・隅から隅まで、舐（な）め尽くすように・・・読み終

えた状態” です。

子供の頃から…

何度も、読み込んだ本であれば…

途中のページにあるキーワードを、目に止めた時に…

　　“ 筆者は・・・こういう意味で・・・使っているのだろうな・・・”

　　“あの辺りに・・・これと関係しそうなことが・・・書いてあったな・・・”

…といった、漠然としたイメージが、スッと、頭に浮かぶと、思います。

つまり…

《大規模言語モデル考察》 （１４４）   　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　          　          （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（３１）

今でこそ、＜ GPT＞ の方が有名ですが、最初に ＜大規模言語モデルの・・・ブーム

＞ を引き起こしたのは、＜ BERT＞ の方です。

ちなみに…

＜ ＢＥＲＴ = Bidirectional Encoder Representations from Transformers／＝ ・・・

《大規模言語モデル考察》 （１４５）   　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　          （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（３２）

・・・Transfomer を使って学ぶ、エンコード表現・・・の略称＞

＜ ＧＰＴ = Generative Pre-trained Transformer／ = 事前訓練済みの、生成的

Transfomer ・・・の略称＞

…です。

この２つの英語表現の略称自体が、＜ ＢＥＲＴ＞ と ＜ ＧＰＴ＞ の特徴を、表してい

るのかも知れません」

《大規模言語モデル考察》 （１４６）  　 　

【● 広く、深く学ぶ・・・Transfomer 】　（３３）

「そうなんですか…」北原が言った。

「あ…」茜が笑った。「専門家ではないので、詳しい事は言えません…

さあ…

いよいよ…

＜大規模言語モデルの・・・仕組みの話・・・＞ に、入って行きましょう。

まずは、最初にブームを引き起こした、＜ ＢＥＲＴ＞ の方からです。

「はい…」支折が、大きくうなづいた。

《大規模言語モデル考察》 （１４７）   　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　   （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（３４）

「＜ ＢＥＲＴ＞ は…」茜が言った。「まず、初めに…

ネット上にある 『Wikipedia』 などの、大量のテキストデータを使った、＜★ 事前学習＞

を行います。

“テキストの中の単語を・・・伏せて・・・それを当てる・・・単語当てクイズ” を、ひたすら、

解きます」

「それが…」支折が言った。「＜★ 事前学習＞ なのですね?」

「そうです…」茜が言った。「人間では、＜クイズ脳＞ などと、揶揄（やゆ／からかうこと）されるこ

ともありますが、まさにニューラルネットが、鍛えられるわけですね。

＜ BERT＞ は…

単語が、うまく当てられる様に、“ニューラルネットの・・・重み付け・・・” を、変えて行きま

す。その過程で、“単語の・・・多面的な意味をとらえた・・・分散表現・・・” を、獲得でき

る様に、なって行きます」

《大規模言語モデル考察》 （１４８）   　 
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　          　          （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（３５）

「そうかあ…」支折が、言った。「これは、＜ Word２Vecの・・・訓練＞ と、似ているわね

え…」

「そうです…」茜が、大きくうなづいた。「ただし、クイズの難易度が、桁違いですわ…

＜ Word２Vec＞ は、“数単語の・・・フレーズの中” で、解いていました。これに対し、

＜ ＢＥＲＴ＞ は、“複数の・・・段落を含む様な・・・長い文章の中” で、このクイズを

解くのです」

「ふーん…」支折が、口に手を当てた。「すごい、飛躍よねえ…」

「そうですね…」茜が言った。「私達／人間が…

国語の文章問題で、空欄補充の問題を、解く場合は…

“前後の段落まで見渡して・・・文脈を考慮しながら・・・適切な語句を考えようとする”

…わけですね。＜ ＢＥＲＴ＞ が、やっているのも、基本的には、それと同じです」

《大規模言語モデル考察》 （１３８）  　 
  ノーベル物理学賞にＡＩ の中核 「機械学習」 の基礎に関わった２人。右が、ジェフリー・ヒントン　 　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（２５）

…ノーベル物理学賞を受賞した、カナダ／トロント大学のヒントン（Geoffrey Hinton。…ジョン ・

ホップフィールド（John Hopfield）と共に受賞。）が、２０００年代後半から、提唱していたものです。

彼は、２０１２年の…

《大規模言語モデル考察》 （１３９）     　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　          　                         　　　　　　　　　　　　　　　　画像認識競技会　　　　　　　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（２６）

＜画像認識のコンテスト／ ＩＬＳＶＲＣ＞ で、その威力を、世界に示した様ですね。

＜ ＩＬＳＶＲＣ＞ というのは…

画像中にある、物体の認識や、セグメンテーション（／切り出し）アルゴリズムの、性能を競

うコンテストです」

「ふむ…」高杉が…

《大規模言語モデル考察》 （１４０）  　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　          　                         　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（２７）

…言った。「色々なものが、あるんですねえ…」

「そうですね…」茜が言った。「ともかく…

＜★ 深層学習／・・・ディープラーニング＞ は、入力データから、抽象的な特徴を学び

取るのが得意で、その名前の通り…

《大規模言語モデル考察》 （１４１）    
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　  グーグル／バスワニ （Ashish Vaswani）  　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（２８）

…＜深い学習に・・・秀（ひい）でた・・・ニューラルネット＞ だ、という事です」

「ふーむ…」高杉が、うなづいた。「で…？」

「あ…」茜が言った。「ええと…

２０１７年には…

グーグルの、バスワニ（Ashish Vaswani）らが…

《大規模言語モデル考察》 （１４２）   　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　          　          （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（２９）

＜ 自然言語処理に向いた・・・

　　　　　　 　　深層学習のニューラルネット・・・Transfomer ＞

を、発表しています。

＜Transfomer＞ は…

長い文章の中で、遠く離れた単語どうしの関係性を、上手（うま）く学び取ります。“深い学

習” だけでなく…

《大規模言語モデル考察》 （１４３）   　　 
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（３０）

…“広い学習” にも秀でた、ニューラルネットなのです。

翌／２０１８年には…

＜ Transfomerを用いた・・・言語モデル＞　が、あいついで登場してい

ます。

＜ グーグルの・・・ＢＥＲＴ＞ と、＜ オープンＡＩ（社） の・・・ＧＰＴ＞ ですね。

ええと…

《大規模言語モデル考察》 （１３２）　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ガザ　　　　　　               　 　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（１９）

…＜世界平和・・・移民 ・ 難民 ・ 飢餓対策・・・＞ のためにも…

＜ 生活者／世界市民の・・・初会議！＞ を、開催する事を、強く 、提

唱します！」

「はい…」茜が、うなづいた。「そうした、スタンスも踏まえ、話を進めましょう…

《大規模言語モデル考察》 （１３３）　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 ＡＩ の軍事利用　                        　 （／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（２０）

でも…

＜人間の好奇心・・・学術的なＡＩ の研究開発・・・それ自体＞ は、＜・・・悪・・・＞ と

言うコトではないわけですね。ここが、まさに、＜マンハッタン計画と・・・類似・・・＞ して

いる所ですね。

そして…

＜科学者達の・・・反省 ・ 大後悔も・・・ここに集中している！＞

わけですね。

学者は、純粋に研究開発をしますが、それが…

《大規模言語モデル考察》 （１３４）　　　
  　　　　　　　　　　　　マンハッタン計画／最初の原爆実験　「トリニティ実験」 の核爆発の様子  　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（２１）

…政治家 ・ 軍人の手に移ると、収拾が付かなくなりますわ…」

「さあ…」茜が、スクリーンボードに目を投げた。「前置きが、長くなりました…

＜★ Transfomer＞  の、考察に入りましょうか。

＜ニューラルネット＞ は…

しばしば、＜ヒトの脳の・・・

《大規模言語モデル考察》 （１３５）　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                        　           　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（２２）

・・・神経回路を真似た・・・情報処理＞ と、説明されています。

ええ…

処理内容という、面から見れば…

この技術は…

＜入力された・・・複数のデータ間に存在する・・・ ”関係性” ・・・を学びとって・・・

表面的な文字列や、数字の背後にある・・・データの特徴を取り出す・・・計算手法＞

《大規模言語モデル考察》 （１３６）  　     
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　          　                         　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（２３）

…と、いう事ですね。

＜単語が持つ・・・意味情報！＞ を扱う上で、“非常に・・・相性の良い方法！ ” と、い

う事です」

「しかし…」高杉が言った。「＜ニューラルネット＞ が…

＜自然言語処理（Natural Language Processing、略称／NLP = 人間が日常的に使用する言語（自然言語）を

コンピュータに理解させ、処理させる技術。）＞ で…

《大規模言語モデル考察》 （１３７）　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　    　　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（２４）

…使われるようになったのは、ここ、１０年ほどの事だと、聞いていますねえ、」

「そうですね…」茜が、うなづいた。「キッカケと、なったのは…

＜★ 深層学習／・・・ディープラーニングの・・・登場！ ＞ だった様ですね。

＜深層学習＞ は…

《大規模言語モデル考察》 （１２６）　　 　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜地球温暖化対策＞　　　　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（１３）

・・・覇権ゴッコ＞ に、移植するのではなく・・・まさに、＜地球温暖化対策や・・・人類

文明の、折返し技術・・・＞ に、使って欲しいですね。　　

  


現在は…

＜戦争ゴッコ ・ 覇権ゴッコ＞ が、勢いを増し、＜世界大混乱・・・の兆候・・・＞ が、見

え始めています。

《大規模言語モデル考察》 （１２７）　　
  　　　　　　　　　　　　　　　　　　　　　　　　トランプ大統領・・・　「掘って、掘って、掘りまくれ！」　　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（１４）

＜ 政治家が・・・理想を語らなく・・・＞ なり、〔生活者／世界市民〕 から、信用されな

くなって、時間が、積み重なっています。

それゆえに…

“ 政治家ではない・・・不動産屋のオヤジ・・・米トランプ大統領の様な人物・・・” を、

招来してしまった様です。アメリカの大統領であり、アメリカの…

《大規模言語モデル考察》 （１２８）　　 　　

【● 広く、深く学ぶ・・・Transfomer 】　（１５）

…問題ですが、アメリカは超大国の側面を持ちます。

その…

超大国のアメリカが…

＜世界のパラダイム（paradigm／あるひとつの時代の人々の考え方を、根本的

に支える概念。）の・・・国際法／ 国際秩序／ 国際的慣習・・・を破壊

し・・・世界を大混乱・・・＞ に、陥れています。

《大規模言語モデル考察》 （１２９）　　    
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（１６）

＜ ウクライナに・・・

不埒（ふらち／・・・道理にはずれていて、けしからぬこと。）な、侵略戦争を仕掛けた・・・ロシア／プー

チン大統領＞

＜ ガザで・・・

世界が注目する中で ・・・ジェノサイドを継続する・・・イスラエル／ネタニヤフ首相＞

そして…

＜ イランの・・・

《大規模言語モデル考察》 （１３０）　　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（１７）

・・・地下核施設に、大型貫通爆弾／バンカーバスター ＧＢＵ-５７（／・・・アメリカ空軍によって

開発された、３０,０００ポンド（約１３・６トン。全長６m。 の精密誘導爆弾。）を、B－２ ステルス爆撃機を使用

して投下し・・・

ウクライナ戦争 ・ ガザ戦争には、匙（さじ）を投げ・・・

パリ協定と、ＷＨＯを脱退し・・・アメリカ自身もクラッシュさせている張本人・・・米／ト

ランプ大統領・・・＞

この、３人が…

まさに、＜世界を・・・大混乱の方向・・・＞ へ、引き寄せている様相ですね。

《大規模言語モデル考察》 （１３１）　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　＜生活者／・・・８０億の、世界市民＞　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（１８）

これは…

＜● 生活者／・・・８０億世界市民の、望む方向ではない！ ＞

 
…と、いう事です。この事態に、全力で、強力に、抗議するべきです。

ええ…

こうした、時代状況であり…

＜★ ＡＩ 開発の・・・問題＞ ばかりでなく、＜地球温暖化対策＞ や…

《大規模言語モデル考察》 （１２０）　　　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　マンハッタン ・ プロジェクト　　　　　　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（７）

・・・核戦略時代の開闢（かいびゃく）となった・・・マンハッタン計画＞ と、＜ＡＩ 開発の・・・

暴走！＞ を、”類似の現象／・・・状況” 、と捉えています。

＜★ 原子爆弾／・・・核戦略時代・・・＞ は、結局、人類文明には、何の幸福も、もた

　　らさなかった、と言う事です。

《大規模言語モデル考察》 （１２１）
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（８）

ひたすら、＜・・・無の長物だった！ ・・・＞ と、いう事ですわ。

ええ・・・

＜★ ＡＩ／人工知能・・・ “人工の神の創出！ ” ・・・＞ も・・・

人類文明にとっては・・・

＜★ マンハッタン計画を・・・ ”遥かに上回る危険性!  ”＞ が・・・

予想されます。でも、人間が持つ・・・

《大規模言語モデル考察》 （１２２）
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（９）

・・・本能的な、好奇心は、それを封殺することは、困難でしょう。

ならば・・・

＜★ ＡＩ 開発は・・・

　　慎重を期して・・・戦争 ・ 覇道に、利用するのではなく・・・

　　地球温暖化対策や・・・学術の探索等に・・・特化!  ＞ すべきだ。

《大規模言語モデル考察》 （１２３）　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                        　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（１０）

…と、いう事ですわ」

「そうですね…」北原が、大きくうなづいた。「ともかく…

＜ 人類文明にとって・・・非常に、重大な・・・局面が到来！ ＞  

しています。

まさに…

＜ 文明の・・・ターニングポイント！ ＞ が、迫られている、のかも知れま

せん。

《大規模言語モデル考察》 （１２４）　　　　　　　

【● 広く、深く学ぶ・・・Transfomer 】　（１１）

それゆえ…

＜ＡＩ 分野は・・・１部の人々の独占領域・・・＞ と、すべきではなく、＜★ 全人類的な

・・・大課題！ ＞ と、するべきです。

私は…

この意味でも、現在の、国連の管理下で…

《大規模言語モデル考察》 （１２５）
  　　　　　　　　　　　　　　　　　　　　　　　　トランプ大統領・・・　「掘って、掘って、掘りまくれ！」　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（１２）

＜ 生活者／世界市民の・・・初・世界会議！ ＞ を・・・

　　開催する事を、提唱します。

＜★ 生活者／世界市民が・・・誰も望んでいない・・・戦争 ・ 覇権争い ・ 巨大飢餓

が・・・世界中で拡大！ ＞ しています。この状況を、許していていいのでしょうか！

＜★AI 技術＞ を…

　 ＜戦争ゴッコや・・・

　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）

《大規模言語モデル考察》 （１１４）　 　 　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　玩具／ 『トランスフォーマー』　  　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer】　（１）　

「さあ…」茜が、スクリーンボードの画像を切り替えた。「いよいよ、＜Transfomer＞ です

ね…

改めて、言いますが…

＜★Transfomer というのは・・・

ニューラルネット／= 人間の脳の神経回路を模した・・・数理モデルであり・・・

《大規模言語モデル考察》 （１１５）　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ニューラルネットワークとは・・・　　　　　　　　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（２）

・・・機械学習や、深層学習の、基盤となる技術・・・＞ ですね。

ええ、その前に…

少し、まとめをして、置きましょうか。

　　

◆ コンピューターで、単語の意味を捉えるには・・・

　　複数の数値からなる、ベクトルで意味を表す・・・

《大規模言語モデル考察》 （１１６）　　　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）

【● 広く、深く学ぶ・・・Transfomer 】　（３）

　　・・・＜★ 分散表現＞ が、適している、という事です。

◆ ＜★ 分散表現＞ と、＜★ Transfomer／= 広く深く、データの特徴を学ぶ・・・

　　ニューラルネット＞ の、組み合わせで、＜● 大規模言語モデル＞ が、生まれた、

　　という事ですね。

《大規模言語モデル考察》 （１１７）　　　  　
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（／ネットより画像借用）