Menuボスの展望台ボスのTwitter/2025年7月
         Twitter/2025・・・7月  
 
     wpe4F.jpg (12230 バイト)       
トップページNew Page WaveHot SpotMenu最新のアップロード   担当: ボス= 岡田 健吉

2025年 7月               
YouTube デモクラシー・タイムズ/ロゴ                                                            白石夏美

    

   ツイート 記 録     

 







 万能型
 
    
防護力







 脱・戦争ゴッコ

 
脱・経済ゴッコ

 
脱・覇権ゴッコ

 






物理的
 
   
専守防衛


 











   


   〔人間の巣のパラダイム〕

 未来型/半地下都市・・・自給自足社会の展開

〔人間の巣/未来型都市/千年都市〕極楽浄土インフラ〕

        の・・・世界展開/ポスト民主主義社会の器!  

 

★ 日本の社会インフラの再構築・・・

         激烈化する気候変動/豪雨・豪雪・熱波・寒波・  

         地震・火山災害から・・・国民を完全防御

★ 対核シェルター以上の・・・

           戦争ゴッコへの対応 感染症パンデミックへの対応

          万能型・防御力/地球近傍天体の衝突への対応!

★ 気候変動への長期的対応・・・世界中で可能な・・・

              脱・冷暖房社会! 脱・車社会への対応!

        人口爆発への対応!

        コンパクト・分化・多様性・・・

        スローフード・スローライフ社会への・・・回帰


  <ジャンプ>  <ジャンプ>

  世界市民=連帯創設   地球連邦政府創設

 7月  31日

《大規模言語モデル考察》 (87) 
                                 兄という単語の意味・・・      (/ネットより画像借用)

● 数字の組で・・・言葉の意味を表す 】 (16)


参考文献 には、これ以上の、詳しい説明はありません。

要するに…

<分散表現> を使えば、“和服”“着物” といった、単語文字列の並びとは独立

て、<単語の意味を・・・数値で表現> できるわけですわ。

 

《大規模言語モデル考察》 (88) 
                                     共起語とは?                      (/ネットより画像借用)

● 数字の組で・・・言葉の意味を表す 】 (17)


コンピューターに…

単語や、文章の持つ意味を扱わせるなら、文字列に縛(しば)られずに、意味をそのまま扱

える、”ベクトル形式” の方が、適していると言います」

「ふーむ…」高杉が、うなづいた。「そういう事ですか…

 

《大規模言語モデル考察》 (89)    
                                 <LLM/大規模言語モデル>   (/ネットより画像借用)

● 数字の組で・・・言葉の意味を表す 】 (18)


<LLM/大規模言語モデル> では、この <分散表現> が、取り入れられている、と

いうわけですね?」

「はい…」茜が、うなづいた。「そうです

【● 単語の意味を・・・足し算・引き算する】 (1)  wpe7.jpg (10890 バイト)

 

茜が、ノートパソコンからを上げた。…

 《大規模言語モデル考察》 (90)  
                                   Word2Vec 』                      (/ネットより画像借用)

【● 単語の意味を・・・足し算・引き算する】 (2)


…そして、スクリーンボードコントローラーを取り、モザイク画像1つ拡大した。

「ええ…」茜が言った。「を、進めましょう…

2013年に…

グーグルミコロフTomas Mikolovらが、発表した…

Word2Vec 』 は…

 

《大規模言語モデル考察》 (91)   
                                                      (/ネットより画像借用)

【● 単語の意味を・・・足し算・引き算する】 (3)


ニューラルネット(/機械学習の一種) を用いて、 単語の意味の・・・分散表現を、

生成するシステム> です。

先ほどの…

7次元ベクトルの例では、 個々の単語の、共起関係を・・・1個づつ調べて・・・数表

の形に整理・・・> したものですね。

一方…



  

  「イチロー」 - 「野球」 + 「サッカー」 = 「ロナウド」      (/ネットより画像借用)

 

《大規模言語モデル考察》 (92)  
                                                        (/ネットより画像借用)

【● 単語の意味を・・・足し算・引き算する】 (4)


Word2Vec の場合は…

<1度に、様々な単語のベクトルを・・・まとめて生成> できるシステムです。こちらの方

は、別の方法で、”単語の・・・共起関係” を、学び取ります。


 

訓練用のテキストから・・・

数単語のフレーズを・・・ランダムに抜き出し・・・前後の単語から・・・


 7月  30日

《大規模言語モデル考察》 (81)    
                                          (/ネットより画像借用)

● 数字の組で・・・言葉の意味を表す 】 (10)


<言葉の本質/・・・言葉の構造> という事で、脚光をびた様ですね」

「うーむ…」高杉が、ボードグラフを眺めた。「初めて見るグラフですねえ…」

「ええと…」茜が、うなづいた。「この方法なら…

<単語の意味を・・・

 

《大規模言語モデル考察》 (82) 
                                     共起語とは?                      (/ネットより画像借用)

● 数字の組で・・・言葉の意味を表す 】 (11)


・・・周囲の単語との・・・共起関係のみで表現・・・> できますわ。

参考文献では…

縦軸に、<beer soda car truck> をとり

横軸に、<eat bottle cold drink go drive run> の、7つ単語をとっています。

 

《大規模言語モデル考察》 (83)         
                                                   (/ネットより画像借用)

● 数字の組で・・・言葉の意味を表す 】 (12)


つまり…

ここでは…

<★ car は、7次元の(7つの単語の)ベクトル・・・(横軸の順に、) 44、2、1、2、99、

46、14> で、記せばいいわけです。

同じく…

<★ Truckは、7次元のベクトル・・・32、0、2、0、102、67、15>

 

《大規模言語モデル考察》 (84)     

● 数字の組で・・・言葉の意味を表す 】 (13)


…で、表せます。

carTruck は…

字面(じづら)が違っても、似た意味を持っていることが、ベクトルの値で読み取れるわけです。

このベクトルは…

eat bottle cold drink go drive run  の、7つの単語との関係性に…

 

《大規模言語モデル考察》 (85)        

● 数字の組で・・・言葉の意味を表す 】 (14)


…よって、car truck という、単語意味表現しているわけですね。

つまり…

<単語の持つ意味が・・・7次元の成分に、分散して表現・・・> されている、わけです。

この事から、単語意味ベクトルで表すことを…

 

《大規模言語モデル考察》 (86)       

● 数字の組で・・・言葉の意味を表す 】 (15)


<★ 分散表現> と呼びます」

「うーん…」支折が言った。「単語は、この7つでなくても、いいわけかしら?」

「そうですね…」茜が言った。「複数の、ベクトルが取れればいいわけですから、そうだと思

います。

「”参考文献” と…

同一の画像がネット上で見つからないので、それに近いコーパスの画像を表示します。意

味は同じです。

<★ beer は・・・7次元のベクトル>

       =  have new drink bottle ride speed read の、単語からのベクトル・・・

     横軸の、<36、14、72、57、3、0、1> で、表せます。  

<★ wine は、7次元のベクトル>  =  <108、14、92、86、0、1、2> で表せま

     す。


主成分分析などの手法で、次元を圧縮すると、似た意味の語が近くに集まる・・・と

  いう事です。

 

 

   



「これはさあ…」支折が言った。「<ベクトル/・・・力と方向の矢印> では、ないけど…

私達には、矢印アナロジーAnalogy/・・・ある事柄をもとにして、他の事柄について推し量ること)の方が、

分かりやすいわよね?」

「そうですね…」茜が、うなづいた。「でも、最初に戻しますが、コンピューターには、

クトルは、この <7次元の数値の方が・・・扱いやすい> 様ですね。

私自身も、専門家ではないですので、参考文献 以上のことは、分かりません」

「はい…」支折が、コクリとうなづいた。



 7月  29日

《大規模言語モデル考察》 (75)     

● 数字の組で・・・言葉の意味を表す 】 (4)


…受け入れられる仮説のことです。最終的には仮説自身放棄されるとしても、仮説

たき台として、批判に耐えうる強固理論が生み出せることを期待して、こうした作業仮説

が、受け入れられていると言います。

 

《大規模言語モデル考察》 (76)  
     分散表現では、単語をベクトル化し・・・ベクトル同士の足し算は、意味の足し算になります  (/ネットより画像借用)

● 数字の組で・・・言葉の意味を表す 】 (5)


ええと…

ボード表示してあるのは…

英文の使用例を集めた・・・コーパス から、英語短文大量に集めて、幾つかの単

着目して、その周囲を調べたものす。

例えば…

ここにある、sodabeer といった語の…

 

《大規模言語モデル考察》 (77) 
                                                             (/ネットより画像借用)

● 数字の組で・・・言葉の意味を表す 】 (6)


周辺には、drinkbottle がよく登場します。car truck周辺には、godrive

が、よく登場します。

ええ…

ある単語単語が…

文中同時出現する事を、<・・・共起・・・> と言います。

この…

<単語の・・・

 

《大規模言語モデル考察》 (78)    
                                                    (/ネットより画像借用)

● 数字の組で・・・言葉の意味を表す 】 (7)


・・・共起関係・・・> をまとめた、この数表を、2次元平面グラフ上に、落とし込むと、

た意味の単語が、グラフ上近い場所に集まります…」


     

参考文献 と、同一の画像がネット上で見つからないので、それに近い画像を表示します。意味は

同じです。とりあえず、眺めておいてください。後で説明します…」

 

 

   

 
                                     (/ネットより画像借用)


「うーん…」支折が、ボンヤリグラフを眺めた。「そうですか…」

 

《大規模言語モデル考察》 (79)       

● 数字の組で・・・言葉の意味を表す 】 (8)


「つまり…」茜が言った。「<★ 分散表現> では…

文中のある、単語意味は、<周囲に・・・どんな単語が、並んでいるかを見れば・・・

分かる> と、いう事ですわ」

「ふーん…」支折が、アゴを傾げた。「言語学者というのは、こんな事も、研究しているわけ

ですかあ…」

 

《大規模言語モデル考察》 (80)             

● 数字の組で・・・言葉の意味を表す 】 (9)


「そうですね…」茜が言った。「言葉というモノの…

不思議さに気づき、本格的解明しようとした人達がいたわけです。こうした、歴史埋も

れていたような努力が、<チャット・プログラムの・・・創出・・・> に際し…


  

 7月  28日

  

 7月  27日

《大規模言語モデル考察》 (69)    
                                                    (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (59)


・・・学ぶ・・・この方法” では、<単語が持つ・・・同義性> が、問題になります」

<同義性> ですか…」支折が言った。

「そうです…」茜が言った。単語同義性とは…

例えば、“和服”“着物” のように、文字列上全く異なる…

 

《大規模言語モデル考察》 (70)    
                                和服/・・・男性          (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (60)


…語なのに、意味が、非常に似ている事を指します。コンピューターが、こうした同義性

ある表現を、全て別の言葉だとみなして、処理しようとすると、学習効率よく進まなくなり

ます。

これを回避するには、“同義語の・・・

 

《大規模言語モデル考察》 (71) 
                                AI ・エージェント      (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (61)


・・・リスト” を、あらかじめ用意する方法がありますが、結局それは、人力に頼った作業

なるわけです」

「うーん…」支折が、を傾げた。「それでは、<AI エージェント> 方向とは、ほど遠い

感じよねえ、」

 

《大規模言語モデル考察》 (72)         

【● 数字の組で・・・言葉の意味を表す 】 (1)


「ええ…」茜が、スクリーンボードコントローラーを取り上げた。「あ、ここですね…

ええと…

コンピューターに、独力言語処理させるなら、こうした “単語の・・・同義性” を、どう

にか、うまく記述して、教え込みたい所ですね」

 

《大規模言語モデル考察》 (73)   
                                                 (/ネットより画像借用)

【● 数字の組で・・・言葉の意味を表す 】 (2)


「はい…」支折が、うなづいた。「そうですね…」

「実は…」茜が言った。「その…

土台となるアイデアが、1954年発表されていました。言語学者ハリスZellig S.Harris

らが提唱した、分布仮説 です。

 

《大規模言語モデル考察》 (74)  wpe4F.jpg (12230 バイト)

【● 数字の組で・・・言葉の意味を表す 】 (3)


この 分布仮説 とは…

簡単に言うと、<意味の・・・似ている単語は・・・文中で、似た使われ方をする> とい

う、いわゆる、”作業仮説” なのです。

あ…

<作業仮説(さぎょう・かせつ)とは…

さらなる研究を行う、基盤とするために、暫定的(ざんていてき/急ごしらえ。間に合わせ。)に…



 7月  26日

《大規模言語モデル考察》 (63) 
                                                     (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (53)


…かを、学ばせます。<日本語と英語の・・・文字列の相関関係を・・・統計的に学ぶ>

ことに、なるわけですね。

<質問応答> についても…

<質問文と・・・回答文の・・・セット> があれ、同じ手法が使えるわけです」

「うーん…」支折が、テッペンに…

 

《大規模言語モデル考察》 (64)    
                                自作で、機械学習モデル・AIの使い方を学ぶ   (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (54)


を当てた。「それが、<機械学習 = machine learning> ですかあ…」

「そうです…」茜が言った。「<★ 機械学習の用語で・・・教師ありの学習・・・> に、

されますわ。

こうした、統計的手法は…

コンピューター性能が上がり、電子化された…

 

《大規模言語モデル考察》 (65) 
                            自然言語処理 = natural language processing   (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (55)


テキス・トデータ大量集まる様になった、1990年代から、盛ん <自然言語処理

 = natural language processing> で、使われる様になりました。

特に

翻訳にこれを用いた、<統計的 ・ 機械翻訳> は、グーグル翻訳サービス2016年

まで、使われていた…

 

《大規模言語モデル考察》 (66)     wpe4F.jpg (12230 バイト)

LLM/大規模言語モデル・・・とは?】 (56)


…様ですね」

「うーん…」支折が、を傾げた。「私も、お世話になった翻訳よねえ…」

「そうですね…」茜が、微笑を浮かべた。「様々シチュエーションsituation/状況。場面。

/境遇、局面。)で、お世話になった人は、多いはずです」

支折が…

 

《大規模言語モデル考察》 (67) 
                                 機械学習                      (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (57)


笑ってをやった。

「ただし…」茜が言った。「<★ 機械学習 = machine learning> は…

<★ 学習前に・・・具体的なタスクを1つ決めて・・・その正答率を最大にできる様に

・・・コンピューターを学習させるのが・・・基本・・・> です。

そのため…

 

《大規模言語モデル考察》 (68)    
                                                    (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (58)


この方法で、様々なタスクをこなす、<チャット・プログラムを・・・作るのは、難しかった

・・・> 様ですね、」

「うーん…」支折が言った。「翻訳どまりですか…」

「あ…」茜が言った。「それから…

“文字列の・・・相関関係を・・・統計的に・・・ 



 7月  25日

《大規模言語モデル考察》 (57)   
                                                (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (47)


<チャット・プログラムを作る・・・> には、どうしたら良いか?

これまで…

どんな事が試されて来てたのか。そして、どの様に、<★ AI エージェントが・・・視界に

入って来た> のか、です」

「はい…」支折が、神妙に、うなづいた。

「ええ…」茜が…

 

《大規模言語モデル考察》 (58) 
                                                         (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (48)


スクリーンボード画像を、拡大した。「ます…


① 人の会話パターンを、全てプログラムに書き込む方法


これは…

1番素朴な方法で、人が言いそうな言葉を、全て、コンピューター登録して置く方法です

ね。…

 

《大規模言語モデル考察》 (59)     wpe4F.jpg (12230 バイト)

LLM/大規模言語モデル・・・とは?】 (49)


…でも、これは、あまり賢くない方法で、ともかく膨大作業になります。


② 文法などのルールを、プログラムに書き込む方法


これは…

よりも、はるかに、多くの会話生成できそうですが、入力された内容に応じて、何を言

う…

 

《大規模言語モデル考察》 (60)    

LLM/大規模言語モデル・・・とは?】 (50)


…かを、プログラムに、書き込んで置く必要があります。

ここでは…

<対話や、翻訳・・・質問の応答> など、言語を使った問題を、コンピューターに解かせ

る、<自然言語処理 という・・・研究分野が勃興(ぼっこう/にわかに勢力を得て盛んになること。)

していますわ。

でも、これらを、全て記述しようとすると、プログラムの量膨大になり、やはり、人力で頑

張る事に…

 

《大規模言語モデル考察》 (61)      wpe4F.jpg (12230 バイト) 

LLM/大規模言語モデル・・・とは?】 (51)


…なります


③ 質問と、答えの・・・相関関係を学ばせる方法


これは…

世の中にある、大量質問回答を集め、質問に対する答え方を、自力コンピュー

ターに、学ばせる方法です。

これは、<★ 機械学習の用語で・・・

 

《大規模言語モデル考察》 (62)     wpe4F.jpg (12230 バイト) 

LLM/大規模言語モデル・・・とは?】 (52)


・・・教師あり学習> と、呼ばれる方法ですね。

最も、分かりやすい例は、“翻訳” ですわ。日本語文章と、それに対応する英語文章

の組を、たくさん、覚えさせます。そして、日本語単語が、英語どの単語に、翻訳され

やすい


 7月  24日

《大規模言語モデル考察》 (51)    
                                                    (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (41)


…シフト大津波が、科学技術文明リードして来た様に…です」

<AI 開発> も…」支折が言った。「その、<壮大な壁の・・・1つ> と、いう事でしょう

か?」

「うーむ…」高杉が、を傾げた。「まあ、望洋(ぼうよう/あまりに、広々としているために、見当のつかない

さま)としていますが、…

 

《大規模言語モデル考察》 (52)    wpe4F.jpg (12230 バイト)  

LLM/大規模言語モデル・・・とは?】 (42)


<別のトラブルを・・・惹起(じゃっき/事件や問題を、ひきおこすこと。) しているということで、

その壁を、感じます。

<基盤モデル> を、開発している…

<泰地真弘人たいじ・まことさん> が、言っていましたが、科学的・好奇心という意味では、

必然の流れなのでしょう。だから…

 

《大規模言語モデル考察》 (53)     
                                泰地真弘人(たいじ・まこと)    (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (43)


<基盤モデル> も、仮に、泰地さん開発ストップしたとしても、誰かがそれをやり、

結局流れそっちの方へ行くだけです。

しかし…

原爆開発の・・・マンハッタン計画> も、そうでしたが、その開発が、 人類文

明社会にとって・・・

 

《大規模言語モデル考察》 (54)  
                                                              (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (44)


・・・過ぎたる物/・・・扱いきれない不用物/・・・文明社会を破滅させるモノ・・・> に、

なりはしないか、という事ですねえ。

まあ…

<AI 開発> そのものは、既存パラダイムの中にあるモノです。しかし、現在

東の火薬庫・・・

 

《大規模言語モデル考察》 (55)    
 『バベルの塔・・・旧約聖書/創世記中に登場する巨大な塔』 神の逆鱗に触れた。 <AI> もか? (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (45)


・・・イスラエルが大暴走・・・> している様に、これも、 新たな・・・火種/巨大な

人類文明の壁/・・・大難題・・・> 1つに、カウントできるもの…でしょう」

厨川アンが、無言でうなづいた。

 

「ええ…」茜が、に…

 

《大規模言語モデル考察》 (56)  
                                                (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (46)


を当てた。「<分散表現> に、を戻しましょう…

何故

<単語を、ベクトルで表す・・・分散表現> に、するのかという事ですね。肝心問題

す。

ええ…

<★ AI による・・・チャット> を…

創出するに当たって、コンピューター・プログラムで、色々と、試してみたわけです。



 7月  23日

《大規模言語モデル考察》 (45)    

LLM/大規模言語モデル・・・とは?】 (35)


ワケですかあ、」

「そうですねえ…」高杉が、の後ろに、を当てた。「人間が、幸福に生きるには…

<人間サイズ/・・・人間原理のサイズが・・・最適だ と、言う

コトです。

いわゆる…

<= 神 => は、人類文明社会に…

 

《大規模言語モデル考察》 (46) 
                                                       (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (36)


…そして人々に、そういう <敬虔(けいけん/・・・親や、神々に対する深い愛や尊敬、忠誠心を表す言葉。西

洋では、古代ギリシャ以降、徳目の一つとされ、キリスト教においては信心を表す用語として認識されています。また、「敬虔

な気持ち」 とは、人や物事を大切にし、心から尊敬している状態を指します。)な生き方/生活を・・・推奨>

して来た、わけです。

むろん…

現在も、宗教は、一定勢力を持っているわけですが、科学技術優勢ですね。ちなみに、

人間好奇心が…

 

《大規模言語モデル考察》 (47)  
                                                    (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (37)


この世界/この世を…

<物の領域と、心の領域の・・・2つに分割> し…また、<天動説> から <地動説>

に、大転換して

<文明の第1ステージ/・・・農耕 ・ 文明の曙の時代・・・> から、<文明の第2ステ

ージ/・・・エネルギー ・ 産業革命の時代> を、創出して来たわけです。

ところが、今/現在

<人類文明は・・・複数の面で・・・壮大な壁・・・> に…

 

《大規模言語モデル考察》 (48)    
                                       (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (38)


ブチ当たりはじめ、にわかに立ち往生している様相ですねえ。

物理科学に、限って言えば…

<物理学の・・・2本柱/・・・交わることのない、2本のレール・・・>

すなわち、一般相対性理論と、量子力学/・・・標準モデル が、一頓挫(いちとんざ/

・・・物事の進行 ・ 進展が、中途で一時、くじけること。)、している様相ですね。

これは…

具体的な、分かりやすい例を言えば、 暗黒物質が・・・

 

《大規模言語モデル考察》 (49)    
                                                    (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (39)


・・・依然として、特定できない・・・> という事です。

代表的な、<WIMP(Weakly interacting massive particle(WIMP・・・ 弱く相互作用する大質量粒子)とは、暗黒

物質の候補の1つ。仮説上の粒子。)、 <アクシオン(/暗黒物質の、有力な候補の1つ。理論上の素粒子。

 アクシオンは、太陽内部で生成される可能性があり、暗黒物質問題を解決するだけでなく、強い相互作用に関する深刻な

問題も解決することが期待されている。) も、“空振り” が、続いていますねえ。”三振” も、視野

入って来ています。

ここら辺りで…

綻び(ほころび)が、始まっている様相ですね。物理学は、現代社会大きな基盤ですが、この

2本柱が、揺れだしています。

現代物理学で…

暗黒物質が・・・補足できない・・・大問題・・・> は、20世紀初頭において…

 

《大規模言語モデル考察》 (50) 
                     宙を形成する、謎の超物質 「暗黒物質 (ダークマター) 」 とは?  (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (40)


ケルビン卿(/絶対温度の概念を確立した人物で、絶対温度の単位 「ケルビン(K) 、はケルビン卿の名前から取ら

れています。)指摘した、“黒体輻射の問題” と、“マイケルソン=モーレーの実験の問題” に、

相当して来るのかも知れません。

つまり、当時

それは、現実には、壮大ピント外れ、であり…

一般相対性理論量子力学 の、パラダイム…


 7月  22日

《大規模言語モデル考察》 (39)     
                             タンパク質の構造   (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (29)


塩基配列によって、遺伝情報記録されています。

複製される時に…

2重鎖は、1本鎖になるわけですが、この1本鎖文章構造と似ている、と言う事ですね。

でも、DNA言語解明はこれからですわ。これが読めるなら…

 

《大規模言語モデル考察》 (40)     
                                       (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (30)


機械学習ニューラルネットの、苦労も無いわけです。そして、私達/生命体内部

は、まさにそれが、実行されているのです。

ええ…

ノーベル化学賞受賞したハサビスの…

AlphaFold2(アルファフォールド2) では、そのタンパク質/・・・DNA(言語)解明

の、端緒に着いたという事…

 

《大規模言語モデル考察》 (41)      
               (/ネットより画像借用)    ◆ グーグル・デーブマインド           デミス・ハサビス

LLM/大規模言語モデル・・・とは?】 (31)


…でしょうか。この、 AlphaFold2> 背後には、膨大タンパク質研究蓄積/基

があるわけです。

ええと、つまり…

<1本鎖・DNAという、1本の文章/・・・DNA・2重螺旋(らせん)言語> を、アッサリと、

理解できるなら、何も <ベクトル表示の・・・分散表現> に…

 

《大規模言語モデル考察》 (42)   
                                (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (32)


変換するコトもないのです。

身の回りに溢れる、生命体/細胞/DNA言語は、それをアッサリクリアしているのです

から」

「はい、アン…」茜が、うなづいた。「有難うございます…

<分散表現> や、<Transfomer>

 

《大規模言語モデル考察》 (43)       
                                                    (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (33)


…を超えるシステムが、私達身体も含め、眼前に、溢れていると言うことですね。そして、

<Transfomer> は、ヒトの頭脳に近い情報処理能力を、展開していると言うことですね」

「うーん…」支折が、を揺らした。「まさに…

 

《大規模言語モデル考察》 (44)  wpe4F.jpg (12230 バイト)
     マンハッタン計画で製造された、原子爆弾。  『リトルボーイ』 上  、 『ファットマン』 下   (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (34)


<AI/・・・人工知能が・・・育てられている> 、言うことですね。

そして…

それが、かつての…

<★ 原爆製造の・・・マンハッタン計画/・・・核戦略時代の開闢(かいびゃく) の様に、

<★ 人類文明にとって・・・非常に有害であり・・・必要性のない・・・危険なモノ

に、なるかも知れない…


 7月  21日
              海の日

《大規模言語モデル考察》 (33)     

LLM/大規模言語モデル・・・とは?】 (23)


・・・数値からなる・・・ベクトルで意味を表す・・・分散表現> が、適しているのです。つ

まり、ボードに書いてある様に…


  <LLM/大規模言語モデル>

    =

  <ベクトルで、単語の意味を表す・・・分散表現>

    

  <広く、深く・・・データの特徴を学ぶ・・・Transfomer

 

《大規模言語モデル考察》 (34) 
                                                     (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (24)


…が、中核になる、という事ですね。

そして…

<この AI/・・・大規模言語モデル> は、言語自然現象複雑システムを、<丸

ごと受け止められる点で・・・ヒトの脳と、よく似た情報処理・・・> を…

 

《大規模言語モデル考察》 (35)  wpe4F.jpg (12230 バイト)
                                                (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (25)


…行っている、という事です。

さあ…

そこで、まず…

<単語の意味を、ベクトルで表す・・・★ 分散表現について、説明して行きましょう

か。<広く、深く、データの特徴を学ぶ・・・★ Transfomerについては、その後で、

考察します。

とりあえず…

<分散表現> という言葉を、ネットで調べてみました。以下のような、説明になっていま

す…

 

<分散表現>

単語の意味を・・・低次元の実数値ベクトルで・・・表現する手法

分散表現とは、単語意味低次元実数値ベクトル表現する手法です。 これにより、

単語同士距離位置関係から意味を捉えることが可能になります。

具体的には、単語を  ”少ない数の・・・要素で構成された・・・ベクトルに変換” し、これを用

いて、単語の様々な側面表現します。

分散表現は、単語埋め込み(Word Embedding)とも呼ばれ、自然言語処理分野広く利

されています。

 

   

                                                         (/ネットより画像借用)

 

 
…というものですが、どうも、素人にはチンプンカンプンですね。

ともかく…

ここは、”参考文献” に沿って、説明して行きましょうか」

「はい…」支折が…

 

《大規模言語モデル考察》 (36)   wpe4F.jpg (12230 バイト)
                                         (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (26)


…うなづいた。「ベクトルは、“力と方向の・・・矢印” よねえ。それだけで、単語が表される

のかしら?」

「はい…」茜が言った。「ええと…

そもそも…

”単語が並んだ、文字列データである・・・文章” を、なぜ、”ベクトルの・・・数値データ” に…

 

《大規模言語モデル考察》 (37)     wpe7.jpg (10890 バイト)
                            タンパク質の構造    (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (27)


変換する必要があるかですね、」

「そうですね…」アンが、を開いた。「もちろん、それは、<分散表現> のためですが…

参考文献 の…

4番目論文記事/『■ タンパク質を語る言語 は、タンパク質アミノ酸配列を、言語

に見立てて、<大規模言語モデル> に…

 

《大規模言語モデル考察》 (38)    
                                    (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (28)


学習させ、立体構造機能予測に役立てる研究が、進んでいると言うものです。

<DNA/・・・DNA言語> は…

ご存知の様に、二重らせん構造を持ち、(アデニン)(チミン)(グアニン)(シトシ

ン)の、4種類塩基が並んだ…


 7月  20日

《大規模言語モデル考察》 (27)  wpe4F.jpg (12230 バイト)
                                                (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (17)


を傾げた。「でも…

“いきなり・・・テキストから・・・知識を学習する” と、言われても、<LLM/大規模言語モ

デル> 内部で、何をしているのかは、いまいち、ピンと来ないわねえ…」

「そうですね…」茜が、小さく

 

《大規模言語モデル考察》 (28)  
                                            (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (18)


…うなづいた。「<この AI/・・・大規模言語モデル> のことを、知ろうとすればするほ

ど、まるで雲をつかもうとしている様な、感覚になります。

一体、<大規模言語モデル> では、言語を、どの様把握しているのでしょうか。

 

《大規模言語モデル考察》 (29)  
                                          (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (19)


ええと…

この、参考文献 の中の、論文記事/『■ 大規模言語モデルとは何か では、この

を、真正面から取り上げています。

<大規模言語モデル> を、理解する上で、キーワードとなるのが…


1/★ 分散表現・・・単語の意味を・・・ベクトルで表す
と…

 

《大規模言語モデル考察》 (30)  
                                                     (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (20)


2/★ Transfomer (トランスフォーマー) という・・・ニューラルネット

…の、2つですわ」

「うーん…」支折が言った。「<Transfomer> という、言葉は…

これまで、何度も聞いているわねえ。意味を調べると、”何かを・・・

 

《大規模言語モデル考察》 (31)     wpe7.jpg (10890 バイト)
                                   
玩具/トランスフォーマー    (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (21)


・・・別のものに変えるもの・・・” という、ことですよね。

例えば…

変圧器(/電気回路の電圧を変える装置)や、ロボット変形する玩具/トランスフォーマー』  な

どが、該当するとか。これは、<AI/・・・ニューラルネット> なのですね。

 

《大規模言語モデル考察》 (32)   wpe4F.jpg (12230 バイト)

LLM/大規模言語モデル・・・とは?】 (22)


うーん…

<★ 単語の意味を・・・ベクトルで表す・・・分散表現> とは、どういうもの、かしら?」

「はい…」茜が、うなづき、スクリーンボードに、を投げた。「そもそも…

コンピューターで、単語意味をとらえるには、<★ 複数の・・・


  

 7月  19日

《大規模言語モデル考察》 (21)   wpe7.jpg (10890 バイト)
                                             (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (11)


<ChatGPT> に、どんな文章を入力するのが、効果的かを指南する書籍も、数多く

出版されている・・・

 


…と、いう事ですねえ、」

「はい…」茜が、うなづいた。「ええ…

<GPTを・・・ベースにした、システム・・・> も …

 

《大規模言語モデル考察》 (22)   
                                        (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (12)


リリースされています。

<大量の医学論文を学習した・・・大規模言語モデルの・・・  BioGPT  > や、

<日常会話で使う・・・普通の言葉を・・・プログラムの、ソースコードに変換する・・・

Codex  >

…など、ですね。

さらに…

 

《大規模言語モデル考察》 (23)   
                                       (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (13)


今年/2023年7月には…

<ChatGPT の・・・有料版> に、 Code Interpreter > という、新機能追加

されたと、言っています。

この機能は、 表形式の・・・数値データの入ったファイルを・・・入力 して、調べた

い項目を…

 

《大規模言語モデル考察》 (24)    
                                         (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (14)


普通の言葉で、入力するものです。

これだけで…

“データ解析のための・・・プログラムを生成し・・・自動で、統計解析をしてくれる” と、いう

ものですね」

「うーん…」支折が言った。「<表形式の・・・数値データファイル> を、入れて

 

《大規模言語モデル考察》 (25)   wpe4F.jpg (12230 バイト)
                            ヒューマノイド・ロボット    (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (15)


置くわけですね。後は、普通の言葉質問すれば、いいわけですか。

これが、ええと…

日常会話で使う、普通の言葉を・・・プログラムの、ソースコードに変換する・・・

Codex >

…なのですね?」

「はい…」茜が…

 

《大規模言語モデル考察》 (26)   
                                                     (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (16)


…うなづいた。「こうした、現状というのは…

<★ この AI/・・・大規模言語モデルが・・・単なる、便利な、お喋り(おしゃべり)アシス

タント・・・> 領域を、超えている、という事です。”言葉そのものを・・・本質的に理解し

ている様な・・・印象・・・” と、いう事ですわ」

「そうよねえ…」支折が…



 7月  18日

《大規模言語モデル考察》 (15)   
                                                (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (5)


2023年10月モノだからです。私達は、まず、<大規模言語モデル> 開闢(かい

びゃく)時点から、その基盤技術と、“人間の理解を超える・・・奇妙な謎の発火・・・” を、考察

して行こうと、考えています」

そういう意味では…

 

《大規模言語モデル考察》 (16)  wpe4F.jpg (12230 バイト)  
                                            (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (6)


…」支折が言った。「古いデータというコトでは、ないわけですね?」

「まあ…」高杉が、を崩した。「10年後に振り返れば、まさに、“当初から” と言えるでしょ

う。

<LLM/=大規模言語モデル> は…

<オープンAI (社) 以外

 

《大規模言語モデル考察》 (17)        

LLM/大規模言語モデル・・・とは?】 (7)


…にも、<グーグル> や、<マイクロソフト> <メタ> <アマゾン> といった、

名 IT 企業が、ここ数年で、それぞれリリースしています。<オープンAI(社)の・・・

ChatGPT> 登場以後は、さらに動きが加速しています」

「うーん…」支折が…

 

《大規模言語モデル考察》 (18)    wpe4F.jpg (12230 バイト)
                                              (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (8)


…うなづいた。「それは、最近ニュースなどで、チラホラ聞こえて来るわねえ。私達も、ま

さに、そうした時代の、渦中にあるという事ですね?」

「そうです…」高杉が、参考文献 を取り上げた。「さて…

 

 

《大規模言語モデル考察》 (19)  
                                                (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (9)


<● この、AI の仕組み・・・LLM/大規模言語モデル・・・>
は、

ある意味で、シンプルだと言います。


 

<LLM/大規模言語モデル> は・・・

まず、あらかじめ、膨大なテキストを取り込むのです。そして、そこから、知識を学習

して・・・

 

《大規模言語モデル考察》 (20)  
                                       (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (10)


・・・ニューラルネットワークの中に、蓄えるわけです。この知識を利用して、言語に関

する様々なタスクを解きます。

特に・・・

<GPT> の場合は、利用者が入力文の形式を変えるだけで、幅広いタスクをこなせ

る様です。


  
                                      (/ネットより画像借用)



 7月  17日

《LLM/大規模言語モデルの考察》 (9)         

【プロローグ】 (9)


ええと…

あ、折原マチコさんと、ポンちゃんが、さっそく、飲物フルーツを運んで来てくれています

ね、」

マチコポン助が、それらをワゴンから軽食テーブルの方に移していた。フルーツジュース

に、スライスしたスイカは、小皿に…

 

《LLM/大規模言語モデルの考察》 (10)       

【プロローグ】 (10)


…盛り分けてあった。

マチコさん…」茜が言った。「お久しぶりです!

うん!」マチコが言った。「このスイカ美味しいわよ! 熊本産だと言っていたわねえ、」

「そうですか…」茜が、満面で微笑んだ。

他のみんなも、軽食テーブルの方に集まって来た。

 

《大規模言語モデルの考察》 (11)

【● LLM/大規模言語モデルとは?】 (1)


     


「さあ…」茜が、準備したスクリーンボードを眺めた。「さっそく、本題に入ります…

参考文献 にある…

4本論文記事掲載しましたが、難しい内容

 

《大規模言語モデルの考察》 (12)       
                                             (/ネットより画像借用)

● LLM/大規模言語モデル・・・とは?】 (2)


…なので、最も分かりやすい所から、入って行きましょう。つまり、論文の順序が違います

が、まず2番目論文記事/大規模言語モデルとは・・・何か?」 から、入る事にしま

す。そして、まさにこれが、このページ本題でもあるわけですね。

 

《大規模言語モデル考察》 (13)    
                                         (/ネットより画像借用)

LLM/大規模言語モデル・・・とは?】 (3)


ええと…

<LLM = Large Language Models/大規模言語モデル> とは…

簡単に言えば…

<ChatGPTの・・・内部で動いている・・・AI のコト・・・> ですね、」

「はい…」高杉が、うなづき、参考文献 を落とした。「ええ…

 

《大規模言語モデルの考察》 (14)    
                                                (/ネットより画像借用)

● LLM/大規模言語モデル・・・とは?】 (4)


<米・オープンAI (社)提供する…

<ChatGPT> の中では、2023年8月現在の、時点ですが…

<GPT-3.5/・・・有料版では、GPT-4> という、<大規模言語モデル> が、動い

ています。

データが、少々古いのは…

参考文献が…



 7月  16日

《LLM/大規模言語モデルの考察》 (1~5)

【プロローグ】 (1~5)

“参考文献”

    日経サイエンス・・・2023/10     日経サイエンス・・・2025/02

     

日経サイエンス・・・2023/10

<特集>

  = 大規模言語モデル/ 科学を変える AI =

  ■ オウム以上フクロウ未満?/生成AI の“思考力”

    <生成AI は事前に教えていないことを、どういうわけか、理解している様だ。

      いったい何故なのか?研究者は理解に苦しんでいる。>

                                 G.マッサー(SCIENTIFIC AMERICAN 編集部)


  ■ 大規模言語モデルとは何か

    <ChatGPT で一躍有名になったこの AI は、一体、どこからやって来て、どこ

      へ向かうのだろう。>

                                                 出村政彬(編集部)



  ■ 脳とAI 溶ける境界/大規模言語モデルが開く、脳の理解

     <脳の中で、異なる種類の情報はどの様に統合されるのか。この長年の未解

      決問題に、大規模言語モデルが新たな光を当てている。>

                                     平理一郎(東京医科歯科大学)

                                     丸山隆一(科学技術振興機構研究開)


  ■ タンパク質を語る言語

    <AI は、便利な実験ツールにとどまらず、生命現象を俯瞰する新たな視点を

     提供しつつある。>

                                                 出村政彬(編集部)

 

《大規模言語モデルの考察》 (6)         

【プロローグ】 (6)
                          

「はい、ええ…」秋月茜が、一礼して、椅子に掛けた。「さっそく、始めましょう…

同じメンバーで、考察して行きます。皆さん、よろしくお願いします。

今回は…

猛暑季節でもあり…

 

《大規模言語モデルの考察》 (7)     wpe4F.jpg (12230 バイト)

【プロローグ】 (7)

羽衣弥生さんクラブ・須弥山 から、飲物フルーツも、取り寄せたいと思っていま

す。

さあ…

2025・・・参議院選挙> も…

現在最終盤になっていますね。《危機管理センター》 で、里中響子さんが、見守って

ます。それから…

 

《大規模言語モデルの考察》 (8)      

【プロローグ】 (8)


《My Weekly Journal》/編集長/津田真さんも、一緒に、注視しています。

今回は…

当/《HomePage/人間ん理空間》 では…

<東京都/・・・山尾しおり(さん)を、推奨しています。実力派であり、必ず

活躍する人材です。よろしくお願いします 

 

        

                          (/ネットより画像借用)


 7月  15日

《LLM/・・・基盤モデルとは? 》 (188)  
                                   泰地真弘人(たいじ・まこと)    (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(21)


<基盤モデル> の…」茜が言った。「活用は、この先 さらに進みそうですね…

ええ、泰地さんは、この様に、結んでいますわ…


 

「このコトに、懸念が無いわけではありません・・・

例えば・・・

<基盤モデル> ・・・

 

《LLM/・・・基盤モデルとは? 》 (189) 
                 AI 科学者: 自動化研究の新時代、あるいはまだ始まったばかり・・・   (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(22)


・・・で、科学の研究がどんどん加速する中で、研究する楽しみ様なものが、果して、

チャンと、残るかどうか。それは、ともすれば、損なわれる可能性もあるなと、感じて

います。

ただ・・・

それでは、止めて置こうかというと・・・

 

《LLM/・・・基盤モデルとは? 》 (190)   
                                    インターネット未来           (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(23)


・・・それも違う話です。結局、他の誰かが実現してしまえば、科学研究の流れは、そ

ちらに行かざるを得ませんから。

そういう意味では・・・

現代というのは、科学研究のみならず、人間活動の全体が、<AI によって・・・大き

く変化・・・

 

《LLM/・・・基盤モデルとは? 》 (191)   
                                    泰地真弘人(たいじ・まこと)    (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(24)


・・・しようとている時期・・・> です。

そこに・・・

居合わせた自分が、科学者として、何が貢献できるだろう、ということを考えながら、

このプロジェクトに取り組んでいます・・・」

 


…と」

「はい…」アンが、大きく

 

《LLM/・・・基盤モデルとは? 》 (192)
                               泰基盤モデル/Foundation Models    (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(25)


…うなづき、赤毛で絞(しぼ)った。

「うーむ…」高杉も、を置いた。「今年度中に…

<基盤モデルの・・・試験版・・・> を、リリースするという事ですから、現在、まさに作業

は、佳境(かきょう/・・・物語、演劇等の、興味深い場面。)なのかも、知れませんねえ。

まあ…

 

《LLM/・・・基盤モデルとは? 》 (193)  
                                                   (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(26)


何のトラブルもなく、トコロテン式リリースされるとも思えません。ともかく、そういう時代

に、突入して行く、という事ですね」

「そうですね…」茜が、みんなを見回した。「ええ…このページは、これで終了したいと…

 

《LLM/・・・基盤モデルとは? 》 (194)   
                                                 (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(27)


…思います」


次に…」茜が言った。「《LLM/大規模言語モデルの・・・考察・・・》 に、移ります。

これまでの考察で…

<AI 周辺の・・・知識> も、だいぶ広がったと思います。これをテコに、その中核である、

<LLM/・・・

 

《LLM/・・・基盤モデルとは? 》 (195)  
                                                         (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(28)


・・・大規模言語モデル> 真髄(しんずい)に、改めて、切り込んで行きたいと思います。

<LLM/大規模言語モデル> は…

最近の、科学技術創出したモノですが、<人工物でありながら・・・人間の理解を超え

る代物(しろもの)・・・> という事です。<教えていないコトも・・・

 

《LLM/・・・基盤モデルとは? 》 (196)    wpe4F.jpg (12230 バイト)   

【基盤モデルで変わる・・・科学の風景】・・・(29)


・・・創生して出力> する様ですね。

考えてみれば…

そもそも、<★ 私達/・・・人間の頭脳> も、そうなのかも知れません。<★ 必然か、

偶然か・・・人類文明は・・・こうした事態にも直面・・・> して来ています」



「ええ、そういうコトで…

次は、<AI/人工知能の・・・核心/真髄の考察・・・> に入ります。

どうぞ、ご期待ください

   【・・・終わり・・・】       


 7月  14日

《LLM/・・・基盤モデルとは? 》 (182)  
                                   泰地真弘人(たいじ・まこと)    (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(15)


「はい…」茜が、を和ませた。「ええ…

研究スピードが、益々加速する事について、泰地さんは、この様に言っています…


 

「研究者仲間の間では・・・

活動単位が変わってくる可能性があるかも、という・・・

 

《LLM/・・・基盤モデルとは? 》 (183)  
                AI 科学者: 自動化研究の新時代、あるいはまだ始まったばかり・・・   (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(16)


・・・話もしています。

研究代表者の元に、複数の研究者が集まって、集団で研究を行う現在の仕組みか

ら・・・

1人1人が研究代表者になり、<複数の・・・基盤モデルを活用> しながら、研究を

進める仕組みへの変化も、あるかも・・・

 

《LLM/・・・基盤モデルとは? 》 (184)  
                                基盤モデル/Foundation Models    (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(17)


・・・知れません」

 


…と」

「うーむ…」高杉が、椅子を預けた。「まあ、効率ということでは、そうなのかも知

れません。しかし、益々ラボから、人の姿が無くなりますねえ…」

「そうですね…」茜も、…

 

《LLM/・・・基盤モデルとは? 》 (185) 
                           「AI サイエンティスト/The AI Scientist 」      (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(18)


を傾げた。「ええと、この流れは、必然なのでしょうか…?

泰地さんは、こう話して、いますわ…


 

「科学研究に・・・

<AI を・・・利用するという流れ> は、ある種の必然なのだ、と思ってます。

私が、学生時代に…

 

《LLM/・・・基盤モデルとは? 》 (186)  
                                    泰地真弘人(たいじ・まこと)氏  (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(19)


シミュレーションの研究をしていた1980年代には、紙とペンで計算するのが、本当

の物理で、シミュレーションをいくらやっても、真理には到達できない、という考え方を

する研究者もいました。

でも・・・

シミュレーションが・・・

 

《LLM/・・・基盤モデルとは? 》 (187)  
                                                 (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(20)


・・・有力な研究手法であることは、今や誰しもが、認める所です」


 


…と」

「うーむ…」高杉が、うなづいた。「それと同じ事が…

今後<基盤モデル> についても、起こって来る、だろうという事ですねえ…」



 7月  13日

《LLM/・・・基盤モデルとは? 》 (176) 
                                                          (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(9)


ええと…泰地さんは、この様に、言っていますわ…


 

「その方が・・・

異なる領域間における知識の結合が、行い易くなるはずです。医学レベルと分子レ

ベルの情報を組み合わせる、“創薬” などの例を、イメージしてみると・・・

 

《LLM/・・・基盤モデルとは? 》 (177)  
                                   泰地真弘人(たいじ・まこと)氏    (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(10)


・・・分かり易いと思います」

 


…と」

研究スピードが…」アンが言った。「益々加速して行きそうですね、」

「そうですね…」茜が、高杉の方を見た。「<・・・便利 ・ 楽チン ・ 速い ・ 他人まかせ

・・・> が、益々加速する…

 

《LLM/・・・基盤モデルとは? 》 (178)  
                                                 (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(11)


構造になりますわ。

<経済覇権> 勝利した、大富豪などが典型ですが…

そんな、<楽チン ・ 他人まかせの・・・大勝利の果実・・・> では、その後は、“何のた

めの・・・人生か?” と、いう事になります。

<美食 ・ 旅行のハシゴ ・ ・・・

 

《LLM/・・・基盤モデルとは? 》 (179) 
                                                          (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(12)


・・・贅沢三昧の生活・・・> だけでは、家畜と、何処が違うのでょうか。怠惰で、ブクブク

太るだけですわ。家畜の場合は、それが仕事ですが、<人類文明・・・//・・・人間生

活> が、それで良いわけがありません。

 

《LLM/・・・基盤モデルとは? 》 (180)   
                                                   (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(13)


でも、このまま…

<AI が・・・急速展開・・・> して行けば、 人間は・・・何をして・・・生きて行く・・・

かの、大問題直面しそうですわ、」

「まあ…」高杉が、アゴを当てた。「それ故に…

<★ 人間原理への・・・回帰が必要 なのです。<人類文明の・・・ターニングポイ

ント・・//・・・郷愁の時代への、回帰 です。 

 

《LLM/・・・基盤モデルとは? 》 (181) 
                                                             (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(14)


その、<人間のサイズの社会が・・・人生を・・・最も堪能できる・・・>  と、いう事です

ね。

ボス(/岡田)は…

最近では、食料の買い出しさえ、自転車を使わずに、荷物を背負って運んでいる様です。

はは…それが、ボス健康法の様ですねえ。<人間原理> の、実践なのでしょうか、」



 7月  12日

《LLM/・・・基盤モデルとは? 》 (170) 
                                                   (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(3)


変わってくる様です。今後、どの様になって行くのか、気になります。

この点を、泰地さんは、こう言っていますわ…


 

「例えば・・・

遺伝子解析や気象の観測など、大規模なデータは、<データベース> で、提供され

る・・・

 

《LLM/・・・基盤モデルとは? 》 (171)  
                                    泰地真弘人(たいじ・まこと)氏   (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(4)


…事が多いですよね。今後はこうしたデータが、<基盤モデルの形> で、提供され

る様になる、と考えています」

 


…と」

「すると…」アンが、赤毛ですき上げた。「研究者は…

“個別の実験や、観測結果の数値を・・・ 

 

《LLM/・・・基盤モデルとは? 》 (172) 
                                    データーベース           (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(5)


・・・<データベース> を、参照・・・” するのでは、なく…

<基盤モデル> を介して・・・それらの結果がもつ・・・傾向やルールを、参照・・・” する、

…という、になりますね?」

「うーん…」茜が、ユックリと、うなづいた。「そうですね…

<大規模データは・・・データベースの・・・

 

《LLM/・・・基盤モデルとは? 》 (173) 
                                                   (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(6)


・・・提供> から、基盤モデルの形での・・・提供・・・> になる、のでしょうか。

この辺りを、泰地さんは、この様に話しています…


 

「文献の、調べ方も…

変わって行くと考えています。今は、グーグル(Google)の様な検索エンジン・・・

 

《LLM/・・・基盤モデルとは? 》 (174)  
                                    泰地真弘人(たいじ・まこと)氏  (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(7)


・・・があって、その中の個別の論文に、個々の研究者がアクセスする形式です。それ

が、AI モデル内部の・・・知識情報という形で・・・埋め込まれ・・・ 、研究者は

基盤モデルから・・・情報を取り出す形・・・ に、変わって行くのでは、と思います」

 

《LLM/・・・基盤モデルとは? 》 (175)   

【基盤モデルで変わる・・・科学の風景】・・・(8)


 


…と」

「ふーん…」アンが、を当てた。「<・・・論文検索・・・> ではなく…

<基盤モデルとの・・・対話・・・> で、先行研究情報入手する、という事ですね…」

「うーん…」茜が、微笑を浮かべ、うなづいた。「そうですね…


  

 7月  11日

《LLM/・・・基盤モデルとは? 》 (164) 
                                    <LLM/大規模言語モデル>   (/ネットより画像借用)

【研究者に…開かれたAI 】 (11)


・・・人工物で・・・人間が理解できない領域・・・” に、踏み込む事になります。

あ、具体的には…

<LLMの中核である・・・Transfomer (トランスフォーマー) の処理方法・・・> が、

”人間の・・・頭脳に近い・・・処理方法” 取っているからなのです。

いわゆる…

 

《LLM/・・・基盤モデルとは? 》 (165) 
                                                   (/ネットより画像借用)

【研究者に…開かれたAI 】 (12)


“言語でも、画像でも、音でも・・・なんでも取り込む・・・” という、”例の・・・処理能力” です

ね。これは、人間頭脳に近い能力と言われます。

この方面も…

現在は、相当に、研究が進んでいるかも知れません。でも、私達は、まず、<LLMの・・・

 

《LLM/・・・基盤モデルとは? 》 (166) 
                AI 科学者: 自動化研究の新時代、あるいはまだ始まったばかり・・・   (/ネットより画像借用)

【研究者に…開かれたAI 】 (13)


・・・土台を考察・・・> して、行くことになります」

「そうですね…」アンが、小さくうなづいた。「<★ AI 開発は・・・慎重に・・・> というの

が…<当ページの・・・コンセプト/概念・考え方・・・> だと思いますが、まず、基本

知る必要があります。

 

《LLM/・・・基盤モデルとは? 》 (167)    

【研究者に…開かれたAI 】 (14)


ともかく…

人類文明が、<AI/・・・人工知能> に、興味を持って、その糸口を掴んだ以上、人間

好奇心が、それを手放す事は無いでしょう。

でも…

<★ AI 開発は・・・慎重に・・・> というコンセプトを、推進するためにも、まずは、ソレ

が…

 

《LLM/・・・基盤モデルとは? 》 (168)
                                  基盤モデル/Foundation Models  (/ネットより画像借用)

【研究者に…開かれたAI 】 (15)


<その技術が・・・ 一体・・・何者なのか?> を、知る必要があるわけですね。私も、

当面楽しみにしています。その先は、哲学の問題になるかも知れませんね、」

「はい…」茜が、を結び、うなづいた。

 

【基盤モデルで変わる・・・科学の風景】・・・(1)


「ええ…」茜が、用意してある…

 

《LLM/・・・基盤モデルとは? 》 (169) 
                                                         (/ネットより画像借用)

【基盤モデルで変わる・・・科学の風景】・・・(2)


スクリーンボートを、スクロールした。「を進めます…

さあ、泰地さんは…

今年度/2025年度末までには…

<★ 試験版の・・・基盤モデルをリリースする・・・ という事ですね。<基盤モデル>

が、登場すると、科学研究活動そのものが…



 7月  10日

《LLM/・・・基盤モデルとは? 》 (158) 
                                                         (/ネットより画像借用)

【研究者に…開かれたAI 】 (5)


防衛予算投入されていれば、”国家が・・・囲い込む” という事は、ないのですか?」

「はい…」茜が、うなづいた。「泰地さんは、この様に言っていますわ…

 

「基本的には・・・

どの科学分野の<基盤モデル> についても・・・

 

《LLM/・・・基盤モデルとは? 》 (159) 
                                                  (/ネットより画像借用)

【研究者に…開かれたAI 】 (6)


・・・公開を考えています。私達のゴールは、<基盤モデルを・・・作る> ことではなく、

それを使って、サイエンスの成果を出す、という所にあるので・・・」

 


…と、いう事です。

それから…

現在開発中の・・・こうした基盤モデル群は・・・

 

《LLM/・・・基盤モデルとは? 》 (160)   
                                    泰地真弘人(たいじ・まこと)氏    (/ネットより画像借用)

【研究者に…開かれたAI 】 (7)


・・・何時ごろ、公開される予定か?”

…という質問には、この様に答えています。


 

「早ければ・・・

2025年度の末までには・・・今計画している中から、幾つか試験版を・・・リリース

たい・・・と思って、取り組んでいる所ですね・・・」

 

 

《LLM/・・・基盤モデルとは? 》 (161) 
                                                 (/ネットより画像借用)

【研究者に…開かれたAI 】 (8)


…と、いう事です」

「うーむ…」高杉が、を当てた。「2025年度中に、ですか…

早いですねえ。少なくても、2・3年先か、4・5年先と考えていました。<AI 開発> は、

間スケールというものが、桁違いに速い、様ですねえ、」

 

《LLM/・・・基盤モデルとは? 》 (162)   
                                                 (/ネットより画像借用)

【研究者に…開かれたAI 】 (9)


「そうですね…」茜が言った。「この  “参考文献 は…

日経サイエンス・・・2025年/02 ですから…

資料的には2024年のものですわ。2025年7月 現在では、研究開発は、さらに先

走っているわけです。でも、私達は、多少古くなった…

 

《LLM/・・・基盤モデルとは? 》 (163)  
                                日経サイエンス・・・2023年/10
  (/ネットより画像借用)

【研究者に…開かれたAI 】 (10)


資料ですが、これを、追いかけて行くしかありません。

ええと…

次に予定しているページ/《LLM/大規模言語モデル・・・の考察》 では…

さらに前年の、日経サイエンス・・・2023年/10 の、資料になります。内容的には、

“ 科学技術が作り出した・・・



 7月  9日

《LLM/・・・基盤モデルとは? 》 (152)
       
実験と、論文執筆だけでなく、査読まですべてAIが行う、 AI サイエンティスト/・・・The AI Scientist を、                      日本の AI 企業 Sakana AI が、リリースしました                   (/ネットより画像借用)

【基盤モデルの基盤を・・・整備する】 (17)


…しまいそうですねえ。

あ、そうそう…

に、1度述べていますが…

<★ 東京を拠点とする・・・AI スタートアップ/・・・Sakana AI・・・> は、 The

AI Scientist を、2024年8月公開していますね。

これは…

<★ 研究のアイデア・・・

 

《LLM/・・・基盤モデルとは? 》 (153) 
                                                          (/ネットより画像借用)

【基盤モデルの基盤を・・・整備する】 (18)


・・・生成から査読に至るまで・・・機械学習研究の工程を・・・ 一気貫通で、自動実行

するシステム> と、言うことですねえ。今後一体、どういうコトに、なるのでしょうか?」

ホホ…」アンが、楽しそうに笑った。「そうですね…」

 

《LLM/・・・基盤モデルとは? 》 (154)    
                                               (/ネットより画像借用)

【研究者に…開かれたAI 】 (1)


「さあ…」茜が、ノートパソコンから、を上げた。「ええと…

<★ プロジェクトで、完成した・・・基盤モデル・・・> は、最終的に、どの様活用する、

イメージなのでしょうか?

既に…

<公開されている・・・海外の基盤モデル・・・> も、あるわけですが…

 

《LLM/・・・基盤モデルとは? 》 (155) 
                          トランプ大統領  「掘って、掘って、掘りまくれ」   (/ネットより画像借用)

【研究者に…開かれたAI 】 (2)


米/トランプ大統領が、撹乱(かくらん)する世界です。

<戦争ゴッコ ・ 覇権ゴッコ <国際法・・・無視 <知性欠如の・・・デール

世界で、<国家 ・ 企業で・・・AI 技術を囲い込む・・・> と、いう様なコト

は、ないのでしょうか?

ええ…

泰地さんは、この様に話しています…

 

《LLM/・・・基盤モデルとは? 》 (156)  
                                    泰地真弘人(たいじ・まこと)氏   (/ネットより画像借用)

【研究者に…開かれたAI 】 (3)


 

「アイディアを持っている、個々の研究者やラボが・・・

<研究に・・・AI モデルを使う>とで、“創薬を実現” できると言った、<オープ

な・・・システム> を、作りたいと、考えています」

 

…と、いう事です」

 

《LLM/・・・基盤モデルとは? 》 (157) 
                                                  (/ネットより画像借用)

【研究者に…開かれたAI 】 (4)


「うーむ…」高杉が言った。「すると…

開発中の、<様々な、基盤モデルは・・・基本的には・・・公開を前提にしている と、

いう事に、なるのでしょうか?

企業開発したモノなら、“ 企業が・・・囲い込む ことが、考えられるし、国家予算や…


 7月  8日

《LLM/・・・基盤モデルとは? 》 (147)   
                                    泰地真弘人(たいじ・まこと)氏   (/ネットより画像借用)

【基盤モデルの基盤を・・・整備する】 (12)


・・・あったわけです。

各分野の研究者が・・・

もっとうまく協力し合えば、理研で < AlphaFold2> みたいなシステムを、作れた

可能性も、十分にあるんですね。

特に、生命科学や・・・

材料科学などの、各領域の専門家と、<AI> や・・・

 

《LLM/・・・基盤モデルとは? 》 (148) 
                                                  (/ネットより画像借用)

【基盤モデルの基盤を・・・整備する】 (13)


・・・計算科学の専門家が、手を組むことは、すごく重要で、今回の <★ 基盤モデル

の・・・プロジェクト> では、そこを重視しています」  


 


…と」

「ええと…」茜が言った。「この他に…

この、プロジェクト

<科学研究基盤モデル開発プログラム(Advanced General Intelligence for Science

Program: AGISでは…

 

《LLM/・・・基盤モデルとは? 》 (149) 
                                                         (/ネットより画像借用)

【基盤モデルの基盤を・・・整備する】 (14)


<〇 質の高い・・・実験データを取得するための・・・ロボットを用いた、実験自動化

の技術> や…

<〇 ロボットや、シミュレーション用のプログラムと・・・基盤モデルを接続する技術>

なども、開発する様ですね。

<● ・・・実験の実施・・・> と、…

 

《LLM/・・・基盤モデルとは? 》 (150)    

【基盤モデルの基盤を・・・整備する】 (15)


<● ・・・結果の蓄積・・・> <● ・・・知識の構造化・・・> まで…

<〇 ラボで行われる研究活動の大部分が・・・ニューラルネット上で・・・連続的に実

現するイメージ・・・> の様ですね」

素晴らしいですね…」アンが、赤毛サラリと…

 

《LLM/・・・基盤モデルとは? 》 (151)      wpe4F.jpg (12230 バイト)

【基盤モデルの基盤を・・・整備する】 (16)


…揺らした。「泰地さんは…

こうした、研究資源開発構造化に、情熱を燃やしているわけですね…」

「うーむ…」高杉が、うなづいた。「さて…

<AI 開発> が、どんどん進んでいくと、ラボ(labo/laboratory(ラボラトリー)・・・実験や研究が行われる

場所)に、研究者姿が、消えて…

 

  

                                        (/ネットより画像借用)


 7月  7日

《LLM/・・・基盤モデルとは? 》 (141) 
                                                          (/ネットより画像借用)

【基盤モデルの基盤を・・・整備する】 (6)


必要なわけですね。その値を決める方法というものも、経験値に頼っているのかしら?」

「そうですね…」茜が、を引き結んだ。「さすがに、泰地さんの、ナマですわ…

“ ニューラルネットの学習それ自体が・・・ 

 

《LLM/・・・基盤モデルとは? 》 (142)  
                                                         (/ネットより画像借用)

【基盤モデルの基盤を・・・整備する】 (7)


・・・かなり、実験科学に近い所がある・・・” という事ですね、」

「そうですね…」アンが、を開いた。「“ 学習自体が・・・実験科学に近い所がある・・・”

けですね、」

「ええ…」茜が、“参考文献” を、取り上げた。「この、泰地さん等の…

 

《LLM/・・・基盤モデルとは? 》 (143) 
                                           (/ネットより画像借用)

【基盤モデルの基盤を・・・整備する】 (8)


<プロジェクト> では…

<高精度の・・・基盤モデルの・・・構築方法そのもの・・・> や、それを実現するだけの、

<十分な・・・コンピューティング・パワーを有する・・・計算環境の開発> も、並行して、

進めている様ですね。

理研/理化学研究所・・・

 

《LLM/・・・基盤モデルとは? 》 (144)  
スーパーコンピューター 「富岳」 兵庫県/神戸市/・・・理化学研究所・計算科学研究センター   (/ネットより画像借用)

【基盤モデルの基盤を・・・整備する】 (9)


・・・の、計算科学研究センター(/・・・兵庫県・神戸市)では…

スーパーコンピューター/富岳隣接して、ニューラルネット演算実行する

<GPUの・・・サーバー> を、増設する計画だと言っています。

<スパコン/富岳を用いた・・・

 

《LLM/・・・基盤モデルとは? 》 (145)       wpe4F.jpg (12230 バイト)

【基盤モデルの基盤を・・・整備する】 (10)


・・・シミュレーション> と、<基盤モデルの・・・学習> を、セットで、効率的に進められ

環境を、作ろうとしている様ですね。

ええと…

泰地さんは、この様に、話しています…」


 

AlphaFold2> を実現した・・・

 

《LLM/・・・基盤モデルとは? 》 (146)   
                   ◆ グーグル・デーブマインド  創業者・CEO/ デミス・ハサビス/・・・ノーベル化学賞を受賞

【基盤モデルの基盤を・・・整備する】 (11)


・・・グーグル・ディープマインドの成果を見ていると、やはり反省点があるんですね。

理研は、もともと・・・

生体分子の構造を探る、構造生物学が盛んで、AI の専門家 も揃っていて、ス

パコン(/富岳』)の、計算資源まで・・・



 7月  6日

《LLM/・・・基盤モデルとは? 》 (135)  
                                                       (/ネットより画像借用)

既存知識を・・・知識グラフで取り込む】 (11)


・・・脂質代謝、顕微鏡画像のデータベースも・・・組み合わせて学ばせる・・・> ようで

すね。

つまり…

こうした、 既存の知識体系を・・・うまく構造化した・・・基盤モデル> を、構築する、

ということですわ、」

<・・・知識グラフ/ナレッジ・グラフ( Knowledge Graph )・・・>

 

《LLM/・・・基盤モデルとは? 》 (136)    wpe4F.jpg (12230 バイト)

既存知識を・・・知識グラフで取り込む】 (12)


…ですかあ…」支折が、を置いた。「こんな、情報処理仕方があるのですね…」

「そうですね…」茜が、をすぼめた。 「これも、少しづつ慣れて行きましょう…」

 

【基盤モデルの基盤を・・・整備する 】 (1)


泰地(たいじ)さん達は…」茜が言った。

 

《LLM/・・・基盤モデルとは? 》 (137)  
                                                  (/ネットより画像借用)

【基盤モデルの基盤を・・・整備する】 (2)


…「 ”生命科学” から、”創薬” ”材料科学” に至るまで、広い分野にまたがる、<基盤

モデル> 構築を、進めています。

でも、こうした取り組みは、ただ高品質な、データがあるだけでは、進まないと言います。

“高精度の、学習が可能な・・・

 

《LLM/・・・基盤モデルとは? 》 (138)    wpe4F.jpg (12230 バイト)
                                                (/ネットより画像借用)

【基盤モデルの基盤を・・・整備する】 (3)


・・・機械学習の手法” や、“ニューラルネットの演算を支える・・・計算資源” も、必要だと、

言いますわ。

泰地さんは、この様に言っています…」


 

<ニューラルネットの・・・学習> と 、一言で言っても 、意外と一筋縄では・・・

 

《LLM/・・・基盤モデルとは? 》 (139)  
           理化学研究所がめざす 「AI for Science  泰地真弘人(たいじ・まこと)氏  (/ネットより画像借用)

【基盤モデルの基盤を・・・整備する】 (4)


・・・行かないんです。

機械学習を行う際には、ニューラルネットの様々な設定値が必要になりますが、その

値を決める方法も、かなり経験によるものが、大きいです。

ニューラルネットの学習それ自体が、かなり実験科学に・・・

 

《LLM/・・・基盤モデルとは? 》 (140)  
 スーパーコンピューター  「富岳」 兵庫県/神戸市/・・・理化学研究所・計算科学研究センター (/ネットより画像借用)

【基盤モデルの基盤を・・・整備する】 (5)


・・・近い所がある、と思っています」

 

…と、」

「うーん…」支折が、をやった。「ニューラルネットと、機械学習という言葉は、”この

様な・・・言い回し・・・” を、するわけすね。

ニューラルネットの、様々な設定値が…


  

 7月  5日

《LLM/・・・基盤モデルとは? 》 (129)  
                                                          (/ネットより画像借用)

既存知識を・・・知識グラフで取り込む】 (5)


ともかく、ここで言う…

<従来の知見を学んだ・・・ニューラルネット> とは…

個々の病気で、どの様な遺伝子変異や、タンパク質や、代謝の異常などが見られるかとい

う、研究結果のことですね。それを学んだ…

 

《LLM/・・・基盤モデルとは? 》 (130)  
                                                       (/ネットより画像借用)

既存知識を・・・知識グラフで取り込む】 (6)


<ニューラルネット> です。

分子レベルで起こる…

タンパク質変化予測と、そのタンパク質が、病気とどう結びつくかという、従来の知見

組み合わせることで…

具体的に…

<★ この病気を・・・治療できる新薬を・・・

 

《LLM/・・・基盤モデルとは? 》 (131)     
                                                (/ネットより画像借用)

既存知識を・・・知識グラフで取り込む】 (7)


・・・探索したい・・・> と、いったタスクを、<★ AI に実行させる事・・・> が、出来るよ

うになる、という事です」

「うーむ…」高杉が、を当てて、うなった。「まさに…

<AI による・・・創薬・・・> ですねえ…」

「そうよね…」支折が、を揺らした。

 

《LLM/・・・基盤モデルとは? 》 (132)     

既存知識を・・・知識グラフで取り込む】 (8)


「ええ…」茜が、ノートパソコンを、引き寄せた。「を、進めましょう…

新しい表題の、<・・・知識グラフ/ナレッジグラフ・・・> に、ついてです…

ええと…

既存データ学習については…

<☆ 情報を構造化した・・・知識グラフ・・・> を、<ニューラル・・・

 

《LLM/・・・基盤モデルとは? 》 (133) 
                                  ナレッジグラフ/・・・知識グラフ    (/ネットより画像借用)

既存知識を・・・知識グラフで取り込む】 (9)


・・・ネット> 学ばせることを、検討している様です。

<・・・知識グラフ/ナレッジ・グラフ( Knowledge Graph )・・・> とは…

各情報ノード (点) で示し、情報関係性エッジ (線) で結んだ、網状の図のことです。

文章から、<・・・知識グラフ・・・> を、自動的生成する、…

 

《LLM/・・・基盤モデルとは? 》 (134)  
                                    AI による、自然言語処理とは?   (/ネットより画像借用)

既存知識を・・・知識グラフで取り込む】 (10)


自然言語処理技術が、すでに存在していますわ。

論文電子カルテなどのテキストから、簡単 <・・・知識グラフ・・・> を作ることができ

ます。これに、<理研/理化学研究所の保有する・・・遺伝子発現や、タンパク質生成

・・・


 7月  4日

《LLM/・・・基盤モデルとは? 》 (123) 
                           <LLM/大規模言語モデル>  (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (20)


…については、この後で、新たなページを立ち上げ、考察します。この <LLM/大規模

言語モデル> は、<人工/・・・人間が作り上げたシステム> ですが、人間理解

超えた領域も、あるようですね。人間の頭脳に、1歩近づくとんでもない代物です。

そもそも…

“人工物が・・・ 

 

《LLM/基盤モデルとは? 》 (124) 
                      
Transformer/トランスフォーマー とは?  (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (21)


・・・人間の理解を超えている/・・・理解できない?・・・” という事態/珍現象も、おそらく、

人類科学史上初めてのコトですわ。

あ…

ともかく、<LLM/大規模言語モデル> に関しては、この後、新規ページを立ち上げ

て、詳しく考察

 

《LLM/・・・基盤モデルとは? 》 (125) 
                                                   (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (22)


…する予定です」

「はい…」支折が、うなづいた。



【既存知識を・・・知識グラフで取り込む】 (1) 



「ええ…」茜が、“参考文献”を投げた。「を進めますが…

<構築した・・・基盤モデル・・・> に…

 

《LLM/・・・基盤モデルとは? 》 (126) 
                           基盤モデル/Foundation Models (/ネットより画像借用)

既存知識を・・・知識グラフで取り込む】 (2)


後から

<従来の科学の知見を・・・うまく、組み合わせるコト・・・> で、予測の精度を、高める

方法がある様です。泰地さんらが、計画している…

分子レベル創薬モデル は…

人体内タンパク質構造予測して…

 

《LLM/・・・基盤モデルとは? 》 (127) 
                                                   (/ネットより画像借用)

既存知識を・・・知識グラフで取り込む】 (3)


…それらと結合する様な、 新規の・・・低分子~中分子化合物の構造を生み出す

・・・基盤モデル> と…

医学や、生命科学の分野で蓄積した・・・従来の知見を学んだニューラルネット

を、組み合わせる、という事です。

 

《LLM/・・・基盤モデルとは? 》 (128)   
                           泰地真弘人(たいじ・まこと)氏    (/ネットより画像借用)

既存知識を・・・知識グラフで取り込む】 (4)


<基盤モデル> と…」支折が言った。「<ニューラルネット> を、組み合わせるんです

か。そもそも、基盤モデルニューラルネットは、どう違うのかしら?」

「そうですね…」茜が言った。「徐々に、説明して行きます…


        2024年/ノーベル化学賞を受賞・・・ AlphaFold2   (/ネットより画像借用)



 7月  3日

《LLM/・・・基盤モデルとは? 》 (117) 
                                  基盤モデル/Foundation Models  (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (14)


「うーむ…」高杉が、うなづいた。「科学の・・・基盤モデルを、作るというのは…

に、<実験結果を・・・ニューラルネットに学ばせる・・・> だけでは、ない、ということ

ですね」

「ええと…」茜が言った。「泰地さんは…  

 

《LLM/・・・基盤モデルとは? 》 (118)   
                                    泰地真弘人(たいじ・まこと)氏  (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (15)


…こう、述べていますわ…」


 

「数式や理論、アルゴリズムなど・・・

従来の科学で得られた理解の体系を、うまく融合させていく工夫も必要です。実際、

分野ごとに、モデルの作り方って、変わって来るんです。

 

《LLM/・・・基盤モデルとは? 》 (119)    
                                                (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (16)


例えば・・・

私達は、物性科学の分野でも、新しい磁性材料を作るための、<基盤モデル> を作

ろうとしています。

こちらは・・・

生命科学と事情がずいぶん異なっていて、実験データだけでは学習に必要なデータ

が、十分に・・・

 

《LLM/・・・基盤モデルとは? 》 (120)   
                                             (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (17)


・・・揃(そろ)わないんですね。そこで、<シミュレーションによって・・・生み出したデー

タ> も、学習データに、使おうとしています」

 


「うーむ…」高杉が、後ろを当てた。「そういうもの、ですか…

まあ…

 

《LLM/・・・基盤モデルとは? 》 (121)  
                                                         (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (18)


…考えてみれば…

人間頭脳なら、ごく自然にやっているコトかも知れません。人間頭脳は、<LLM/

大規模言語モデル> <Transformer/トランスフォーマー> 以上に、何でも柔軟

に、処理しているわけですから、」

 

《LLM/・・・基盤モデルとは? 》 (122) 
                                                   (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (19)


「うーん…」支折が、うなづいた。「<LLM/大規模言語モデル> が…

私達処理方法と、“似ている・・・トカ?・・・” 言って、いたわねえ、」

「はい…」茜が言った。「ええ、そうですね…

<LLM/大規模言語モデル>



 7月  2日

《LLM/・・・基盤モデルとは? 》 (110)    wpe4F.jpg (12230 バイト)
                                    (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (7)


・・・理論や数式に基づく、“演繹的な・・・学習” と、組み合わせる手も、あるんです」

 


「それを…」支折が言った。「組み合わせるコトは、可能なのかしら?」

「そうですね…」茜が言った。「この疑問には…

 

《LLM/・・・基盤モデルとは? 》 (111)    
                                   泰地真弘人(たいじ・まこと)氏   (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (8)


泰地さんは、こう答えています…」


 

「できますよ・・・

例えば・・・

2024年のノーベル化学賞を受賞した・・・

<★ タンパク質の構造を予測するシステム/・・・AlphaFold2・・・> の、仕組みがそ

うでした」

 

 

《LLM/・・・基盤モデルとは? 》 (112)  
                     (/ネットより画像借用)   ◆ グーグル・デーブマインド        デミス・ハサビス

帰納法と演繹法を・・・併用する、とは? 】 (9)


「あ…」高杉が、を立てた。「<AlphaFold2> を、簡単説明して置こうか…

デミス・ハサビスDemis Hassabisの…

英グーグル・デープマインドGoogle DeepMind/・・・2010年に、DeepMind Technologiesとして起業され、

2014年にGoogleによって買収されました。CEOは、デミス・ハサビス。)開発した…

<● タンパク質の構造予測AI/AlphaFold2(アルファ・フォールド・ツー) は…

アミノ酸配列から、タンパク質立体構造を、…

 

《LLM/・・・基盤モデルとは? 》 (113)        wpe4F.jpg (12230 バイト)

帰納法と演繹法を・・・併用する、とは? 】 (10)


高精度予測する、”ニューラルネット ・ システム” です。

ニューラルネットは…

これまでに特定された、既知のタンパク質アミノ酸配列と、立体構造関係学習して

いますが、それだけで、構造予測を行うわけでは…

 

《LLM/・・・基盤モデルとは? 》 (114)    
                                   タンパク質の構造  (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (11)


…ないのです。

タンパク質が起こす…

“分子進化(/Molecular evolution/・・・世代を経るレベルの長期間における、DNARNA、およびタンパク質

いった、細胞分子配列構成の変化。)規則に基づいて、アミノ酸間距離推定するアルゴ

リズム併用することで、予測精度を高める戦略を、とっている様です」

「はい…」茜が、うなづいた。「“分子・・・

 

《LLM/・・・基盤モデルとは? 》 (115)        
                                     (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (12)


・・・進化” という要素が、あるわけですね…

そして、アミノ酸間距離推定する、アルゴリズム併用ですか。さすがに、ノーベル化

学賞ですね。難しい内容です。

あ…

ええと、泰地さんは、こう言っています…」


 

「機械学習(/・・・

 

《LLM/・・・基盤モデルとは? 》 (116) 
                                                         (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (13)


・・・ニューラルネット・ワーク)だけで…

ゼロから、何でもかんでも学ぶというのではなく、<AlphaFold2> の例のように、少

し、演繹的な・・・プロセス を入れてあげた方が、学習の効率が高まることは、よ

くあるんです」

 



 7月  1日

《LLM/・・・基盤モデルとは? 》 (104)   wpe4F.jpg (12230 バイト)

【マウスの・・・ 一生分の生体データを学習 】 (15)


・・・にして起こるか?” を、探求して行くわけですかあ、」

「そうですね…」茜が、うなづいた。「その先に、“病気を・・・どう予防できるか?” も、見え

て来ます」


【● 帰納法と演繹法を・・・併用(へいよう)する、とは?】 (1)

 

《LLM/・・・基盤モデルとは? 》 (105)    wpe4F.jpg (12230 バイト)
                                    (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (2)


「さあ…」茜が言った。「を、進めましょう…

ええと…

<基盤モデル> などの <AI 技術> で、自然現象予測するのは、”何だか・・・気持

ち悪い感じ・・・” も、しますよね?」

「うーん…」支折が、腕組みをした。「そうですよね…」

「でも…」茜が…

 

《LLM/・・・基盤モデルとは? 》 (106)
                                             (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (3)


…言った。「<機械学習/・・・ニューラルネット・ワーク・・・> が、学んだ…

データ特徴関係性は、あくまで膨大パラメーター数値として、存在するだけです。

数式理論には、なっていなのです。数式理論は、”いわゆる・・・演繹法”

いう事ですから、」

「ふーん…」支折が…

 

《LLM/・・・基盤モデルとは? 》 (107)      wpe4F.jpg (12230 バイト)
                                              (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (4)


を揺らし、を傾げた。「そうかあ…

そこがミソ(/・・・肝(さも)、ツボ、重要なポイント)と、いうわけかあ…」

「つまり…」茜が、コブシを握った。「そのままでは、人間には理解できない…

“ブラック ・ ボックス” なのですわ。人間から見れば、<帰納法的に・・・かき集められた、

ガラクタの山> とも、見えます。

こうした…

 

《LLM/・・・基盤モデルとは? 》 (108)  
                                                     (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (5)


<AI> から、得られる…

<現象の・・・予測結果> は、“何処まで・・・確からしい?・・・” のか、ということですね。

泰地さんは、この点を、この様に言っています…」


   

「それを・・・

気持ち悪がる、研究者もいます。確かに・・・

 

《LLM/・・・基盤モデルとは? 》 (109)    
                                   泰地真弘人(たいじ・まこと)氏    (/ネットより画像借用)

帰納法と演繹法を・・・併用する、とは? 】 (6)


一般的にイメージされる、大規模言語モデルの学習は、大量のデータの関係性を・・・

“帰納法的” に、学んでいるだけです。

しかし、何も、“帰納法的な・・・学習” だけに、こだわる必要はありません。

従来の <シミュレーション> の様な・・・



 

Welcome to my Homepage


   
 このホームページへのアクセスは 人間原理空間 または 岡田健吉 で検索すれば出ます。

         このホームページは、 内部空間の小説 Inner Story の登場人物によって、管理されています。  

                               

●物理的・専守防衛・・・絶対防衛力の確立!

    <日本列島の・・・社会インフラのバージョンアップ!

   <人間の巣/未来型都市の展開で・・・日本の再構築を!>

      

  

ガザ/ジェノサイドの現場 (/ネットより画像借用)      避難のため、トラックに乗る子供たち (/2024年6月5日撮影)

  

  戦闘を受け、ガザ地区南部に避難していたパレスチナ人が・・・ 居住していた、北部へ戻る様子 (/ドローン撮影)                              

 

 地球・公共放送の始動  
 
          
 人間の巣の世界展開
 
     
生活者/世界市民連帯の創設
 
         
 地球連邦政府の創設
 
      

 

    〔平和憲法・・・/・・・武士道精神の国家・・・〕  

      
                                               (ネットより画像借用)      

 
   <★平和憲法の、真意は・・・座して、死を待つ覚悟

                  
                               

 ★日本社会は・・・コンパクト ・ 高機能に・・・ 縮小して行く時

                      <万能型・防御力・・・>

 人間の巣/未来型都市/千年都市で・・・国家を再整備する


全原発廃炉へ  米軍基地の縮小  独自の国際平和戦略

                           

 季節の俳句・短歌                       選者 :  星野支折  里中響子