2023.10.03
『大規模言語モデルは新たな知能か』 岡野原大輔（岩波科学ライブラリー）はなかなか良くできた解説書だと思う。趣旨としては大体判っていたので、それは省く。ここではちょっと目についた事だけをメモしておく。
● 大規模言語モデルはしばしばありえない事象をあたかも真実であるかのように語ることがある。これが「幻覚」である。人間で言えば「夢」。「幻覚」は「汎化能力」の代償である。人間の場合は、記憶によって防止することができているが、AI はまだ記憶をうまく活用できていない。受け取る人間の側で対応するしかない。
● 言語を獲得させるための訓練データは何を基準にすればよいのか？つまり言語の目的は何か？これが結構難しかった。しかし、意味に拘らなければ、シャノンの情報量を基準に出来る。つまり単語の並び方がどれくらいあり得るか？ということを基準にすればよい、という発想の転換。● 2018年 Google による BERT。文章の中で消された単語を当てる問題を訓練データとすることで、言葉のルールを身につける。ニューラルネットワークの中は、入力から予測に必要な特徴を抽出する→内部表現→単語予測という構造が出来上がるので、最初の二つだけを残して流用する。自己教師あり学習である。
● 訓練データサイズ、モデルサイズ、投入計算量のいずれに対しても、言語モデルの精度はべき乗則で改善されることが判ってきた。● モデルを大きくしていくと、ある閾値以上で新たな性能が獲得されることが判ってきた。これを「創発」という。例えば、質疑応答、足し算、論理的思考、学習結果とは異なる結果を一時的に受け入れる（仮想する）こと、抽象的な概念の利用等が「創発」する。メカニズムの推測としては、データの背後にある「構造」を見つけるように思われる。（そこで、チョムスキーの普遍文法という考え方が必要なのか？という論争が起きている。）「創発」に期待して各社はどんどん大規模なシステムに挑戦しているが、実際にそれを使う（機能分野の限定）ときには、必要最低限の規模に縮小すること（蒸留）も行われている。
● プロンプトというのは「あなたはこれこれの専門家です」という人間からの指示のことである。これによって、大規模言語モデルは挙動を大きく変えて、いろいろな分野の問題に対応できるようになる。これまでは目的に応じてネットワークの構造を変えた別のシステムを使っていたのだが、大規模化することでそれを兼用することが可能になった。このプロンプトを如何に使いこなすか、ということも研究されている。● 言語モデルにとって特に技術的に重要なポイントが「データの流れ方を学習し、短期記憶を実現する注意機構」（トランスフォーマー）である。例えば、代名詞などでは、その意味する内容が過去の文章を参照しないと判らないから、その遠く離れた過去の文章に注意を当てる（誤差式への重みを大きくする）必要がある。自己注意機構と MLP ブロックでなされるということであるが、具体的には判らない。将来役に立ちそうな文章を一時的に保存しておくことと、過去の関連する文章を探しておくこと。これらによって、単語順の予測に役立てる。自己注意機構は予測時における疑似的な学習と見なすこともできる。学習方法自体を学習しているので、メタ学習とも言える。このような機構は人間が設計して組み込んだ意図を越えて、大規模言語モデルが学習によって「習得」した能力である。
● 重要且つ必須な技術として、大規模言語モデルが人間世界の倫理基準に沿う回答をする方向に訓練する「目標駆動学習」がある。具体的にはラベラーと呼ばれる人達が、教師あり学習と強化学習を組み合わせて、学習させる。やんちゃな子供を大人が教育する感じである。RLHF（人間のフィードバックによる強化学習）という。常時人間が対応することには限界があるので、あらかじめ出力される文章に対してラベラーが評価点を与えておいて、それを学習させて「自動評価システム」を作る。この評価システムが言語モデルを躾けていく。（大規模言語モデルは限られた大企業でしか作れないことを考えると、それを使う人は教え込まれた「倫理」を教えられることにもなる。習近平がChatGPTを許さないのも理解できる。） ＜目次へ＞ ＜一つ前へ＞ ＜次へ＞