2015.08.27
昨日だったか、NHK−Eテレの「サイエンスZERO」の録画で「スパースモデリング」の番組を見た。
http://www.nhk.or.jp/zero/contents/dsp514.html
・・・番組を見ても技術の意義の説明ばかりで具体的にどんな方法なのかがさっぱり判らなかったので、調べてみた。
https://www.terrapub.co.jp/journals/jjssj/pdf/3902/39020211.pdf
どうやらデータフィッティングの一種らしい。基底関数の線形和でデータを近似するのだが、基底関数が多すぎると過剰に合わそうとしてノイズを信号と解釈してしまう。これを避けるために誤差項（本来はこれを最小化する）に制限項（正規化項）を追加しておいて全体を最小化する。良く知られている正規化項は係数の正定値２次形式である。こうすると係数が大きくなりすぎるのを防ぐことができる。しかもこの方法は正規化項が微分可能であるために、解を解析的に表現することができるという利点がある。しかし、基底関数の選別は別のプロセスになる。基底関数すらはっきりしないような場合に有用なのがスパースモデリングで、これは正規化項に係数の一次形式（係数の絶対値の和）を採用する。そうすると、正規化項が一定の曲面は多面体となり、解がその角点になりやすくて、そこでは多くの係数がゼロになる。そういう理由で、このモデルで計算すると基底関数の選別と係数の最適化が同時に出来る。ただ、解は解析的には与えられないから、数値計算で漸近するようなプログラムを開発する必要がある。近年その手法が開発されてきたために、データの可能な説明方法が膨大な数だけあるような場合に、答えをうまく絞り込める方法としてよく使われているらしい。
面白い応用として、例えば大脳新皮質というのは、同じような６層構造のコラムが並んでいるだけなのに、それぞれ全く異なった情報処理を行っていて、そこで使われる「基底関数」が異なる。つまりその基底関数で表現される範囲でしか情報を把握しない。例えば視覚であれば、エッジを見分けて、次のステップで傾きとか、ともかくそれぞれのコラムで別々の種類（これが基底関数）の特徴を抽出（これが係数）している。聴覚でも同様であるが、その内容も階層構造も全く異なる。大脳新皮質がこれほどまでにフレキシブルなのはスパースモデリングのような計算方法だからではないか、と言われている。
http://www.brl.ntt.co.jp/people/terashima.hiroki/paper/terashima2014sparse.pdf
つまり、そこでの学習は脳内評価による教師付き学習（これは小脳で行われているらしい）ではなく、受け入れた信号が持つ統計的な特徴を効率的に表現するような基底関数を自動的に作っていくようなものである。つまり、自然のモデルを自動的に作り上げている。神経科学者はそのモデルを実験によって再発見しているにすぎない。
大脳新皮質の「教師無し学習」を模擬する計算方法としてスパースモデリングが考えられるということであろう。大脳新皮質のそれぞれのコラムに入ってくる信号は自動的にこのアルゴリズムで処理されて、基底関数が更新されていくと考えられる。環境への生後適応である。勿論その程度はまた脳で言えば辺縁系からの快感信号に支配されているのであろう。
入ってくる信号は体外からとは限らない。体内からの筋肉の興奮だとか、血液中のホルモンの変化だとか、いろいろあるし、脳内で言えば辺縁系から快、不快、恐怖、空腹などの信号もある。更には大脳新皮質の他のコラムからの信号があって、個々のコラムから見ればこれが大部分を占めるだろう。体外の中で見落とされがちなのは、他の生物からの信号とその生物の背景からの信号の差異である。それは自動的に「生きている存在」を選別するフィルターを作り上げるだろう。体内からの信号は「気分」を作り上げる。
更に言えば、大脳新皮質は自らの作り出す信号を受け取るという構造からすれば、自己言及的構造を持っている。これは自己意識をもたらすに違いない。その自己意識とは決して自分の体内のモデルではなく、どちらかというと「他者」のモデルであることも「教師無し学習」の帰結である。本来的には脳は生命維持の道具であり、消化器官の下僕であるはずなのだが、大脳新皮質の学習特性によって、「他者」が新しい主人として紛れこんで、自らの身体を下僕と考えるようになった。さて、吉田民人の記号論的世界観（記号は主体にとっての記号である）から見て、人間の主体とは何か？
大脳皮質の学習が「教師無し」である、ということは、情報の選択が統計的に決まっているということで、そうすると、その統計性（どんなタイプのパターンが多いのか？）を決めているのが環境だとすれば、「主体は環境にある。」ということになる。ただ、環境を変えているのは実はその動物の行動であって、しかも学習の程度が快信号に支配されているとすれば、学習の主体は「動物の生存欲求そのもの」ということになる。更に言えば、学習したこと自体が次のレベルの学習を支配する、という意味では、意識のレベルまで主体を想定しても良いかもしれない。主体というのは、このように多層的、多面的に捉えるべき概念だと思う。