« 勝利の方程式 | メイン | 式は書けなくてもいい »
2005年08月28日
スマートな解法が必要
「式」と「解法」の関係で言えば、「式」が立派でもスマートに解けないと流行らない。 式をうまい形に設定した上で、スマートな解法を示せればヒットする。 ８０年代のニューラルネットの第２回目のブームはこうして起こった。 非線形ニューロンの必要性は６０年代後半にすでに甘利先生が論文を書いておられた。 「式」の一般形はすでに示されており、ミンスキーが指摘した第１回目のブームがしぼんだ原因（学習の不完全性）の解決になっていた。 しかし、学習方法はスマートではなかった。
８０年代になってラメルハートは、シグモイド関数というじつにうまい非線形関数を導入して、ＢＰ（バックプロパゲーション）という学習アルゴリズムを示した。 このＢＰがスマートだったので、大ブームとなったし、今だに余韻もある。 サイエンスだけなく、それを「工学化」しないと流行らない。
２０００年になれば、第３回目のブームがあってもよさそうなのだが、今だにブームは起こらない。 複素ニューロンとか、カオスニューロンとかの試みはあるが、適応用途が限られるため、一般性がない。
フィードバック構造（ＢＰはフィードフォワード構造）で
「一般性があり、かつ、スマートな解法」
をもつニューラルネットでないと、第３次ニューラルネット・ブームは起こらない。
フィードバック構造は、８０年代ではホップフィールドとグロスバーグ（ART）であり、ヒントは後者にあると思うのだが。
投稿者 tadashi : 2005年08月28日 10:11