実際の生物を観察すると, 生まれたてにも関わらずに運動能力や認知能力をすぐに獲得する. NNs で言えばパラメータがまだランダムな状態でもある程度の能力が獲得できるということになる.
パラメータはランダムはままで頑張る系の研究はままある. ランダムなままの CNN で画像をどうこうする系とか LSTM で系列をどうこうする系とか. NNs というのはパラメータに対しては意外と剛健らしい. しかしながら逆に構造は重要で, やはり画像には CNN だし系列には LSTM 系が強い.
というわけで, パラメータはランダムなままで, ネットワーク構造を進化させる方向で強いものが作れるか実験をする.
単純なネットワークから初めて（パラメータは未熟な状態で）動かして評価して強いのを作ってく.
一番左の状態からスタートして, 徐々に複雑化してく.
パラメータは先程述べたように基本的にランダムだが, 次の四通りを試した.
チューニングはチューニングなんだからシたほうが結果がよくなるのは当然だけど, shared が実は強い. 大雑把に言えば \(1<2<3<4\) という結果.
weightagnostic.github.io にデモがある.