ディープニューラルネットワーク

過学習対策
・重みのノルムを目的関数に入れることで重みが小さくなるようにする．
　オンライン学習のパーセプトロンと同様に，L1ノルムだと疎な解に落ちやすくなり，
　より有効な場合が多い．
・重みの上限を制約として加える
・ドロップアウトと呼ばれる方法では，各回の学習に使用するユニット数をランダムに
　選択する方法を取る．
→結局，どれも局所解に陥ることを避けているんだと思うけど，もっとSAみたいに積極的に
　脱出する方法ってやらないのかな？