効果 損失関数に正則化項を加え過学習を防ぐ qは正の定数(q=1のときL1正則化(Lasso正則化), q=2のときL2正則化(Ridge正則化)と呼ぶ) 単に重み減衰と書かれている場合はL2正則化を意味する． 正則化項にL1, L2両方を足す場合もある． ロジスティック回帰，ニ…

確率的最急降下法について考えたとき，目的関数の曲率が大きくなると，ステップ幅(学習率)が大きくなりすぎて収束しづらくなる． そのため，ステップ幅を抑えるために直近のMomentumを足し上げたのがMomentumSGD[1]. E(w): 損失関数(連続的微分可能.ReLUも考…