FV_PENALTY

4.1.1が出ているが、途中で止めるのも無駄になるので、学習はボナンザ4.0.4で続行。
学習機会数を記録するだけでは情報として不十分な気がしたので、９回目のiterationから各パラメタのΣdT(x)/dxを記録するように改造した。(ΣdT(x)/dxは、rparam()の中のdv項)
以下が、KPPパラメタについての学習機会数とabs(ΣdT(x)/dx)の散布図。

但し、KPPの要素数が九千万近くあるので全部処理しきれないだろうと思って、乱数で要素数を1/10に間引いて表示している。

rparam()の中のFV_PENALTYはL1正則化項そのものだが、最初に見たときから何故か違和感があった。過学習を避けるために何らかの考慮が必要だとしても、学習機会数でカットするほうが適切ではないかと思っているがどうだろうか？ (それを確認するためのマシンがない)