tanuki- 2022-03-22 momentum

実験内容

momentum を適用し、レーティングに変化があるか調べる。

棋譜生成

生成ルーチン	tanuki-棋譜生成ルーチン
評価関数	水匠5 FV_SCALE=16
1手あたりの思考	深さ最大 9 思考ノード数最大 50,000 ノード
開始局面	foodgate の 2020 年～ 2021 年の棋譜のうち、レーティング 3900 以上同士の対局の 32 手目までから 1 局面ランダムに選択し、その局面を開始局面としたランダムムーブなし
生成局面数	10 億局面 × 2 セット
生成条件	対局は打ち切らず詰みの局面まで学習データに出力した

機械学習

機械学習ルーチン	やねうら王機械学習ルーチン
学習モデル	halfkp_vm_256x2-32-32
学習手法	SGD ミニバッチ法
USI_Hash	1024
Threads	16
loop	100
batchsize	1000000
lambda	0.5
eta	eta1=1e-8 eta2=1.0 eta1_epoch=100M
newbob_decay	0.5
nn_batch_size	1000
eval_save_interval	100000000
loss_output_interval	1000000
mirror_percentage	50
eval_limit	32000
weight_by_progress	無効
次元下げ	なし
学習データ内で重複した局面の除外	しない
初期ネットワークパラメーター	tanuki-wcsc29
勝敗項の教師信号	0.80

レーティング測定

対局相手	tanuki-wcsc29.halfkp_vm_256x2-32-32 に水匠 5 で生成した学習データを学習させたもの
思考時間	持ち時間 900 秒 + 1 手 5 秒加算
対局数	5000
同時対局数	64
ハッシュサイズ	768
開始局面	たややん互換局面集

実験結果

レーティング測定

momentum=0.1

対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.00 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.momentum=0.1\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140

思考エンジン2 name=YaneuraOu NNUE 7.00 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140

対局数2000 先手勝ち824(55.7%) 後手勝ち655(44.3%) 引き分け521

engine1

勝ち733(49.6% R-2.3 +-15.2) 先手勝ち422(28.5%) 後手勝ち311(21.0%)

宣言勝ち38 先手宣言勝ち21 後手宣言勝ち17 先手引き分け238 後手引き分け283

engine2

勝ち746(50.4%) 先手勝ち402(27.2%) 後手勝ち344(23.3%)

宣言勝ち46 先手宣言勝ち19 後手宣言勝ち27 先手引き分け283 後手引き分け238

733,521,746

momentum=0.2

思考エンジン1 name=YaneuraOu NNUE 7.00 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.momentum=0.2\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140

対局数2000 先手勝ち857(53.5%) 後手勝ち744(46.5%) 引き分け399

engine1

勝ち728(45.5% R-25.2 +-15.3) 先手勝ち402(25.1%) 後手勝ち326(20.4%)

宣言勝ち40 先手宣言勝ち14 後手宣言勝ち26 先手引き分け180 後手引き分け219

engine2

勝ち873(54.5%) 先手勝ち455(28.4%) 後手勝ち418(26.1%)

宣言勝ち22 先手宣言勝ち13 後手宣言勝ち9 先手引き分け219 後手引き分け180

728,399,873

momentum=0.3

思考エンジン1 name=YaneuraOu NNUE 7.00 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.momentum=0.3\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140

対局数2000 先手勝ち863(54.7%) 後手勝ち716(45.3%) 引き分け421

engine1

勝ち730(46.2% R-20.7 +-15.3) 先手勝ち402(25.5%) 後手勝ち328(20.8%)

宣言勝ち32 先手宣言勝ち16 後手宣言勝ち16 先手引き分け207 後手引き分け214

engine2

勝ち849(53.8%) 先手勝ち461(29.2%) 後手勝ち388(24.6%)

宣言勝ち38 先手宣言勝ち10 後手宣言勝ち28 先手引き分け214 後手引き分け207

730,421,849

momentum=0.4

思考エンジン1 name=YaneuraOu NNUE 7.00 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.momentum=0.4\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140

対局数2000 先手勝ち887(56.7%) 後手勝ち678(43.3%) 引き分け435

engine1

勝ち800(51.1% R6.1 +-15.2) 先手勝ち453(28.9%) 後手勝ち347(22.2%)

宣言勝ち34 先手宣言勝ち21 後手宣言勝ち13 先手引き分け218 後手引き分け217

engine2

勝ち765(48.9%) 先手勝ち434(27.7%) 後手勝ち331(21.2%)

宣言勝ち40 先手宣言勝ち21 後手宣言勝ち19 先手引き分け217 後手引き分け218

800,435,765

momentum=0.5

思考エンジン1 name=YaneuraOu NNUE 7.00 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.momentum=0.5\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140

対局数2000 先手勝ち813(53.8%) 後手勝ち697(46.2%) 引き分け490

engine1

勝ち746(49.4% R-3.1 +-15.2) 先手勝ち405(26.8%) 後手勝ち341(22.6%)

宣言勝ち44 先手宣言勝ち26 後手宣言勝ち18 先手引き分け237 後手引き分け253

engine2

勝ち764(50.6%) 先手勝ち408(27.0%) 後手勝ち356(23.6%)

宣言勝ち43 先手宣言勝ち22 後手宣言勝ち21 先手引き分け253 後手引き分け237

746,490,764

momentum=0.6

思考エンジン1 name=YaneuraOu NNUE 7.00 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.momentum=0.6\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140

対局数2000 先手勝ち826(52.3%) 後手勝ち752(47.7%) 引き分け422

engine1

勝ち750(47.5% R-13.6 +-15.2) 先手勝ち401(25.4%) 後手勝ち349(22.1%)

宣言勝ち46 先手宣言勝ち24 後手宣言勝ち22 先手引き分け198 後手引き分け224

engine2

勝ち828(52.5%) 先手勝ち425(26.9%) 後手勝ち403(25.5%)

宣言勝ち60 先手宣言勝ち21 後手宣言勝ち39 先手引き分け224 後手引き分け198

750,422,828

momentum=0.7

思考エンジン1 name=YaneuraOu NNUE 7.00 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.momentum=0.7\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140

対局数2000 先手勝ち842(54.9%) 後手勝ち691(45.1%) 引き分け467

engine1

勝ち660(43.1% R-37.1 +-15.3) 先手勝ち371(24.2%) 後手勝ち289(18.9%)

宣言勝ち30 先手宣言勝ち15 後手宣言勝ち15 先手引き分け227 後手引き分け240

engine2

勝ち873(56.9%) 先手勝ち471(30.7%) 後手勝ち402(26.2%)

宣言勝ち34 先手宣言勝ち14 後手宣言勝ち20 先手引き分け240 後手引き分け227

660,467,873

momentum=0.8

思考エンジン1 name=YaneuraOu NNUE 7.00 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.momentum=0.8\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140

対局数2000 先手勝ち817(51.6%) 後手勝ち765(48.4%) 引き分け418

engine1

勝ち729(46.1% R-21.6 +-15.3) 先手勝ち382(24.1%) 後手勝ち347(21.9%)

宣言勝ち53 先手宣言勝ち26 後手宣言勝ち27 先手引き分け201 後手引き分け217

engine2

勝ち853(53.9%) 先手勝ち435(27.5%) 後手勝ち418(26.4%)

宣言勝ち39 先手宣言勝ち24 後手宣言勝ち15 先手引き分け217 後手引き分け201

729,418,853

momentum=0.9

思考エンジン1 name=YaneuraOu NNUE 7.00 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.momentum=0.9\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140

対局数2000 先手勝ち843(52.1%) 後手勝ち775(47.9%) 引き分け382

engine1

勝ち694(42.9% R-40.1 +-15.3) 先手勝ち363(22.4%) 後手勝ち331(20.5%)

宣言勝ち40 先手宣言勝ち12 後手宣言勝ち28 先手引き分け193 後手引き分け189

engine2

勝ち924(57.1%) 先手勝ち480(29.7%) 後手勝ち444(27.4%)

宣言勝ち30 先手宣言勝ち8 後手宣言勝ち22 先手引き分け189 後手引き分け193

694,382,924

まとめ

momentum を適用し、レーティングに変化があるか調べた。

学習ロスと検証ロスは、一度下がったあとに上がり、再び下がった。また上がり幅は momentum が大きいほど大きかった。

平手局面の評価値は、大きな差はなかった。

評価値の絶対値は、大きな差はなかった

レーティングは、有意に高くなったパラメーターは無かった。

学習ロスと検証ロスについては、 momentum の慣性により、局所最適解を一度通り過ぎたあと、また局所最適解に向かって収束しているという事なのだと思われる。

平手局面の評価値については、学習に大きな問題が起きていない事を表している。

評価値の絶対値については、 momentum の値には関係ないのだと思われる。

レーティングについては、 momentum なしでよいという事を表しているのだと思われる。

今後は momentum なしで学習させていきたい。

nodchipのコンピューター将棋ブログ

コンピューター将棋ソフト「tanuki-」シリーズの実験結果を掲載しています。

tanuki- 2022-03-22 momentum

tanuki- 2022-03-22 momentum

実験内容

棋譜生成

機械学習

レーティング測定

実験結果

機械学習

レーティング測定

momentum=0.1

momentum=0.2

momentum=0.3

momentum=0.4

momentum=0.5

momentum=0.6

momentum=0.7

momentum=0.8

momentum=0.9

まとめ