tanuki- 2021-09-24 eval_limit

実験内容

学習時の eval_limit の値を変えながら、勝率を測定する

棋譜生成

生成ルーチン	tanuki-棋譜生成ルーチン
評価関数	tanuki-wcsc28
1手あたりの思考	深さ最大 9 思考ノード数最大 50,000 ノード
開始局面	foodgate上の棋譜の24手目までから1局面ランダムに選択し、その局面を開始局面とした
生成局面数	1 億局面× 3 セット
生成条件	対局は打ち切らず詰みの局面まで学習データに出力した

機械学習

機械学習ルーチン	やねうら王機械学習ルーチン
学習モデル	halfkp_256x2-32-32
学習手法	SGD ミニバッチ法
USI_Hash	1024
Threads	16
loop	100
batchsize	1000000
lambda	0.4
eta	0.01
newbob_decay	0.5
nn_batch_size	1000
eval_save_interval	100000000
loss_output_interval	1000000
mirror_percentage	50
eval_limit	512 ～ 32000
weight_by_progress	無効
次元下げ	K・P・HalfRelativeKP・左右対称
学習データ内で重複した局面の除外	しない
初期ネットワークパラメーター	tanuki-wcsc28

レーティング測定

対局相手	tanuki-wcsc28
思考時間	持ち時間 900 秒 + 1 手 5 秒加算
対局数	2000
同時対局数	64
ハッシュサイズ	768
開始局面	たややん互換局面集

実験結果

レーティング測定

対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.4.eval_limit=724\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える

乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採

択率を考慮する=false 定跡の手数を無視する=false SlowMover=100

思考エンジン2 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\tnk-wcsc28-2018-05-05\eval 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変

化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視す

る=false SlowMover=100

対局数2000 先手勝ち751(52.0%) 後手勝ち693(48.0%) 引き分け556

engine1

勝ち538(37.3% R-64.7 +-15.5) 先手勝ち278(19.3%) 後手勝ち260(18.0%)

宣言勝ち174 先手宣言勝ち86 後手宣言勝ち88 先手引き分け265 後手引き分け291

engine2

勝ち906(62.7%) 先手勝ち473(32.8%) 後手勝ち433(30.0%)

宣言勝ち4 先手宣言勝ち0 後手宣言勝ち4 先手引き分け291 後手引き分け265

538,556,906

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.4.eval_limit=1024\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える

択率を考慮する=false 定跡の手数を無視する=false SlowMover=100

る=false SlowMover=100

対局数2000 先手勝ち769(51.5%) 後手勝ち724(48.5%) 引き分け507

engine1

勝ち668(44.7% R-27.3 +-15.3) 先手勝ち331(22.2%) 後手勝ち337(22.6%)

宣言勝ち226 先手宣言勝ち104 後手宣言勝ち122 先手引き分け225 後手引き分け282

engine2

勝ち825(55.3%) 先手勝ち438(29.3%) 後手勝ち387(25.9%)

宣言勝ち13 先手宣言勝ち1 後手宣言勝ち12 先手引き分け282 後手引き分け225

668,507,825

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.4.eval_limit=1448\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える

択率を考慮する=false 定跡の手数を無視する=false SlowMover=100

る=false SlowMover=100

対局数2000 先手勝ち780(50.7%) 後手勝ち758(49.3%) 引き分け462

engine1

勝ち776(50.5% R2.4 +-15.2) 先手勝ち378(24.6%) 後手勝ち398(25.9%)

宣言勝ち243 先手宣言勝ち124 後手宣言勝ち119 先手引き分け198 後手引き分け264

engine2

勝ち762(49.5%) 先手勝ち402(26.1%) 後手勝ち360(23.4%)

宣言勝ち7 先手宣言勝ち0 後手宣言勝ち7 先手引き分け264 後手引き分け198

776,462,762

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.4.eval_limit=2048\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える

択率を考慮する=false 定跡の手数を無視する=false SlowMover=100

る=false SlowMover=100

対局数2000 先手勝ち911(53.2%) 後手勝ち803(46.8%) 引き分け286

engine1

勝ち1005(58.6% R51.8 +-15.4) 先手勝ち541(31.6%) 後手勝ち464(27.1%)

宣言勝ち264 先手宣言勝ち136 後手宣言勝ち128 先手引き分け165 後手引き分け121

engine2

勝ち709(41.4%) 先手勝ち370(21.6%) 後手勝ち339(19.8%)

宣言勝ち5 先手宣言勝ち3 後手宣言勝ち2 先手引き分け121 後手引き分け165

1005,286,709

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.4.eval_limit=2896\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える

択率を考慮する=false 定跡の手数を無視する=false SlowMover=100

る=false SlowMover=100

対局数2000 先手勝ち911(52.5%) 後手勝ち825(47.5%) 引き分け264

engine1

勝ち1015(58.5% R51.4 +-15.4) 先手勝ち528(30.4%) 後手勝ち487(28.1%)

宣言勝ち230 先手宣言勝ち120 後手宣言勝ち110 先手引き分け127 後手引き分け137

engine2

勝ち721(41.5%) 先手勝ち383(22.1%) 後手勝ち338(19.5%)

宣言勝ち12 先手宣言勝ち3 後手宣言勝ち9 先手引き分け137 後手引き分け127

1015,264,721

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.4.eval_limit=4096\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える

択率を考慮する=false 定跡の手数を無視する=false SlowMover=100

る=false SlowMover=100

対局数2000 先手勝ち930(52.0%) 後手勝ち857(48.0%) 引き分け213

engine1

勝ち1082(60.5% R66.3 +-15.5) 先手勝ち565(31.6%) 後手勝ち517(28.9%)

宣言勝ち151 先手宣言勝ち76 後手宣言勝ち75 先手引き分け119 後手引き分け94

engine2

勝ち705(39.5%) 先手勝ち365(20.4%) 後手勝ち340(19.0%)

宣言勝ち19 先手宣言勝ち9 後手宣言勝ち10 先手引き分け94 後手引き分け119

1082,213,705

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.4.eval_limit=5792\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える

択率を考慮する=false 定跡の手数を無視する=false SlowMover=100

る=false SlowMover=100

対局数2000 先手勝ち914(52.2%) 後手勝ち837(47.8%) 引き分け249

engine1

勝ち1070(61.1% R68.4 +-15.5) 先手勝ち562(32.1%) 後手勝ち508(29.0%)

宣言勝ち105 先手宣言勝ち57 後手宣言勝ち48 先手引き分け139 後手引き分け110

engine2

勝ち681(38.9%) 先手勝ち352(20.1%) 後手勝ち329(18.8%)

宣言勝ち30 先手宣言勝ち13 後手宣言勝ち17 先手引き分け110 後手引き分け139

1070,249,681

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.4.eval_limit=8192\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える

択率を考慮する=false 定跡の手数を無視する=false SlowMover=100

る=false SlowMover=100

対局数2000 先手勝ち947(54.6%) 後手勝ち788(45.4%) 引き分け265

engine1

勝ち1034(59.6% R58.4 +-15.4) 先手勝ち560(32.3%) 後手勝ち474(27.3%)

宣言勝ち96 先手宣言勝ち50 後手宣言勝ち46 先手引き分け140 後手引き分け125

engine2

勝ち701(40.4%) 先手勝ち387(22.3%) 後手勝ち314(18.1%)

宣言勝ち31 先手宣言勝ち19 後手宣言勝ち12 先手引き分け125 後手引き分け140

1034,265,701

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.4.eval_limit=32000\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える

択率を考慮する=false 定跡の手数を無視する=false SlowMover=100

る=false SlowMover=100

対局数2000 先手勝ち920(52.5%) 後手勝ち834(47.5%) 引き分け246

engine1

勝ち1146(65.3% R95.8 +-15.8) 先手勝ち605(34.5%) 後手勝ち541(30.8%)

宣言勝ち67 先手宣言勝ち29 後手宣言勝ち38 先手引き分け144 後手引き分け102

engine2

勝ち608(34.7%) 先手勝ち315(18.0%) 後手勝ち293(16.7%)

宣言勝ち41 先手宣言勝ち20 後手宣言勝ち21 先手引き分け102 後手引き分け144

1146,246,608

eval_limit	合計勝率	先手勝率	後手勝率
724	37.3	19.3	18
1024	44.7	22.2	22.6
1448	50.5	24.6	25.9
2048	58.6	31.6	27.1
2896	58.5	30.4	28.1
4096	60.5	31.6	28.9
5792	61.1	32.1	29
8192	59.6	32.3	27.3
32000	65.3	34.5	30.8

まとめ

学習時の eval_limit の値を変えながら、勝率を測定した。

指し手一致率は、 eval_limit が高いほうが高い傾向があった。また、 eval_limit が 32000 のときのみ、指し手一致率が極めて高かった。

テストロスは、 eval_limit が高いほど、低くなった。

平手局面の評価値については、 eval_limit との相関はないように見えた。

評価値の絶対値は、 eval_limit の値が高いほど高くなった。

勝率は、 eval_limit の値が高いほど高くなった。

eval_limit が高いほど指し手一致率が高いのは、評価値の絶対値が大きいほど、盤上この一手のような手が多く出現する事が原因の可能性がある。また、 eval_limit が 32000 のときのみ、指し手一致率が極めて高いのは、 N 手詰めの局面において、浅い探索が正しい詰み手順を見つけ、深い探索の指し手と一致するためだと思われる。

eval_limit が高いほどテストロスが低くなるのは、評価値の絶対値が大きいほど、交差エントロピーの値が小さくなるためだと考えらえる。

eval_limit が高いほど評価値の絶対値が大きくなるのは、大きな評価値が教師信号として多く含まれるためだと考えられる。

eval_limit の値が高いほど勝率が高くなるのは、有利な局面に対して大きな評価値が付きやすくなったり、詰みの局面が見つかりやすくなるためだと思われる。

今後も eval_limit の値は、 32000 に設定したうえで、学習を行いたいと思う。