tanuki- 2021-09-19 lambda

実験内容

学習時の lambda の値を変えながら、勝率を測定する

棋譜生成

生成ルーチン	tanuki-棋譜生成ルーチン
評価関数	tanuki-wcsc28
1手あたりの思考	深さ最大 9 思考ノード数最大 50,000 ノード
開始局面	foodgate上の棋譜の24手目までから1局面ランダムに選択し、その局面を開始局面とした
生成局面数	1 億局面× 3 セット
生成条件	対局は打ち切らず詰みの局面まで学習データに出力した

機械学習

機械学習ルーチン	やねうら王機械学習ルーチン
学習モデル	halfkp_256x2-32-32
学習手法	SGD ミニバッチ法
USI_Hash	1024
Threads	16
loop	100
batchsize	1000000
lambda	0.0～1.0
eta	0.01
newbob_decay	0.5
nn_batch_size	1000
eval_save_interval	100000000
loss_output_interval	1000000
mirror_percentage	50
eval_limit	32000
weight_by_progress	無効
次元下げ	K・P・HalfRelativeKP・左右対称
学習データ内で重複した局面の除外	しない
初期ネットワークパラメーター	tanuki-wcsc28

レーティング測定

対局相手	tanuki-wcsc28
思考時間	持ち時間 900 秒 + 1 手 5 秒加算
対局数	2000
同時対局数	64
ハッシュサイズ	768
開始局面	たややん互換局面集

実験結果

レーティング測定

対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.0\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノ

ード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100

思考エンジン2 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\tnk-wcsc28-2018-05-05\eval 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変

化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視す

る=false SlowMover=100

対局数2000 先手勝ち974(53.3%) 後手勝ち853(46.7%) 引き分け173

engine1

勝ち1171(64.1% R91.5 +-15.8) 先手勝ち619(33.9%) 後手勝ち552(30.2%)

宣言勝ち66 先手宣言勝ち27 後手宣言勝ち39 先手引き分け91 後手引き分け82

engine2

勝ち656(35.9%) 先手勝ち355(19.4%) 後手勝ち301(16.5%)

宣言勝ち35 先手宣言勝ち12 後手宣言勝ち23 先手引き分け82 後手引き分け91

1171,173,656

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.1\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノ

る=false SlowMover=100

対局数2000 先手勝ち908(51.3%) 後手勝ち861(48.7%) 引き分け231

engine1

勝ち1161(65.6% R98.6 +-15.9) 先手勝ち601(34.0%) 後手勝ち560(31.7%)

宣言勝ち55 先手宣言勝ち24 後手宣言勝ち31 先手引き分け131 後手引き分け100

engine2

勝ち608(34.4%) 先手勝ち307(17.4%) 後手勝ち301(17.0%)

宣言勝ち37 先手宣言勝ち14 後手宣言勝ち23 先手引き分け100 後手引き分け131

1161,231,608

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.2\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノ

る=false SlowMover=100

対局数2000 先手勝ち945(52.5%) 後手勝ち854(47.5%) 引き分け201

engine1

勝ち1178(65.5% R99.4 +-15.9) 先手勝ち623(34.6%) 後手勝ち555(30.9%)

宣言勝ち68 先手宣言勝ち34 後手宣言勝ち34 先手引き分け121 後手引き分け80

engine2

勝ち621(34.5%) 先手勝ち322(17.9%) 後手勝ち299(16.6%)

宣言勝ち31 先手宣言勝ち13 後手宣言勝ち18 先手引き分け80 後手引き分け121

1178,201,621

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.3\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノ

る=false SlowMover=100

対局数2000 先手勝ち930(52.1%) 後手勝ち855(47.9%) 引き分け215

engine1

勝ち1162(65.1% R96.0 +-15.8) 先手勝ち608(34.1%) 後手勝ち554(31.0%)

宣言勝ち68 先手宣言勝ち36 後手宣言勝ち32 先手引き分け123 後手引き分け92

engine2

勝ち623(34.9%) 先手勝ち322(18.0%) 後手勝ち301(16.9%)

宣言勝ち29 先手宣言勝ち15 後手宣言勝ち14 先手引き分け92 後手引き分け123

1162,215,623

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.4\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノ

る=false SlowMover=100

対局数2000 先手勝ち950(53.9%) 後手勝ち813(46.1%) 引き分け237

engine1

勝ち1162(65.9% R100.1 +-15.9) 先手勝ち619(35.1%) 後手勝ち543(30.8%)

宣言勝ち68 先手宣言勝ち35 後手宣言勝ち33 先手引き分け126 後手引き分け111

engine2

勝ち601(34.1%) 先手勝ち331(18.8%) 後手勝ち270(15.3%)

宣言勝ち36 先手宣言勝ち16 後手宣言勝ち20 先手引き分け111 後手引き分け126

1162,237,601

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.5\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノ

る=false SlowMover=100

対局数2000 先手勝ち919(53.4%) 後手勝ち803(46.6%) 引き分け278

engine1

勝ち1093(63.5% R82.1 +-15.7) 先手勝ち583(33.9%) 後手勝ち510(29.6%)

宣言勝ち53 先手宣言勝ち21 後手宣言勝ち32 先手引き分け154 後手引き分け124

engine2

勝ち629(36.5%) 先手勝ち336(19.5%) 後手勝ち293(17.0%)

宣言勝ち39 先手宣言勝ち19 後手宣言勝ち20 先手引き分け124 後手引き分け154

1093,278,629

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.6\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノ

る=false SlowMover=100

対局数2000 先手勝ち879(50.5%) 後手勝ち861(49.5%) 引き分け260

engine1

勝ち1047(60.2% R62.2 +-15.5) 先手勝ち530(30.5%) 後手勝ち517(29.7%)

宣言勝ち46 先手宣言勝ち27 後手宣言勝ち19 先手引き分け134 後手引き分け126

engine2

勝ち693(39.8%) 先手勝ち349(20.1%) 後手勝ち344(19.8%)

宣言勝ち37 先手宣言勝ち15 後手宣言勝ち22 先手引き分け126 後手引き分け134

1047,260,693

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.7\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノ

る=false SlowMover=100

対局数2000 先手勝ち889(52.7%) 後手勝ち797(47.3%) 引き分け314

engine1

勝ち996(59.1% R53.6 +-15.4) 先手勝ち532(31.6%) 後手勝ち464(27.5%)

宣言勝ち50 先手宣言勝ち23 後手宣言勝ち27 先手引き分け177 後手引き分け137

engine2

勝ち690(40.9%) 先手勝ち357(21.2%) 後手勝ち333(19.8%)

宣言勝ち53 先手宣言勝ち28 後手宣言勝ち25 先手引き分け137 後手引き分け177

996,314,690

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.8\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノ

る=false SlowMover=100

対局数2000 先手勝ち889(52.9%) 後手勝ち792(47.1%) 引き分け319

engine1

勝ち921(54.8% R28.0 +-15.3) 先手勝ち482(28.7%) 後手勝ち439(26.1%)

宣言勝ち35 先手宣言勝ち16 後手宣言勝ち19 先手引き分け154 後手引き分け165

engine2

勝ち760(45.2%) 先手勝ち407(24.2%) 後手勝ち353(21.0%)

宣言勝ち43 先手宣言勝ち18 後手宣言勝ち25 先手引き分け165 後手引き分け154

921,319,760

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=0.9\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノ

る=false SlowMover=100

対局数2000 先手勝ち935(54.2%) 後手勝ち791(45.8%) 引き分け274

engine1

勝ち818(47.4% R-15.6 +-15.2) 先手勝ち451(26.1%) 後手勝ち367(21.3%)

宣言勝ち47 先手宣言勝ち23 後手宣言勝ち24 先手引き分け146 後手引き分け128

engine2

勝ち908(52.6%) 先手勝ち484(28.0%) 後手勝ち424(24.6%)

宣言勝ち49 先手宣言勝ち23 後手宣言勝ち26 先手引き分け128 後手引き分け146

818,274,908

思考エンジン1 name=YaneuraOu NNUE 6.05 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc28.depth=9.lambda=1.0\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノ

る=false SlowMover=100

対局数2000 先手勝ち889(52.0%) 後手勝ち820(48.0%) 引き分け291

engine1

勝ち755(44.2% R-34.7 +-15.3) 先手勝ち392(22.9%) 後手勝ち363(21.2%)

宣言勝ち43 先手宣言勝ち20 後手宣言勝ち23 先手引き分け141 後手引き分け150

engine2

勝ち954(55.8%) 先手勝ち497(29.1%) 後手勝ち457(26.7%)

宣言勝ち63 先手宣言勝ち34 後手宣言勝ち29 先手引き分け150 後手引き分け141

755,291,954

lambda	合計勝率	先手勝率	後手勝率
0	64.1	33.9	30.2
0.1	65.6	34	31.7
0.2	65.5	34.6	30.9
0.3	65.1	34.1	31
0.4	65.9	35.1	30.8
0.5	63.5	33.9	29.6
0.6	60.2	30.5	29.7
0.7	59.1	31.6	27.5
0.8	54.8	28.7	26.1
0.9	47.4	26.1	21.3
1	44.2	22.9	21.2

まとめ

学習時の lambda の値を変えながら、勝率を測定した。

指し手一致度は、 lambda が 0.0～0.5 の間は、 lambda の値が大きくなるにつれて、高くなっていった。また、 0.5～1.0 の間は、(あくまで目視での判断となるが) lambda と指し手一致度に関連はないように見えた。

テストロスは、 lambda の値が高くなるほど、高くなる傾向があった。

平手局面の評価値は、いずれも lambda の場合においても、一旦下がったあと、やや上がる傾向があった。また lambda と平手局面の評価値には、相関はないように見えた。

評価値の絶対値は、　 lambda の値が高くなるほど、低くなる傾向があった。

勝率は lambda が 0.4 のときに、最も高くなった。

指し手一致度については、評価値を重視するほど一致度が上がるのは自然なことだと思われる。ただし、重視しすぎても、限界はあるのだろう。

テストロスは、ロスの計算式から、勝敗に対するロスのほうが大きくなるためだと思われる。

平手局面の評価値については不明。あとで考える。

評価値の絶対値は、勝敗を重視したほうがロスが大きくなることから、勾配がきつくなり、パラメーターが大きく動くためだと思われる。探索部の枝刈りの都合上、あまり大きくしたくない。

しばらくは lambda=0.4 で学習させていく事にする。

nodchipのコンピューター将棋ブログ

コンピューター将棋ソフト「tanuki-」シリーズの実験結果を掲載しています。

tanuki- 2021-09-19 lambda

tanuki- 2021-09-19 lambda

実験内容

棋譜生成

機械学習

レーティング測定

実験結果

機械学習

レーティング測定

まとめ