tanuki- 2023-05-21 nnue-pytorch 1000 epoch

実験内容

nnue-pytorch を用いた学習で、 1000 epoch 学習させ、学習途中のネットワークも含めて、レーティングを測定する。

棋譜生成

生成ルーチン	tanuki-棋譜生成ルーチン
評価関数	水匠5 FV_SCALE=16
1手あたりの思考	深さ最大 9 思考ノード数最大 50,000 ノード
開始局面	foodgate の 2020 年～ 2021 年の棋譜のうち、レーティング 3900 以上同士の対局の 32 手目までから 1 局面ランダムに選択し、その局面を開始局面としたランダムムーブなし
生成局面数	10 億局面 × 8 セット
生成条件	対局は打ち切らず詰みの局面まで学習データに出力した

シャッフル条件

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効

機械学習

機械学習ルーチン	nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2022-05-23
学習モデル	halfkp_256x2-32-32
学習手法	SGD ミニバッチ法
初期学習率 (lr)	8.75e-4
最適化手法	Ranger
学習率調整手法	StepLR step=1 gamma=0.992
batch-size	16384
threads	1
num-workers	8
gpus	1
features	HalfKP
max_epoch	1000
scaling (kPonanzaConstant)	361
lambda	0.5
勝敗項の教師信号	0.99

レーティング測定

対局相手	https://docs.google.com/document/d/1Lup-hHFH2_QWqEfe56obJ6OEwj15P-C0VO6pWV9-vgo/edit?usp=sharingV5.33
思考時間	持ち時間 300 秒 + 1 手 2 秒加算
対局数	2000
同時対局数	64
ハッシュサイズ	768
開始局面	たややん互換局面集

実験結果

レーティング測定

対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\nnue-pytorch.2023-05-19\100 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数

を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手

数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\regression.v5.33\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手

毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を

無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数2000 先手勝ち954(54.0%) 後手勝ち813(46.0%) 引き分け233

engine1

勝ち609(34.5% R-97.9 +-15.8) 先手勝ち335(19.0%) 後手勝ち274(15.5%)

宣言勝ち2 先手宣言勝ち1 後手宣言勝ち1 先手引き分け125 後手引き分け108

engine2

勝ち1158(65.5%) 先手勝ち619(35.0%) 後手勝ち539(30.5%)

宣言勝ち27 先手宣言勝ち9 後手宣言勝ち18 先手引き分け108 後手引き分け125

609,233,1158

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\nnue-pytorch.2023-05-19\200 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数

数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数2000 先手勝ち893(51.3%) 後手勝ち847(48.7%) 引き分け260

engine1

勝ち741(42.6% R-45.1 +-15.4) 先手勝ち382(22.0%) 後手勝ち359(20.6%)

宣言勝ち10 先手宣言勝ち7 後手宣言勝ち3 先手引き分け129 後手引き分け131

engine2

勝ち999(57.4%) 先手勝ち511(29.4%) 後手勝ち488(28.0%)

宣言勝ち26 先手宣言勝ち17 後手宣言勝ち9 先手引き分け131 後手引き分け129

741,260,999

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\nnue-pytorch.2023-05-19\300 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数

数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数2000 先手勝ち963(54.3%) 後手勝ち810(45.7%) 引き分け227

engine1

勝ち746(42.1% R-49.1 +-15.4) 先手勝ち412(23.2%) 後手勝ち334(18.8%)

宣言勝ち12 先手宣言勝ち7 後手宣言勝ち5 先手引き分け113 後手引き分け114

engine2

勝ち1027(57.9%) 先手勝ち551(31.1%) 後手勝ち476(26.8%)

宣言勝ち31 先手宣言勝ち14 後手宣言勝ち17 先手引き分け114 後手引き分け113

746,227,1027

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\nnue-pytorch.2023-05-19\400 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数

数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数2000 先手勝ち909(51.8%) 後手勝ち847(48.2%) 引き分け244

engine1

勝ち765(43.6% R-39.4 +-15.3) 先手勝ち400(22.8%) 後手勝ち365(20.8%)

宣言勝ち10 先手宣言勝ち1 後手宣言勝ち9 先手引き分け117 後手引き分け127

engine2

勝ち991(56.4%) 先手勝ち509(29.0%) 後手勝ち482(27.4%)

宣言勝ち16 先手宣言勝ち6 後手宣言勝ち10 先手引き分け127 後手引き分け117

765,244,991

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\nnue-pytorch.2023-05-19\500 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数

数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数2000 先手勝ち934(53.2%) 後手勝ち821(46.8%) 引き分け245

engine1

勝ち814(46.4% R-22.1 +-15.3) 先手勝ち431(24.6%) 後手勝ち383(21.8%)

宣言勝ち8 先手宣言勝ち4 後手宣言勝ち4 先手引き分け131 後手引き分け114

engine2

勝ち941(53.6%) 先手勝ち503(28.7%) 後手勝ち438(25.0%)

宣言勝ち23 先手宣言勝ち11 後手宣言勝ち12 先手引き分け114 後手引き分け131

814,245,941

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\nnue-pytorch.2023-05-19\600 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数

数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数2000 先手勝ち960(53.7%) 後手勝ち829(46.3%) 引き分け211

engine1

勝ち781(43.7% R-39.6 +-15.3) 先手勝ち413(23.1%) 後手勝ち368(20.6%)

宣言勝ち6 先手宣言勝ち2 後手宣言勝ち4 先手引き分け122 後手引き分け89

engine2

勝ち1008(56.3%) 先手勝ち547(30.6%) 後手勝ち461(25.8%)

宣言勝ち16 先手宣言勝ち5 後手宣言勝ち11 先手引き分け89 後手引き分け122

781,211,1008

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\nnue-pytorch.2023-05-19\700 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数

数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数2000 先手勝ち974(55.6%) 後手勝ち777(44.4%) 引き分け249

engine1

勝ち811(46.3% R-22.4 +-15.3) 先手勝ち456(26.0%) 後手勝ち355(20.3%)

宣言勝ち12 先手宣言勝ち6 後手宣言勝ち6 先手引き分け124 後手引き分け125

engine2

勝ち940(53.7%) 先手勝ち518(29.6%) 後手勝ち422(24.1%)

宣言勝ち16 先手宣言勝ち10 後手宣言勝ち6 先手引き分け125 後手引き分け124

811,249,940

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\nnue-pytorch.2023-05-19\800 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数

数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数2000 先手勝ち930(53.2%) 後手勝ち817(46.8%) 引き分け253

engine1

勝ち752(43.0% R-42.4 +-15.3) 先手勝ち403(23.1%) 後手勝ち349(20.0%)

宣言勝ち13 先手宣言勝ち4 後手宣言勝ち9 先手引き分け126 後手引き分け127

engine2

勝ち995(57.0%) 先手勝ち527(30.2%) 後手勝ち468(26.8%)

宣言勝ち20 先手宣言勝ち9 後手宣言勝ち11 先手引き分け127 後手引き分け126

752,253,995

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\nnue-pytorch.2023-05-19\900 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数

数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数2000 先手勝ち922(52.9%) 後手勝ち822(47.1%) 引き分け256

engine1

勝ち803(46.0% R-24.0 +-15.3) 先手勝ち426(24.4%) 後手勝ち377(21.6%)

宣言勝ち13 先手宣言勝ち6 後手宣言勝ち7 先手引き分け129 後手引き分け127

engine2

勝ち941(54.0%) 先手勝ち496(28.4%) 後手勝ち445(25.5%)

宣言勝ち18 先手宣言勝ち8 後手宣言勝ち10 先手引き分け127 後手引き分け129

803,256,941

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\nnue-pytorch.2023-05-19\1000 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数

数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数2000 先手勝ち933(54.0%) 後手勝ち795(46.0%) 引き分け272

engine1

勝ち768(44.4% R-33.5 +-15.3) 先手勝ち412(23.8%) 後手勝ち356(20.6%)

宣言勝ち15 先手宣言勝ち7 後手宣言勝ち8 先手引き分け151 後手引き分け121

engine2

勝ち960(55.6%) 先手勝ち521(30.2%) 後手勝ち439(25.4%)

宣言勝ち17 先手宣言勝ち11 後手宣言勝ち6 先手引き分け121 後手引き分け151

768,272,960

学習 epoch 数	レーティング差
100	-97.9
200	-45.1
300	-49.1
400	-39.4
500	-22.1
600	-39.6
700	-22.4
800	-42.4
900	-24.0
1000	-33.5

学習ロスと検証ロスは、 400 epoch を超えたあたりから、ほとんど下がらなくなった。検証ロスは、定期的に似たような波形が現れているように見えた。

レーティングは、やねうら王 V5.33 で学習させたものと比べ、いずれも有意にレーティングが低かった。学習 epoch 数によって、レーティングに差があった。レーティングは、学習 epoch 数に比例して、単調増加や単調減少はしなかった。 epoch=500 のとき、 R-22.1 と、最もレーティングが高かった。