nodchipのコンピューター将棋ブログ

コンピューター将棋ソフト「tanuki-」シリーズの実験結果を掲載しています。

tanuki- 2023-06-05 棋譜生成器の探索パラメーター調整

tanuki- 2023-06-05 棋譜生成器の探索パラメーター調整

実験内容

  • 棋譜生成器の探索パラメーターを調整したうえで、棋譜を生成し、 NNUE 評価関数の強化学習を行い、レーティングを測定する。

棋譜生成

生成ルーチン tanuki- 棋譜生成ルーチン
評価関数 水匠 5
1手あたりの思考 深さ 9 最大ノード数 50,000
開始局面 startpos.2021-12-25.3900.sfen
開始局面後のランダムムーブ なし
生成局面数 約 10 億局面
生成条件 tanuki-wcsc27 の探索パラメーターの自動調整手法で探索パラメーターを自動調整したものと、そうでないものを生成した

棋譜シャッフル

シャッフルルーチン tanuki-棋譜シャッフルルーチン
qsearch あり
最小手数 0
最大手数 10000
最小進行度 0.0
最大進行度 1.0

機械学習

機械学習ルーチン やねうら王機械学習ルーチン
学習モデル halfkp_256x2-32-32
学習手法 SGD ミニバッチ法
USI_Hash 1024
Threads 16
loop 100
batchsize 1000000
lambda 0.5
eta eta1=1e-8 eta2=0.01 eta1_epoch=100
newbob_decay 0.5
nn_batch_size 1000
eval_save_interval 100000000
loss_output_interval 1000000
mirror_percentage 50
eval_limit 32000
weight_by_progress 無効
次元下げ K・P・相対KP
教師局面内で重複した局面の除外 しない
初期ネットワークパラメーター 水匠 5
勝敗項の教師信号 0.999
やねうら王バージョン V5.33 相当
学習局面数 収束するまで
Gaussian Lamabda なし

レーティング測定

対局相手 水匠 5
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 768
開始局面 たややん互換局面集

実験結果

機械学習

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.search_parameters_adjusted\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\suisho5\eval 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2393(54.8%) 後手勝ち1973(45.2%) 引き分け634

engine1

勝ち2304(52.8% R16.8 +-9.6) 先手勝ち1263(28.9%) 後手勝ち1041(23.8%)

宣言勝ち268 先手宣言勝ち133 後手宣言勝ち135 先手引き分け307 後手引き分け327

engine2

勝ち2062(47.2%) 先手勝ち1130(25.9%) 後手勝ち932(21.3%)

宣言勝ち18 先手宣言勝ち9 後手宣言勝ち9 先手引き分け327 後手引き分け307

2304,634,2062

対局数=5000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.search_parameters_unadjusted\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\suisho5\eval 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2286(53.2%) 後手勝ち2012(46.8%) 引き分け702

engine1

勝ち2253(52.4% R14.5 +-9.6) 先手勝ち1199(27.9%) 後手勝ち1054(24.5%)

宣言勝ち251 先手宣言勝ち136 後手宣言勝ち115 先手引き分け344 後手引き分け358

engine2

勝ち2045(47.6%) 先手勝ち1087(25.3%) 後手勝ち958(22.3%)

宣言勝ち22 先手宣言勝ち9 後手宣言勝ち13 先手引き分け358 後手引き分け344

2253,702,2045

対局数=5000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.search_parameters_adjusted\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.search_parameters_unadjusted\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2196(52.9%) 後手勝ち1959(47.1%) 引き分け845

engine1

勝ち2138(51.5% R8.4 +-9.6) 先手勝ち1136(27.3%) 後手勝ち1002(24.1%)

宣言勝ち108 先手宣言勝ち61 後手宣言勝ち47 先手引き分け409 後手引き分け436

engine2

勝ち2017(48.5%) 先手勝ち1060(25.5%) 後手勝ち957(23.0%)

宣言勝ち121 先手宣言勝ち50 後手宣言勝ち71 先手引き分け436 後手引き分け409

2138,845,2017

学習ロスと訓練ロスは、それぞれ探索パラメーターを調整した棋譜生成器で生成した学習データで強化学習したほうが下がった。

学習率は、探索パラメーターを調整した棋譜生成器で生成した学習データで強化学習したほうが、下がるのが遅かった。

平手局面の評価値は、探索パラメーターを調整した棋譜生成器で生成した学習データで強化学習したほうは 60 程度、探索パラメーター未調整の棋譜生成器で生成した学習データで学習したほうは 50 程度となった。

評価値の絶対値は、探索パラメーターを調整した棋譜生成器で生成した学習データで強化学習したほうが高くなった。

レーティングは、探索パラメーターを調整した棋譜生成器で生成した学習データで強化学習したほうは、水匠 5 と比較して R16.8 高かった。探索パラメーター未調整の棋譜生成器で生成した学習データで学習したほうは、水匠 5 と比較して R14.5 高かった。双方を対局させた結果、探索パラメーターを調整した棋譜生成器で生成した学習データで強化学習したほうが R8.4 高かったが、有意差はなかった。

考察

学習ロスと訓練ロスについては、探索パラメーターを調整した棋譜生成器で生成した学習データの評価値の絶対値が、そうでないほうに比べ、高いことを表しているのだと思われる。

学習率については、探索パラメーターを調整した棋譜生成器で生成した学習データのほうが、そうでないほうに比べ、収束しずらかったことを表しているのだと思われる。これは、学習データの評価値の絶対値が高かったことと関係している可能性がある。

平手局面の絶対値については、学習データの評価値の絶対値の高さが反映された結果だと思われる。

評価値の絶対値については、探索パラメーターを調整したことによって、評価値の絶対値が高くなったのだと思われる。

レーティングについては、探索パラメーターを調整しても、学習データの質は高くならないということを表しているのだと思われる。これは、深さ 9 での探索により、 NNUE 評価関数の学習データの質が上限に達していると言うことを表しているのだと思われる。

まとめ

棋譜生成器の探索パラメーターを調整したうえで、棋譜を生成し、 NNUE 評価関数の強化学習を行い、レーティングを測定した。

結果、探索パラメーターを調整した場合と未調整の場合とで、有意な差はなかった。

次回は、 nnue-pytorch で、 GCT 電竜の学習データを用いた学習を行い、レーティングを測定したい。