tanuki- 2023-07-23 やねうら王学習部リグレッション調査 追試3
実験内容
- やねうら王の過去のバージョンのうち、学習部がどのタイミングでリグレッションを起こしたのか調べる。
- 特に、 https://github.com/yaneurao/YaneuraOu/commit/99707e7b22513f64618183f1bdd54d59a9630dcb の修正の中で、リグレッションを起こした箇所を特定する。
棋譜生成
| 生成ルーチン | tanuki-棋譜生成ルーチン |
| 評価関数 | 水匠5 FV_SCALE=16 |
| 1手あたりの思考 | 深さ最大 9 思考ノード数最大 50,000 ノード |
| 開始局面 | foodgate の 2020 年～ 2021 年の棋譜のうち、レーティング 3900 以上同士の対局の 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした ランダムムーブなし |
| 生成局面数 | 10 億局面 × 8 セット |
| 生成条件 | 対局は打ち切らず詰みの局面まで学習データに出力した |
機械学習
| 機械学習ルーチン | やねうら王機械学習ルーチン |
| 学習モデル | halfkp_256x2-32-32 |
| 学習手法 | SGD ミニバッチ法 |
| USI_Hash | 1024 |
| Threads | 16 |
| loop | 1000 |
| batchsize | 1000000 |
| lambda | 0.5 |
| eta | eta1=1e-8 eta2=1.0 eta1_epoch=100 |
| newbob_decay | 0.5 |
| nn_batch_size | 1000 |
| eval_save_interval | 100000000 |
| loss_output_interval | 1000000 |
| mirror_percentage | 50 |
| eval_limit | 32000 |
| weight_by_progress | 無効 |
| 次元下げ | K・P・相対KP |
| 学習データ内で重複した局面の除外 | バージョンのデフォルトに依存する |
| 初期ネットワークパラメーター | tanuki-wcsc29 |
| 勝敗項の教師信号 | 0.99 |
レーティング測定
| 対局相手 | tanuki- 2022-06-07 やねうら王学習部リグレッション調査 - Google ドキュメント https://docs.google.com/document/d/1Lup-hHFH2_QWqEfe56obJ6OEwj15P-C0VO6pWV9-vgo/edit regression.v5.33 ※前回実験に使用した評価関数ファイルを削除してしまったため、別の評価関数ファイルを使用した。 |
| 思考時間 | 持ち時間 300 秒 + 1 手 2 秒加算 |
| 対局数 | 2000 |
| 同時対局数 | 64 |
| ハッシュサイズ | 768 |
| 開始局面 | たややん互換局面集 |
実験結果
機械学習
「_」のあとの数字は、 99707e7b22513f64618183f1bdd54d59a9630dcb のうち、何行目までをマージしたかを表す。
レーティング測定
対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=1 表示更新間
隔(ms)=3600000
思考エンジン1 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\Branch_v5.33_20201201163629_2047\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0
思考エンジン2 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\regression.v5.33\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0
対局数2000 先手勝ち886(53.4%) 後手勝ち772(46.6%) 引き分け342
engine1
勝ち821(49.5% R-2.8 +-15.2) 先手勝ち436(26.3%) 後手勝ち385(23.2%)
宣言勝ち55 先手宣言勝ち28 後手宣言勝ち27 先手引き分け175 後手引き分け167
engine2
勝ち837(50.5%) 先手勝ち450(27.1%) 後手勝ち387(23.3%)
宣言勝ち40 先手宣言勝ち19 後手宣言勝ち21 先手引き分け167 後手引き分け175
821,342,837
対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=1 表示更新間
隔(ms)=3600000
思考エンジン1 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\Branch_v5.33_20201201163629_2793\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0
思考エンジン2 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\regression.v5.33\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0
対局数2000 先手勝ち897(52.3%) 後手勝ち819(47.7%) 引き分け284
engine1
勝ち898(52.3% R13.9 +-15.2) 先手勝ち465(27.1%) 後手勝ち433(25.2%)
宣言勝ち63 先手宣言勝ち24 後手宣言勝ち39 先手引き分け150 後手引き分け134
engine2
勝ち818(47.7%) 先手勝ち432(25.2%) 後手勝ち386(22.5%)
宣言勝ち54 先手宣言勝ち29 後手宣言勝ち25 先手引き分け134 後手引き分け150
898,284,818
対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=1 表示更新間
隔(ms)=3600000
思考エンジン1 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\Branch_v5.33_20201201163629_2838\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0
思考エンジン2 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\regression.v5.33\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0
対局数2000 先手勝ち896(53.8%) 後手勝ち769(46.2%) 引き分け335
engine1
勝ち833(50.0% R0.2 +-15.2) 先手勝ち442(26.5%) 後手勝ち391(23.5%)
宣言勝ち56 先手宣言勝ち26 後手宣言勝ち30 先手引き分け185 後手引き分け150
engine2
勝ち832(50.0%) 先手勝ち454(27.3%) 後手勝ち378(22.7%)
宣言勝ち48 先手宣言勝ち23 後手宣言勝ち25 先手引き分け150 後手引き分け185
833,335,832
対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=1 表示更新間
隔(ms)=3600000
思考エンジン1 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\Branch_v5.33_20201201163629_2883\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0
思考エンジン2 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\regression.v5.33\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0
対局数2000 先手勝ち940(54.8%) 後手勝ち775(45.2%) 引き分け285
engine1
勝ち841(49.0% R-5.7 +-15.2) 先手勝ち458(26.7%) 後手勝ち383(22.3%)
宣言勝ち53 先手宣言勝ち29 後手宣言勝ち24 先手引き分け150 後手引き分け135
engine2
勝ち874(51.0%) 先手勝ち482(28.1%) 後手勝ち392(22.9%)
宣言勝ち67 先手宣言勝ち34 後手宣言勝ち33 先手引き分け135 後手引き分け150
841,285,874
対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=1 表示更新間
隔(ms)=3600000
思考エンジン1 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\Branch_v5.33_20201201163629_2939\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0
思考エンジン2 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\regression.v5.33\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0
対局数2000 先手勝ち864(51.4%) 後手勝ち817(48.6%) 引き分け319
engine1
勝ち840(50.0% R-0.2 +-15.2) 先手勝ち431(25.6%) 後手勝ち409(24.3%)
宣言勝ち45 先手宣言勝ち24 後手宣言勝ち21 先手引き分け160 後手引き分け159
engine2
勝ち841(50.0%) 先手勝ち433(25.8%) 後手勝ち408(24.3%)
宣言勝ち43 先手宣言勝ち15 後手宣言勝ち28 先手引き分け159 後手引き分け160
840,319,841
| コミット | レーティング |
| Branch_v5.33_20201201163629_2047 | -2.8 |
| Branch_v5.33_20201201163629_2793 | 13.9 |
| Branch_v5.33_20201201163629_2838 | 0.2 |
| Branch_v5.33_20201201163629_2883 | -5.7 |
| Branch_v5.33_20201201163629_2939 | -0.2 |
学習ロスと検証ロスは、すべて、初めに下がったあと、少し上がり、以降は下がり続けた。
学習率は、下がるタイミングが異なった。
平手局面の評価値は、 30～70 程度で、ある程度の差があった。
評価値のスケールは、すべて同じような傾向だった。
レーティングは、いずれも有意な差はなかった。
考察
学習ロスと検証ロスについては、 99707e7b22513f64618183f1bdd54d59a9630dcb 内には影響を与える変更はなかったと考える。
学習率については、探索ルーチンの変更により、指し手一致率を求める際の挙動が変わり、キャッシュの状態等が変わり、学習率の下がるタイミングが変化したのだと考える。
平手局面の評価値については、学習に大きな問題が起こっていないことを表していると考える。
評価値の絶対値についても、学習に大きな問題が起こっていないことを表していると考える。
レーティングについては、「tanuki- 2023-01-19 やねうら王学習部リグレッション調査 追試2 - Google ドキュメント https://docs.google.com/document/d/1tPUgvejjniMCqUhZyOV1t6m2VQNgdmtLo3135__rkNw/edit#heading=h.hqsqfroqfwaz」と結果が異なっている。この原因は、レーティング測定時の対局相手の違いだと考える。「tanuki- 2023-01-19 やねうら王学習部リグレッション調査 追試2」で使用した評価関数ファイルを削除してしまったため、今後のリグレッションの調査は困難だと考える。
まとめ
やねうら王の過去のバージョンのうち、学習部がどのタイミングでリグレッションを起こしたのか調べた。特に、 https://github.com/yaneurao/YaneuraOu/commit/99707e7b22513f64618183f1bdd54d59a9630dcb の修正の中で、リグレッションを起こした箇所を特定しようとした。
上記コミットを部分的にマージした学習器で学習をさせた評価関数ファイルのレーティングを測定したところ、対局相手とのレーティング差は、いずれも有意差がなかった。
過去のリグレッションの調査で使用した関数ファイルを削除してしまったため、今後のリグレッションの調査は困難だと考える。
次回は、学習データの生成時に、置換表をクリアしない場合とした場合、置換表の世代をインクリメントしない場合とした場合とで、それぞれ学習後の評価関数ファイルのレーティングを計測したい。
