tanuki- 2021-12-10 勝敗項の教師信号 再実験3
実験内容
- 勝敗項の教師信号を調整し、棋力を測定する。
棋譜生成
| 生成ルーチン | tanuki-棋譜生成ルーチン |
| 評価関数 | 水匠2 |
| 1手あたりの思考 | 深さ最大 24 思考ノード数最大 50,000 ノード |
| 開始局面 | foodgateの2019年～2020年前半の棋譜の32手目までから1局面ランダムに選択し、その局面を開始局面とした |
| 生成局面数 | 10 億局面× 2 セット |
| 生成条件 | 対局は打ち切らず詰みの局面まで学習データに出力した |
機械学習
| 機械学習ルーチン | やねうら王機械学習ルーチン |
| 学習モデル | halfkp_vm_256x2-32-32 |
| 学習手法 | SGD ミニバッチ法 |
| USI_Hash | 1024 |
| Threads | 16 |
| loop | 100 |
| batchsize | 1000000 |
| lambda | 0.5 |
| eta | 1.0 |
| newbob_decay | 0.5 |
| nn_batch_size | 1000 |
| eval_save_interval | 100000000 |
| loss_output_interval | 1000000 |
| mirror_percentage | 50 |
| eval_limit | 32000 |
| weight_by_progress | 有効/無効 |
| 次元下げ | なし |
| 学習データ内で重複した局面の除外 | しない |
| 初期ネットワークパラメーター | tanuki-wcsc29 |
| 勝敗項の教師信号 | 0.55～0.85 |
レーティング測定
| 対局相手 | tanuki-denryu2 |
| 思考時間 | 持ち時間 900 秒 + 1 手 5 秒加算 |
| 対局数 | 2000 |
| 同時対局数 | 64 |
| ハッシュサイズ | 768 |
| 開始局面 | たややん互換局面集 |
実験結果
レーティング測定
対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000
思考エンジン1 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020.weight_by_progress=0.winning_percentage_for_win=0.55/final 定跡手数=256 定跡ファイ
ル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
思考エンジン2 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine2\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮
する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
対局数2000 先手勝ち814(51.7%) 後手勝ち761(48.3%) 引き分け425
engine1
勝ち480(30.5% R-110.4 +-16.0) 先手勝ち248(15.7%) 後手勝ち232(14.7%)
宣言勝ち42 先手宣言勝ち15 後手宣言勝ち27 先手引き分け202 後手引き分け223
engine2
勝ち1095(69.5%) 先手勝ち566(35.9%) 後手勝ち529(33.6%)
宣言勝ち26 先手宣言勝ち11 後手宣言勝ち15 先手引き分け223 後手引き分け202
480,425,1095
対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000
思考エンジン1 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020.weight_by_progress=0.winning_percentage_for_win=0.60/final 定跡手数=256 定跡ファイ
ル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
思考エンジン2 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine2\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮
する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
対局数2000 先手勝ち886(52.8%) 後手勝ち792(47.2%) 引き分け322
engine1
勝ち687(40.9% R-53.2 +-15.4) 先手勝ち358(21.3%) 後手勝ち329(19.6%)
宣言勝ち42 先手宣言勝ち23 後手宣言勝ち19 先手引き分け146 後手引き分け176
engine2
勝ち991(59.1%) 先手勝ち528(31.5%) 後手勝ち463(27.6%)
宣言勝ち14 先手宣言勝ち6 後手宣言勝ち8 先手引き分け176 後手引き分け146
687,322,991
対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000
思考エンジン1 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020.weight_by_progress=0.winning_percentage_for_win=0.65/final 定跡手数=256 定跡ファイ
ル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
思考エンジン2 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine2\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮
する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
対局数2000 先手勝ち882(52.5%) 後手勝ち799(47.5%) 引き分け319
engine1
勝ち736(43.8% R-36.4 +-15.3) 先手勝ち382(22.7%) 後手勝ち354(21.1%)
宣言勝ち22 先手宣言勝ち9 後手宣言勝ち13 先手引き分け146 後手引き分け173
engine2
勝ち945(56.2%) 先手勝ち500(29.7%) 後手勝ち445(26.5%)
宣言勝ち15 先手宣言勝ち6 後手宣言勝ち9 先手引き分け173 後手引き分け146
736,319,945
対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000
思考エンジン1 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020.weight_by_progress=0.winning_percentage_for_win=0.70/final 定跡手数=256 定跡ファイ
ル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
思考エンジン2 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine2\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮
する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
対局数2000 先手勝ち871(54.3%) 後手勝ち732(45.7%) 引き分け397
engine1
勝ち690(43.0% R-38.9 +-15.3) 先手勝ち377(23.5%) 後手勝ち313(19.5%)
宣言勝ち40 先手宣言勝ち15 後手宣言勝ち25 先手引き分け194 後手引き分け203
engine2
勝ち913(57.0%) 先手勝ち494(30.8%) 後手勝ち419(26.1%)
宣言勝ち17 先手宣言勝ち7 後手宣言勝ち10 先手引き分け203 後手引き分け194
690,397,913
対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000
思考エンジン1 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020.weight_by_progress=0.winning_percentage_for_win=0.75/final 定跡手数=256 定跡ファイ
ル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
思考エンジン2 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine2\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮
する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
対局数2000 先手勝ち929(55.2%) 後手勝ち754(44.8%) 引き分け317
engine1
勝ち828(49.2% R-4.7 +-15.2) 先手勝ち464(27.6%) 後手勝ち364(21.6%)
宣言勝ち31 先手宣言勝ち15 後手宣言勝ち16 先手引き分け171 後手引き分け146
engine2
勝ち855(50.8%) 先手勝ち465(27.6%) 後手勝ち390(23.2%)
宣言勝ち14 先手宣言勝ち9 後手宣言勝ち5 先手引き分け146 後手引き分け171
828,317,855
対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000
思考エンジン1 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020.weight_by_progress=0.winning_percentage_for_win=0.80/final 定跡手数=256 定跡ファイ
ル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
思考エンジン2 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine2\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮
する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
対局数2000 先手勝ち940(54.1%) 後手勝ち798(45.9%) 引き分け262
engine1
勝ち842(48.4% R-9.4 +-15.2) 先手勝ち453(26.1%) 後手勝ち389(22.4%)
宣言勝ち37 先手宣言勝ち18 後手宣言勝ち19 先手引き分け122 後手引き分け140
engine2
勝ち896(51.6%) 先手勝ち487(28.0%) 後手勝ち409(23.5%)
宣言勝ち12 先手宣言勝ち6 後手宣言勝ち6 先手引き分け140 後手引き分け122
842,262,896
対局数=2000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000
思考エンジン1 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine1\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020.weight_by_progress=0.winning_percentage_for_win=0.85/final 定跡手数=256 定跡ファイ
ル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
思考エンジン2 name=YaneuraOu NNUE 6.50 64ZEN2 EVAL_LEARN author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2021-09-05\engine2\source\YaneuraOu-by-gcc.exe 評
価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29.halfkp_vm_256x2-32-32.suisho-wcsoc2020\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=900000 秒読み時間(ms)=0 加算時間(ms)=5000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮
する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140
対局数2000 先手勝ち877(52.1%) 後手勝ち806(47.9%) 引き分け317
engine1
勝ち865(51.4% R8.2 +-15.2) 先手勝ち444(26.4%) 後手勝ち421(25.0%)
宣言勝ち38 先手宣言勝ち22 後手宣言勝ち16 先手引き分け149 後手引き分け168
engine2
勝ち818(48.6%) 先手勝ち433(25.7%) 後手勝ち385(22.9%)
宣言勝ち19 先手宣言勝ち7 後手宣言勝ち12 先手引き分け168 後手引き分け149
865,317,818
まとめ
勝敗項の教師信号を調整し、棋力を測定した。
学習ロスと検証ロスは、勝敗項の教師信号が高いほど低くなった。
指し手一致率は、勝敗項の教師信号が高いほど高くなったが、大きな差はなかった。
平手局面の評価値は、勝敗項の教師信号の高さによらず、ほぼ一定だった。
評価値の絶対値は、勝敗項の教師信号が高いほど高くなった。
レーティングは、 0.55～0.7 で、 tanuki-denryu2 より有意に低かった。 0.75～0.85 では、 tanuki-denryu2 と有意な差はなかった。
学習ロスと検証ロスについては、ロスの計算式より明らかだと思われる。
指し手一致率については、評価値が大きい局面における評価が不正確になったためだと思われる。ただし、 0.75～0.85 ではレーティングに有意な差が無かったため、あまり気にしなくても良いと思われる。
平手局面の評価値については、学習に大きな問題が無かったと解釈できる。
レーティングについては、勝敗項の教師信号を下げるぎると、勝率に影響するほど、局面の判断の精度が落ちてしまうのだと思われる。
勝敗項の教師信号を下げることにより、一部のニューロンの出力が常に 0 または 1 となった。また、この状態においても、レーティングは有意には下がらなかった。出力が 0 または 1 となるニューロンを、他の値を計算させるために使うことにより、表現能力を有効に使うことができる可能性がある。
今回は、評価値の絶対値の総和が 6.5×10^8 程度の場合で、レーティングに有意差がなかった。だが、これは教師局面に含まれる、局面の序中終盤の割合によっても変わってくると思われる。教師局面の生成パラメーターを変更するたびに、勝敗項の教師信号の値も調整しなければならないと思われる。
