tanuki- 2023-09-20 角換わり水匠定跡レーティング計測

実験内容

角換わり水匠定跡のレーティングを計測する。

初期局面は角換わり基本図とする。
比較対象として、定跡なし vs 定跡なしもレーティングを計測する。

レーティング測定

対局相手	tanuki-wcsc33 + 角換わり水匠定跡 vs tanuki-wcsc33 + 定跡なし tanuki-wcsc33 + 定跡なし vs tanuki-wcsc33 + 定跡なし
思考時間	持ち時間 300 秒 + 1 手 2 秒加算
対局数	5000
同時対局数	64
ハッシュサイズ	768
開始局面	角換わり基本図

実験結果

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=512 開始手数=37 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\tanuki-wcsc33-2023-05-04\eval 定跡手数=256 定跡ファイル名=SuishoBook_DR3.db 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\tanuki-wcsc33-2023-05-04\eval 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2576(54.9%) 後手勝ち2119(45.1%) 引き分け305

engine1

勝ち2841(60.5% R69.5 +-9.8) 先手勝ち1542(32.8%) 後手勝ち1299(27.7%)

宣言勝ち47 先手宣言勝ち17 後手宣言勝ち30 先手引き分け170 後手引き分け135

engine2

勝ち1854(39.5%) 先手勝ち1034(22.0%) 後手勝ち820(17.5%)

宣言勝ち77 先手宣言勝ち42 後手宣言勝ち35 先手引き分け135 後手引き分け170

2841,305,1854

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\tanuki-wcsc33-2023-05-04\eval 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

対局数5000 先手勝ち2997(64.7%) 後手勝ち1632(35.3%) 引き分け371

engine1

勝ち2339(50.5% R3.4 +-9.6) 先手勝ち1507(32.6%) 後手勝ち832(18.0%)

宣言勝ち47 先手宣言勝ち19 後手宣言勝ち28 先手引き分け177 後手引き分け194

engine2

勝ち2290(49.5%) 先手勝ち1490(32.2%) 後手勝ち800(17.3%)

宣言勝ち44 先手宣言勝ち19 後手宣言勝ち25 先手引き分け194 後手引き分け177

2339,371,2290

角換わり水匠定跡は、定跡なしと比べて R69.5 高く、有意な差があった。また、引き分けを除くと、先手勝率は 54.9%、後手勝率は 45.1% だった。

定跡なし同士の対局では、有意な差はなかった。また、引き分けを除くと、先手勝率は 64.7%、後手勝率は 35.3% だった。

角換わり水匠定跡の先手と定跡なしの後手の対局は、引き分けを除くと、先手勝率 1542 / (1542 + 820) ≒ 65.3%、後手勝率 820 / (1542 + 820) ≒ 34.7% だった。

定跡なしの先手と角換わり推奨定跡の後手の対局、引き分けを除くと、先手勝率 1034 / (1034 + 1299) ≒ 44.3%、 1299 / (1034 + 1299) ≒ 55.6% だった。

考察

角換わり水匠定跡の先手は、水匠を用いた計測では先手勝率 100% とされていたが、 tanuki-wcsc33 では 65.3% にとどまった。先手勝率 100% となった理由は、定跡生成時に、水匠を用いた自己対局を行い、先手の連勝数が十分に大きくなるまで生成を続けたためだと思われる。一方、本実験では、レーティング測定に tanuki-wcsc33 を用いたため、指し手や気風が異なり、 100% とならなかったのだと思われる。

定跡なし同士の対局と、角換わり水匠定跡の先手と定跡なしの後手の対局では、先手勝率・後手勝率に大きな差はないように見えた。一方、定跡なし同士の対局と、定跡なしの先手と角換わり推奨定跡の後手の対局では、先手勝率・後手勝率に大きな差があるように見えた。 tanuki-wcsc33 + 角換わり水匠定跡の後手は、とても良い組み合わせだと思われる。

まとめ

角換わり水匠定跡のレーティングを計測した。初期局面は角換わり基本図とした。また、比較対象として、定跡なし vs 定跡なしもレーティングを計測した。

計測の結果、角換わり水匠定跡は、定跡なしと比べて R69.5 高く、有意な差があった。また、定跡なし同士の対局と、角換わり水匠定跡の先手と定跡なしの後手の対局では、先手勝率・後手勝率に大きな差はないように見えた。一方、定跡なし同士の対局と、定跡なしの先手と角換わり推奨定跡の後手の対局では、先手勝率・後手勝率に大きな差があるように見えた。

次回は水匠定跡生成スクリプトと tanuki-wcsc33 を用いて生成した定跡のレーティングを測定したい。