tanuki- 2022-05-06 s-book_black レーティング測定

実験内容

s-book_black のレーティングを測定した

レーティング測定

対局相手
思考時間	持ち時間 300 秒 + 1 手 2 秒加算
対局数	2000
同時対局数	64
ハッシュサイズ	640
開始局面	平手局面

実験結果

レーティング測定

s-book_black vs 定跡なし

対局数=2000 同時対局数=64 ハッシュサイズ=640 開始手数=0 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\halfkp_1024x2-8-32\final 定跡手数=256 定跡ファイル名=s-book_black.db 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

思考エンジン2 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\halfkp_1024x2-8-32\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数2000 先手勝ち972(59.1%) 後手勝ち672(40.9%) 引き分け356

engine1

勝ち875(53.2% R18.4 +-15.3) 先手勝ち507(30.8%) 後手勝ち368(22.4%)

宣言勝ち37 先手宣言勝ち19 後手宣言勝ち18 先手引き分け187 後手引き分け169

engine2

勝ち769(46.8%) 先手勝ち465(28.3%) 後手勝ち304(18.5%)

宣言勝ち26 先手宣言勝ち10 後手宣言勝ち16 先手引き分け169 後手引き分け187

875,356,769

s-book_black vs tanuki-wcsc32 定跡

思考エンジン2 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\halfkp_1024x2-8-32\final 定跡手数=256 定跡ファイル名=tanuki-wcsc32.2022-05-01.db 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数2000 先手勝ち977(57.3%) 後手勝ち727(42.7%) 引き分け296

engine1

勝ち726(42.6% R-44.0 +-15.4) 先手勝ち411(24.1%) 後手勝ち315(18.5%)

宣言勝ち33 先手宣言勝ち21 後手宣言勝ち12 先手引き分け177 後手引き分け119

engine2

勝ち978(57.4%) 先手勝ち566(33.2%) 後手勝ち412(24.2%)

宣言勝ち28 先手宣言勝ち16 後手宣言勝ち12 先手引き分け119 後手引き分け177

726,296,978

まとめ

s-book_black のレーティングを測定した

s-book_black と定跡なしを比較した結果、 s-book_black のほうが R18 程度高かった。

s-book_black と tanuki-wcsc32 定跡を比較した結果、 s-book_black のほうが R44 程度低かった。

本結果は、他の測定者による結果と大きく異なっている。原因として、使用した評価関数が、ランダムパラメーターから新たに学習したものであり、 s-book_black が得意としている評価関数ではなかったためだと思われる。今回使用した評価関数および tanuki-wcsc32 を新たに対象として s-book_black を調整することにより、レーティングを向上させることができる可能性がある。