tanuki- 2024-12-25 学習データの評価値を DL 水匠で付けなおす

実験内容

学習データ tanuki-.nnue-pytorch-2024-07-30.1 の評価値を DL 将棋で付けなおし、学習させ、レーティングを測定する。

棋譜生成

ランダムパラメーターから学習させる際の学習データ

生成ルーチン	tanuki-棋譜生成ルーチン
評価関数	tanuki-.nnue-pytorch-2024-07-30.1
1手あたりの思考	深さ最大 9 思考ノード数最大 50,000 ノード
開始局面	foodgate の 2020 年～ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。戦型が角換わりの対局が 10% になるよう調整した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数	10 億局面 × 8 セット
生成条件	対局は打ち切らず詰みの局面まで学習データに出力した
フォルダ名	tanuki-.nnue-pytorch-2024-07-30.1

シャッフル条件

ランダムパラメータから学習させる際の学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.0

Fine-tuning に用いる学習データ

生成ルーチン	tanuki-シャッフルルーチン
qsearch()	あり
置換表	無効
min_progress	0.1

機械学習

機械学習ルーチン	nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2024-05-26.halfkp_512x2-8-96
学習モデル	halfkp_512x2-8-96
学習手法	ミニバッチ SGD
初期学習率 (lr)	0.5 収束後 0.05
最適化手法	なし
学習率調整手法	Warmup + Newbob 風
batch-size	16384
threads	8
num-workers	8
accelerator	gpu
devices	1
features	HalfKP
max-epoch	1000000
score-scaling	511
lambda	1.0 収束後 60 手目までは手数に応じて lambda を 1.0 から 0.0 まで線形に下げる。 60 手目以降は 0.0 とする。
勝敗項の教師信号	1.0 - 1e-8
num-batches-warmup	10000
newbob-decay	0.5
epoch-size	1000000
num-epochs-to-adjust-lr	500
学習を打ち切る下限 newbob scale	1e-5
1 epoch 毎のネットワークパラメーターのクリップ	あり
ネットワークパラメーターの量子化	量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法	pytorch のデフォルトの初期化手法で初期化する。
勾配の正規化	なし
momentum	0.9
入玉ボーナス	入玉時、持ち駒および敵陣三段目までに侵入している駒について、小駒 1 枚につき 20 点、大駒 1 枚につき 100 点、敵陣三段目までに侵入している駒 1 枚につき 20 点追加する。

レーティング測定

対局相手	https://docs.google.com/document/d/1rTkwx-9YFiHwtHdzN8EMcNA1ZhP-kLi95e9xQ9tDyWs/edit?usp=sharing tanuki-.nnue-pytorch-2024-11-22.0
思考時間	持ち時間 300 秒 + 1 手 2 秒加算
対局数	5000
同時対局数	64
ハッシュサイズ	384
開始局面	dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

ランダムパラメーターからの学習

検証ロス

tanuki-.nnue-pytorch-2024-07-30.1 + dlsuisho … 0.37577048627791826

tanuki-.nnue-pytorch-2024-07-30.1 … 0.3736974278111612

Fine-tuning

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 8.30git 64ZEN2 TOURNAMENT YaneuraOu NNUE 8.30git 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-12-18.0 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-11-22.0

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する true true

定跡の手数を無視する true true

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数5000 先手勝ち2490(55.0%) 後手勝ち2034(45.0%) 引き分け476

engine1

勝ち2991(66.1% R104.3 +-10.1) 先手勝ち1632(36.1%) 後手勝ち1359(30.0%)

宣言勝ち78 先手宣言勝ち45 後手宣言勝ち33 先手引き分け194 後手引き分け282

engine2

勝ち1533(33.9%) 先手勝ち858(19.0%) 後手勝ち675(14.9%)

宣言勝ち21 先手宣言勝ち12 後手宣言勝ち9 先手引き分け282 後手引き分け194

2991,476,1533

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 8.30git 64ZEN2 TOURNAMENT YaneuraOu NNUE 8.30git 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-12-18.1 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-11-22.0

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する true true

定跡の手数を無視する true true

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数5000 先手勝ち2499(55.6%) 後手勝ち1998(44.4%) 引き分け503

engine1

勝ち2913(64.8% R94.6 +-10.0) 先手勝ち1596(35.5%) 後手勝ち1317(29.3%)

宣言勝ち92 先手宣言勝ち48 後手宣言勝ち44 先手引き分け226 後手引き分け277

engine2

勝ち1584(35.2%) 先手勝ち903(20.1%) 後手勝ち681(15.1%)

宣言勝ち16 先手宣言勝ち8 後手宣言勝ち8 先手引き分け277 後手引き分け226

2913,503,1584

学習ロスと検証ロスは、ランダムパラメーターからの学習においては tanuki-.nnue-pytorch-2024-07-30.1 のみで学習させた場合に比べて高くなった。 Fine-tuning においては、ランダムパラメーターからの学習を tanuki-.nnue-pytorch-2024-07-30.1 のみで行った場合に比べて低くなった。

自己対局では、ランダムパラメーターから学習させたネットワークパラメーターは、 tanuki-.nnue-pytorch-2024-07-30.1 のみで学習させた場合に比べて、レーティングが R104.3 高く、有意な差があった。 Fine-tuning したネットワークパラメーターは、 tanuki-.nnue-pytorch-2024-07-30.1 のみで学習させた場合に比べて、レーティングが R94.6 高く、有意な差があった。

考察

学習ロスと検証ロスが、ランダムパラメーターからの学習においては tanuki-.nnue-pytorch-2024-07-30.1 のみで学習させた場合に比べて高くなったのは、 DL 水匠で評価値を付けなおしたことにより、評価値へのフィッティングが難しくなったためだと思う。 Fine-tuning において低くなったのは、ランダムパラメーターからの学習に使った学習データの性質が、元の学習データと比較し、 Suisho10Mn_psv に近くなったからだと思う。

自己対局で、ランダムパラメーターから学習させた評価関数と Fine-tuning した評価関数のレーティングに有意な差があった理由は、学習データの評価値を DL 水匠で付けなおしたことにより、局面の評価精度が良くなったためだと思う。ランダムパラメーターから学習させた評価関数のレーティングより、 Fine-tuning した評価関数のレーティングのほうが低かったのは、 DL 水匠で評価値を付けなおした学習データのほうが、 Suisho10Mn_psv よりも、学習データとしての質が高かったためだと思う。 Suisho10Mn_psv による Fine-tuning は、今後不要だと思う。