nodchipのコンピューター将棋ブログ

コンピューター将棋ソフト「tanuki-」シリーズの実験結果を掲載しています。

tanuki- 2024-03-27 nnue-pytorch halfkp_1024x2-8-32 Fine-tuning Suisho10Mn_psv (3)

tanuki- 2024-03-23 nnue-pytorch halfkp_1024x2-8-32 Fine-tuning Suisho10Mn_psv (2)

実験内容

  • nnue-pytorch で学習した halfkp_1024x2-8-32 ネットワークを、 Suisho10Mn_psv を用いて Fine-tuning する。
  • 学習率を 1e-6 または 1e-7 とし、学習局面数を変えて学習させ、レーティングを測定する。

シャッフル条件

生成ルーチン tanuki-シャッフルルーチン
qsearch() あり
置換表 無効
min_progress 0.1

機械学習

機械学習ルーチン nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2023-10-29.halfkp_1024x2-8-32
学習モデル halfkp_1024x2-8-32
学習手法 ミニバッチ SGD
初期学習率 (lr) 1e-6・1e-7
最適化手法 なし
学習率調整手法 Warmup + Newbob 風
batch-size 16384
threads 8
num-workers 8
accelerator gpu
devices 1
features HalfKP
max-epoch 5001
score-scaling 361
lambda 0.0
勝敗項の教師信号 0.999
num-batches-warmup 10000
newbob-decay 0.5
epoch-size 1000000
num-epochs-to-adjust-lr 500
学習を打ち切る下限 newbob scale 1e-5
1 epoch 毎のネットワークパラメーターのクリップ あり
ネットワークパラメーターの量子化 量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法 pytorch のデフォルトの初期化手法で初期化する。
勾配の正規化 なし
momentum 0.9
入玉ボーナス 入玉時、持ち駒および敵陣三段目までに侵入している駒について、小駒 1 枚につき 20 点、大駒 1 枚につき 100 点、敵陣三段目までに侵入している駒 1 枚につき 20 点追加する。

レーティング測定

対局相手 https://docs.google.com/document/d/1i_h7rxPbEVP7PaUMuDjcGUtgWdOK_gj01r_yILajWZg/edit?usp=sharing tanuki-.nnue-pytorch-2024-03-06
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 384
開始局面 dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

https://docs.google.com/document/d/1uVHjDqXoh5YAEwXkVMF9SIMNQXeABCVb_tHHj-Hm5kY/edit?usp=sharing 参照

レーティング測定

lr=1e-6

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち891(56.9%) 後手勝ち674(43.1%) 引き分け435

engine1

勝ち858(54.8% R26.3 +-15.3) 先手勝ち497(31.8%) 後手勝ち361(23.1%)

宣言勝ち36 先手宣言勝ち17 後手宣言勝ち19 先手引き分け188 後手引き分け247

engine2

勝ち707(45.2%) 先手勝ち394(25.2%) 後手勝ち313(20.0%)

宣言勝ち25 先手宣言勝ち7 後手宣言勝ち18 先手引き分け247 後手引き分け188

858,435,707

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.1000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち870(55.7%) 後手勝ち691(44.3%) 引き分け439

engine1

勝ち711(45.5% R-24.2 +-15.3) 先手勝ち416(26.6%) 後手勝ち295(18.9%)

宣言勝ち31 先手宣言勝ち18 後手宣言勝ち13 先手引き分け187 後手引き分け252

engine2

勝ち850(54.5%) 先手勝ち454(29.1%) 後手勝ち396(25.4%)

宣言勝ち37 先手宣言勝ち14 後手宣言勝ち23 先手引き分け252 後手引き分け187

711,439,850

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.1500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち902(56.4%) 後手勝ち698(43.6%) 引き分け400

engine1

勝ち813(50.8% R4.5 +-15.2) 先手勝ち459(28.7%) 後手勝ち354(22.1%)

宣言勝ち36 先手宣言勝ち19 後手宣言勝ち17 先手引き分け195 後手引き分け205

engine2

勝ち787(49.2%) 先手勝ち443(27.7%) 後手勝ち344(21.5%)

宣言勝ち39 先手宣言勝ち19 後手宣言勝ち20 先手引き分け205 後手引き分け195

813,400,787

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.2000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち916(55.3%) 後手勝ち740(44.7%) 引き分け344

engine1

勝ち811(49.0% R-5.9 +-15.2) 先手勝ち456(27.5%) 後手勝ち355(21.4%)

宣言勝ち45 先手宣言勝ち17 後手宣言勝ち28 先手引き分け162 後手引き分け182

engine2

勝ち845(51.0%) 先手勝ち460(27.8%) 後手勝ち385(23.2%)

宣言勝ち50 先手宣言勝ち19 後手宣言勝ち31 先手引き分け182 後手引き分け162

811,344,845

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.2500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち903(54.7%) 後手勝ち747(45.3%) 引き分け350

engine1

勝ち791(47.9% R-11.8 +-15.2) 先手勝ち456(27.6%) 後手勝ち335(20.3%)

宣言勝ち35 先手宣言勝ち16 後手宣言勝ち19 先手引き分け133 後手引き分け217

engine2

勝ち859(52.1%) 先手勝ち447(27.1%) 後手勝ち412(25.0%)

宣言勝ち37 先手宣言勝ち15 後手宣言勝ち22 先手引き分け217 後手引き分け133

791,350,859

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.3000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち1084(60.0%) 後手勝ち722(40.0%) 引き分け194

engine1

勝ち813(45.0% R-31.4 +-15.3) 先手勝ち495(27.4%) 後手勝ち318(17.6%)

宣言勝ち45 先手宣言勝ち21 後手宣言勝ち24 先手引き分け99 後手引き分け95

engine2

勝ち993(55.0%) 先手勝ち589(32.6%) 後手勝ち404(22.4%)

宣言勝ち49 先手宣言勝ち25 後手宣言勝ち24 先手引き分け95 後手引き分け99

813,194,993

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.3500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち1059(59.7%) 後手勝ち715(40.3%) 引き分け226

engine1

勝ち893(50.3% R2.1 +-15.2) 先手勝ち533(30.0%) 後手勝ち360(20.3%)

宣言勝ち34 先手宣言勝ち16 後手宣言勝ち18 先手引き分け109 後手引き分け117

engine2

勝ち881(49.7%) 先手勝ち526(29.7%) 後手勝ち355(20.0%)

宣言勝ち37 先手宣言勝ち20 後手宣言勝ち17 先手引き分け117 後手引き分け109

893,226,881

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.4000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち980(56.7%) 後手勝ち749(43.3%) 引き分け271

engine1

勝ち790(45.7% R-25.9 +-15.3) 先手勝ち456(26.4%) 後手勝ち334(19.3%)

宣言勝ち40 先手宣言勝ち21 後手宣言勝ち19 先手引き分け128 後手引き分け143

engine2

勝ち939(54.3%) 先手勝ち524(30.3%) 後手勝ち415(24.0%)

宣言勝ち49 先手宣言勝ち18 後手宣言勝ち31 先手引き分け143 後手引き分け128

790,271,939

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.4500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち1149(63.1%) 後手勝ち671(36.9%) 引き分け180

engine1

勝ち908(49.9% R-0.7 +-15.2) 先手勝ち578(31.8%) 後手勝ち330(18.1%)

宣言勝ち40 先手宣言勝ち25 後手宣言勝ち15 先手引き分け82 後手引き分け98

engine2

勝ち912(50.1%) 先手勝ち571(31.4%) 後手勝ち341(18.7%)

宣言勝ち30 先手宣言勝ち18 後手宣言勝ち12 先手引き分け98 後手引き分け82

908,180,912

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.5000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち1090(60.4%) 後手勝ち716(39.6%) 引き分け194

engine1

勝ち835(46.2% R-23.7 +-15.3) 先手勝ち513(28.4%) 後手勝ち322(17.8%)

宣言勝ち47 先手宣言勝ち31 後手宣言勝ち16 先手引き分け94 後手引き分け100

engine2

勝ち971(53.8%) 先手勝ち577(31.9%) 後手勝ち394(21.8%)

宣言勝ち40 先手宣言勝ち15 後手宣言勝ち25 先手引き分け100 後手引き分け94

835,194,971

学習局面数 レーティング差
5 億 26.3
10 億 -24.2
15 億 4.5
20 億 -5.9
25 億 -11.8
30 億 -31.4
35 億 2.1
40 億 -25.9
45 億 -0.7
50 億 -23.7

lr=1e-7

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち861(54.7%) 後手勝ち713(45.3%) 引き分け426

engine1

勝ち831(52.8% R15.3 +-15.2) 先手勝ち460(29.2%) 後手勝ち371(23.6%)

宣言勝ち35 先手宣言勝ち20 後手宣言勝ち15 先手引き分け197 後手引き分け229

engine2

勝ち743(47.2%) 先手勝ち401(25.5%) 後手勝ち342(21.7%)

宣言勝ち45 先手宣言勝ち22 後手宣言勝ち23 先手引き分け229 後手引き分け197

831,426,743

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち907(55.6%) 後手勝ち725(44.4%) 引き分け368

engine1

勝ち909(55.7% R32.4 +-15.3) 先手勝ち512(31.4%) 後手勝ち397(24.3%)

宣言勝ち41 先手宣言勝ち23 後手宣言勝ち18 先手引き分け161 後手引き分け207

engine2

勝ち723(44.3%) 先手勝ち395(24.2%) 後手勝ち328(20.1%)

宣言勝ち41 先手宣言勝ち16 後手宣言勝ち25 先手引き分け207 後手引き分け161

909,368,723

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち937(57.0%) 後手勝ち708(43.0%) 引き分け355

engine1

勝ち880(53.5% R20.0 +-15.3) 先手勝ち507(30.8%) 後手勝ち373(22.7%)

宣言勝ち48 先手宣言勝ち29 後手宣言勝ち19 先手引き分け159 後手引き分け196

engine2

勝ち765(46.5%) 先手勝ち430(26.1%) 後手勝ち335(20.4%)

宣言勝ち41 先手宣言勝ち22 後手宣言勝ち19 先手引き分け196 後手引き分け159

880,355,765

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.2000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち892(58.4%) 後手勝ち636(41.6%) 引き分け472

engine1

勝ち788(51.6% R8.3 +-15.2) 先手勝ち468(30.6%) 後手勝ち320(20.9%)

宣言勝ち37 先手宣言勝ち22 後手宣言勝ち15 先手引き分け219 後手引き分け253

engine2

勝ち740(48.4%) 先手勝ち424(27.7%) 後手勝ち316(20.7%)

宣言勝ち38 先手宣言勝ち22 後手宣言勝ち16 先手引き分け253 後手引き分け219

788,472,740

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.2500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち897(57.8%) 後手勝ち655(42.2%) 引き分け448

engine1

勝ち794(51.2% R6.3 +-15.2) 先手勝ち453(29.2%) 後手勝ち341(22.0%)

宣言勝ち53 先手宣言勝ち29 後手宣言勝ち24 先手引き分け232 後手引き分け216

engine2

勝ち758(48.8%) 先手勝ち444(28.6%) 後手勝ち314(20.2%)

宣言勝ち26 先手宣言勝ち10 後手宣言勝ち16 先手引き分け216 後手引き分け232

794,448,758

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.3000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち942(56.6%) 後手勝ち722(43.4%) 引き分け336

engine1

勝ち914(54.9% R28.6 +-15.3) 先手勝ち525(31.6%) 後手勝ち389(23.4%)

宣言勝ち46 先手宣言勝ち30 後手宣言勝ち16 先手引き分け145 後手引き分け191

engine2

勝ち750(45.1%) 先手勝ち417(25.1%) 後手勝ち333(20.0%)

宣言勝ち26 先手宣言勝ち6 後手宣言勝ち20 先手引き分け191 後手引き分け145

914,336,750

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.3500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち820(52.7%) 後手勝ち737(47.3%) 引き分け443

engine1

勝ち844(54.2% R22.8 +-15.3) 先手勝ち436(28.0%) 後手勝ち408(26.2%)

宣言勝ち44 先手宣言勝ち31 後手宣言勝ち13 先手引き分け235 後手引き分け208

engine2

勝ち713(45.8%) 先手勝ち384(24.7%) 後手勝ち329(21.1%)

宣言勝ち41 先手宣言勝ち19 後手宣言勝ち22 先手引き分け208 後手引き分け235

844,443,713

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.4000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち918(56.4%) 後手勝ち711(43.6%) 引き分け371

engine1

勝ち864(53.0% R17.2 +-15.3) 先手勝ち493(30.3%) 後手勝ち371(22.8%)

宣言勝ち37 先手宣言勝ち23 後手宣言勝ち14 先手引き分け166 後手引き分け205

engine2

勝ち765(47.0%) 先手勝ち425(26.1%) 後手勝ち340(20.9%)

宣言勝ち42 先手宣言勝ち24 後手宣言勝ち18 先手引き分け205 後手引き分け166

864,371,765

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.4500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち932(57.2%) 後手勝ち698(42.8%) 引き分け370

engine1

勝ち900(55.2% R29.6 +-15.3) 先手勝ち508(31.2%) 後手勝ち392(24.0%)

宣言勝ち43 先手宣言勝ち19 後手宣言勝ち24 先手引き分け183 後手引き分け187

engine2

勝ち730(44.8%) 先手勝ち424(26.0%) 後手勝ち306(18.8%)

宣言勝ち25 先手宣言勝ち13 後手宣言勝ち12 先手引き分け187 後手引き分け183

900,370,730

対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.5000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する false false

定跡の手数を無視する false false

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数2000 先手勝ち848(54.9%) 後手勝ち697(45.1%) 引き分け455

engine1

勝ち814(52.7% R14.4 +-15.2) 先手勝ち436(28.2%) 後手勝ち378(24.5%)

宣言勝ち45 先手宣言勝ち21 後手宣言勝ち24 先手引き分け243 後手引き分け212

engine2

勝ち731(47.3%) 先手勝ち412(26.7%) 後手勝ち319(20.6%)

宣言勝ち41 先手宣言勝ち17 後手宣言勝ち24 先手引き分け212 後手引き分け243

814,455,731

学習局面数 レーティング差
5 億 15.3
10 億 32.4
15 億 20.0
20 億 8.3
25 億 6.3
30 億 28.6
35 億 22.8
40 億 17.2
45 億 29.6
50 億 14.4

lr=1e-6 のとき、学習局面が 5 億局面のもの以外は、レーティングに有意な差がないか、有意に低かった。

lr=1e-7 のとき、いくつかの学習局面数において、有意にレーティングが向上した。

lr=1e-6 のときも lr=1e-7 のときも、学習局面数とレーティングに単調減少や単調増加といった特徴は見られなかった。

考察

lr=1e-6 のとき、 学習局面が 5 億局面のもの以外、レーティングに有意な差がないか、有意に低かったのは、学習データに過学習し、元のネットワークパラメーターのうち、レーティングに寄与するものを壊してしまったためだと思う。

lr=1e-7 のとき、いくつかの学習局面数において、有意にレーティングが向上したのは、元のネットワークパラメーターのうち、レーティングに寄与するものを維持しつつ、学習データを学習できたためだと思う。

lr=1e-6 のときも lr=1e-7 のときも、学習局面数とレーティングに単調減少や単調増加といった特徴は見られなかったのは、対局階数が少なく、計測誤差が大きかったからだと思う。

今回の実験により、あるネットワークについて、ランダムパラメーターから学習させ、 Fine-tuning によりレーティングを向上させるまでの一通りの流れが確立できたと思う。

まとめ

nnue-pytorch で学習した halfkp_1024x2-8-32 ネットワークを、 Suisho10Mn_psv を用いて Fine-tuning した。その際、学習率を 1e-6 または 1e-7 とし、学習局面数を変えて学習させ、レーティングを測定した。

結果、 lr=1e-7 のとき、いくつかの学習局面数において、有意にレーティングが向上した。 lr=1e-7 のとき、いくつかの学習局面数において、有意にレーティングが向上したのは、元のネットワークパラメーターのうち、レーティングに寄与するものを維持しつつ、学習データを学習できたためだと思う。

次回は、 halfkp_1024x2-16-32 ネットワークパラメーターで学習させ、レーティングを計測したい。