tanuki- 2024-03-23 nnue-pytorch halfkp_1024x2-8-32 Fine-tuning Suisho10Mn_psv (2)
実験内容
-
nnue-pytorch で学習した halfkp_1024x2-8-32 ネットワークを、 Suisho10Mn_psv を用いて Fine-tuning する。
-
学習率を 1e-6 または 1e-7 とし、学習局面数を変えて学習させ、レーティングを測定する。
シャッフル条件
生成ルーチン
|
tanuki-シャッフルルーチン
|
qsearch()
|
あり
|
置換表
|
無効
|
min_progress
|
0.1
|
機械学習ルーチン
|
nnue-pytorch + やねうら王
https://github.com/nodchip/nnue-pytorch/tree/shogi.2023-10-29.halfkp_1024x2-8-32
|
学習モデル
|
halfkp_1024x2-8-32
|
学習手法
|
ミニバッチ SGD
|
初期学習率 (lr)
|
1e-6・1e-7
|
最適化手法
|
なし
|
学習率調整手法
|
Warmup + Newbob 風
|
batch-size
|
16384
|
threads
|
8
|
num-workers
|
8
|
accelerator
|
gpu
|
devices
|
1
|
features
|
HalfKP
|
max-epoch
|
5001
|
score-scaling
|
361
|
lambda
|
0.0
|
勝敗項の教師信号
|
0.999
|
num-batches-warmup
|
10000
|
newbob-decay
|
0.5
|
epoch-size
|
1000000
|
num-epochs-to-adjust-lr
|
500
|
学習を打ち切る下限 newbob scale
|
1e-5
|
1 epoch 毎のネットワークパラメーターのクリップ
|
あり
|
ネットワークパラメーターの量子化
|
量子化なしで学習し、収束後に量子化する。
|
ネットワークパラメーターの初期化方法
|
pytorch のデフォルトの初期化手法で初期化する。
|
勾配の正規化
|
なし
|
momentum
|
0.9
|
入玉ボーナス
|
入玉時、持ち駒および敵陣三段目までに侵入している駒について、小駒 1 枚につき 20 点、大駒 1 枚につき 100 点、敵陣三段目までに侵入している駒 1 枚につき 20 点追加する。
|
レーティング測定
実験結果
https://docs.google.com/document/d/1uVHjDqXoh5YAEwXkVMF9SIMNQXeABCVb_tHHj-Hm5kY/edit?usp=sharing 参照
レーティング測定
lr=1e-6
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち891(56.9%) 後手勝ち674(43.1%) 引き分け435
engine1
勝ち858(54.8% R26.3 +-15.3) 先手勝ち497(31.8%) 後手勝ち361(23.1%)
宣言勝ち36 先手宣言勝ち17 後手宣言勝ち19 先手引き分け188 後手引き分け247
engine2
勝ち707(45.2%) 先手勝ち394(25.2%) 後手勝ち313(20.0%)
宣言勝ち25 先手宣言勝ち7 後手宣言勝ち18 先手引き分け247 後手引き分け188
858,435,707
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.1000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち870(55.7%) 後手勝ち691(44.3%) 引き分け439
engine1
勝ち711(45.5% R-24.2 +-15.3) 先手勝ち416(26.6%) 後手勝ち295(18.9%)
宣言勝ち31 先手宣言勝ち18 後手宣言勝ち13 先手引き分け187 後手引き分け252
engine2
勝ち850(54.5%) 先手勝ち454(29.1%) 後手勝ち396(25.4%)
宣言勝ち37 先手宣言勝ち14 後手宣言勝ち23 先手引き分け252 後手引き分け187
711,439,850
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.1500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち902(56.4%) 後手勝ち698(43.6%) 引き分け400
engine1
勝ち813(50.8% R4.5 +-15.2) 先手勝ち459(28.7%) 後手勝ち354(22.1%)
宣言勝ち36 先手宣言勝ち19 後手宣言勝ち17 先手引き分け195 後手引き分け205
engine2
勝ち787(49.2%) 先手勝ち443(27.7%) 後手勝ち344(21.5%)
宣言勝ち39 先手宣言勝ち19 後手宣言勝ち20 先手引き分け205 後手引き分け195
813,400,787
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.2000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち916(55.3%) 後手勝ち740(44.7%) 引き分け344
engine1
勝ち811(49.0% R-5.9 +-15.2) 先手勝ち456(27.5%) 後手勝ち355(21.4%)
宣言勝ち45 先手宣言勝ち17 後手宣言勝ち28 先手引き分け162 後手引き分け182
engine2
勝ち845(51.0%) 先手勝ち460(27.8%) 後手勝ち385(23.2%)
宣言勝ち50 先手宣言勝ち19 後手宣言勝ち31 先手引き分け182 後手引き分け162
811,344,845
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.2500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち903(54.7%) 後手勝ち747(45.3%) 引き分け350
engine1
勝ち791(47.9% R-11.8 +-15.2) 先手勝ち456(27.6%) 後手勝ち335(20.3%)
宣言勝ち35 先手宣言勝ち16 後手宣言勝ち19 先手引き分け133 後手引き分け217
engine2
勝ち859(52.1%) 先手勝ち447(27.1%) 後手勝ち412(25.0%)
宣言勝ち37 先手宣言勝ち15 後手宣言勝ち22 先手引き分け217 後手引き分け133
791,350,859
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.3000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち1084(60.0%) 後手勝ち722(40.0%) 引き分け194
engine1
勝ち813(45.0% R-31.4 +-15.3) 先手勝ち495(27.4%) 後手勝ち318(17.6%)
宣言勝ち45 先手宣言勝ち21 後手宣言勝ち24 先手引き分け99 後手引き分け95
engine2
勝ち993(55.0%) 先手勝ち589(32.6%) 後手勝ち404(22.4%)
宣言勝ち49 先手宣言勝ち25 後手宣言勝ち24 先手引き分け95 後手引き分け99
813,194,993
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.3500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち1059(59.7%) 後手勝ち715(40.3%) 引き分け226
engine1
勝ち893(50.3% R2.1 +-15.2) 先手勝ち533(30.0%) 後手勝ち360(20.3%)
宣言勝ち34 先手宣言勝ち16 後手宣言勝ち18 先手引き分け109 後手引き分け117
engine2
勝ち881(49.7%) 先手勝ち526(29.7%) 後手勝ち355(20.0%)
宣言勝ち37 先手宣言勝ち20 後手宣言勝ち17 先手引き分け117 後手引き分け109
893,226,881
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.4000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち980(56.7%) 後手勝ち749(43.3%) 引き分け271
engine1
勝ち790(45.7% R-25.9 +-15.3) 先手勝ち456(26.4%) 後手勝ち334(19.3%)
宣言勝ち40 先手宣言勝ち21 後手宣言勝ち19 先手引き分け128 後手引き分け143
engine2
勝ち939(54.3%) 先手勝ち524(30.3%) 後手勝ち415(24.0%)
宣言勝ち49 先手宣言勝ち18 後手宣言勝ち31 先手引き分け143 後手引き分け128
790,271,939
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.4500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち1149(63.1%) 後手勝ち671(36.9%) 引き分け180
engine1
勝ち908(49.9% R-0.7 +-15.2) 先手勝ち578(31.8%) 後手勝ち330(18.1%)
宣言勝ち40 先手宣言勝ち25 後手宣言勝ち15 先手引き分け82 後手引き分け98
engine2
勝ち912(50.1%) 先手勝ち571(31.4%) 後手勝ち341(18.7%)
宣言勝ち30 先手宣言勝ち18 後手宣言勝ち12 先手引き分け98 後手引き分け82
908,180,912
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-22.5000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち1090(60.4%) 後手勝ち716(39.6%) 引き分け194
engine1
勝ち835(46.2% R-23.7 +-15.3) 先手勝ち513(28.4%) 後手勝ち322(17.8%)
宣言勝ち47 先手宣言勝ち31 後手宣言勝ち16 先手引き分け94 後手引き分け100
engine2
勝ち971(53.8%) 先手勝ち577(31.9%) 後手勝ち394(21.8%)
宣言勝ち40 先手宣言勝ち15 後手宣言勝ち25 先手引き分け100 後手引き分け94
835,194,971
学習局面数
|
レーティング差
|
5 億
|
26.3
|
10 億
|
-24.2
|
15 億
|
4.5
|
20 億
|
-5.9
|
25 億
|
-11.8
|
30 億
|
-31.4
|
35 億
|
2.1
|
40 億
|
-25.9
|
45 億
|
-0.7
|
50 億
|
-23.7
|
lr=1e-7
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち861(54.7%) 後手勝ち713(45.3%) 引き分け426
engine1
勝ち831(52.8% R15.3 +-15.2) 先手勝ち460(29.2%) 後手勝ち371(23.6%)
宣言勝ち35 先手宣言勝ち20 後手宣言勝ち15 先手引き分け197 後手引き分け229
engine2
勝ち743(47.2%) 先手勝ち401(25.5%) 後手勝ち342(21.7%)
宣言勝ち45 先手宣言勝ち22 後手宣言勝ち23 先手引き分け229 後手引き分け197
831,426,743
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち907(55.6%) 後手勝ち725(44.4%) 引き分け368
engine1
勝ち909(55.7% R32.4 +-15.3) 先手勝ち512(31.4%) 後手勝ち397(24.3%)
宣言勝ち41 先手宣言勝ち23 後手宣言勝ち18 先手引き分け161 後手引き分け207
engine2
勝ち723(44.3%) 先手勝ち395(24.2%) 後手勝ち328(20.1%)
宣言勝ち41 先手宣言勝ち16 後手宣言勝ち25 先手引き分け207 後手引き分け161
909,368,723
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.1500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち937(57.0%) 後手勝ち708(43.0%) 引き分け355
engine1
勝ち880(53.5% R20.0 +-15.3) 先手勝ち507(30.8%) 後手勝ち373(22.7%)
宣言勝ち48 先手宣言勝ち29 後手宣言勝ち19 先手引き分け159 後手引き分け196
engine2
勝ち765(46.5%) 先手勝ち430(26.1%) 後手勝ち335(20.4%)
宣言勝ち41 先手宣言勝ち22 後手宣言勝ち19 先手引き分け196 後手引き分け159
880,355,765
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.2000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち892(58.4%) 後手勝ち636(41.6%) 引き分け472
engine1
勝ち788(51.6% R8.3 +-15.2) 先手勝ち468(30.6%) 後手勝ち320(20.9%)
宣言勝ち37 先手宣言勝ち22 後手宣言勝ち15 先手引き分け219 後手引き分け253
engine2
勝ち740(48.4%) 先手勝ち424(27.7%) 後手勝ち316(20.7%)
宣言勝ち38 先手宣言勝ち22 後手宣言勝ち16 先手引き分け253 後手引き分け219
788,472,740
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.2500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち897(57.8%) 後手勝ち655(42.2%) 引き分け448
engine1
勝ち794(51.2% R6.3 +-15.2) 先手勝ち453(29.2%) 後手勝ち341(22.0%)
宣言勝ち53 先手宣言勝ち29 後手宣言勝ち24 先手引き分け232 後手引き分け216
engine2
勝ち758(48.8%) 先手勝ち444(28.6%) 後手勝ち314(20.2%)
宣言勝ち26 先手宣言勝ち10 後手宣言勝ち16 先手引き分け216 後手引き分け232
794,448,758
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.3000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち942(56.6%) 後手勝ち722(43.4%) 引き分け336
engine1
勝ち914(54.9% R28.6 +-15.3) 先手勝ち525(31.6%) 後手勝ち389(23.4%)
宣言勝ち46 先手宣言勝ち30 後手宣言勝ち16 先手引き分け145 後手引き分け191
engine2
勝ち750(45.1%) 先手勝ち417(25.1%) 後手勝ち333(20.0%)
宣言勝ち26 先手宣言勝ち6 後手宣言勝ち20 先手引き分け191 後手引き分け145
914,336,750
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.3500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち820(52.7%) 後手勝ち737(47.3%) 引き分け443
engine1
勝ち844(54.2% R22.8 +-15.3) 先手勝ち436(28.0%) 後手勝ち408(26.2%)
宣言勝ち44 先手宣言勝ち31 後手宣言勝ち13 先手引き分け235 後手引き分け208
engine2
勝ち713(45.8%) 先手勝ち384(24.7%) 後手勝ち329(21.1%)
宣言勝ち41 先手宣言勝ち19 後手宣言勝ち22 先手引き分け208 後手引き分け235
844,443,713
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.4000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち918(56.4%) 後手勝ち711(43.6%) 引き分け371
engine1
勝ち864(53.0% R17.2 +-15.3) 先手勝ち493(30.3%) 後手勝ち371(22.8%)
宣言勝ち37 先手宣言勝ち23 後手宣言勝ち14 先手引き分け166 後手引き分け205
engine2
勝ち765(47.0%) 先手勝ち425(26.1%) 後手勝ち340(20.9%)
宣言勝ち42 先手宣言勝ち24 後手宣言勝ち18 先手引き分け205 後手引き分け166
864,371,765
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.4500 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち932(57.2%) 後手勝ち698(42.8%) 引き分け370
engine1
勝ち900(55.2% R29.6 +-15.3) 先手勝ち508(31.2%) 後手勝ち392(24.0%)
宣言勝ち43 先手宣言勝ち19 後手宣言勝ち24 先手引き分け183 後手引き分け187
engine2
勝ち730(44.8%) 先手勝ち424(26.0%) 後手勝ち306(18.8%)
宣言勝ち25 先手宣言勝ち13 後手宣言勝ち12 先手引き分け187 後手引き分け183
900,370,730
対局数=2000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\bishop_exchange.2023-06-25.sfen NUMAノード数=1 表示更新間隔(ms)=3600000
思考エンジン1 思考エンジン2
name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT
author by yaneurao by yaneurao
exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe
評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-24.5000 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-03-06
定跡手数 256 256
定跡ファイル名 no_book no_book
思考ノード数 0 0
思考ノード数に加える乱数(%) 0 0
思考ノード数の乱数を1手毎に変化させる False False
持ち時間(ms) 300000 300000
秒読み時間(ms) 0 0
加算時間(ms) 2000 2000
乱数付き思考時間(ms) 0 0
スレッド数 1 1
BookEvalDiff 30 30
定跡の採択率を考慮する false false
定跡の手数を無視する false false
SlowMover 100 100
DrawValue -2 -2
BookEvalBlackLimit 0 0
BookEvalWhiteLimit -140 -140
FVScale 16 16
Depth=0 0
MinimumThinkingTime 1000 1000
対局数2000 先手勝ち848(54.9%) 後手勝ち697(45.1%) 引き分け455
engine1
勝ち814(52.7% R14.4 +-15.2) 先手勝ち436(28.2%) 後手勝ち378(24.5%)
宣言勝ち45 先手宣言勝ち21 後手宣言勝ち24 先手引き分け243 後手引き分け212
engine2
勝ち731(47.3%) 先手勝ち412(26.7%) 後手勝ち319(20.6%)
宣言勝ち41 先手宣言勝ち17 後手宣言勝ち24 先手引き分け212 後手引き分け243
814,455,731
学習局面数
|
レーティング差
|
5 億
|
15.3
|
10 億
|
32.4
|
15 億
|
20.0
|
20 億
|
8.3
|
25 億
|
6.3
|
30 億
|
28.6
|
35 億
|
22.8
|
40 億
|
17.2
|
45 億
|
29.6
|
50 億
|
14.4
|
lr=1e-6 のとき、学習局面が 5 億局面のもの以外は、レーティングに有意な差がないか、有意に低かった。
lr=1e-7 のとき、いくつかの学習局面数において、有意にレーティングが向上した。
lr=1e-6 のときも lr=1e-7 のときも、学習局面数とレーティングに単調減少や単調増加といった特徴は見られなかった。
考察
lr=1e-6 のとき、
学習局面が 5 億局面のもの以外、レーティングに有意な差がないか、有意に低かったのは、学習データに過学習し、元のネットワークパラメーターのうち、レーティングに寄与するものを壊してしまったためだと思う。
lr=1e-7 のとき、いくつかの学習局面数において、有意にレーティングが向上したのは、元のネットワークパラメーターのうち、レーティングに寄与するものを維持しつつ、学習データを学習できたためだと思う。
lr=1e-6 のときも lr=1e-7 のときも、学習局面数とレーティングに単調減少や単調増加といった特徴は見られなかったのは、対局階数が少なく、計測誤差が大きかったからだと思う。
今回の実験により、あるネットワークについて、ランダムパラメーターから学習させ、 Fine-tuning によりレーティングを向上させるまでの一通りの流れが確立できたと思う。
まとめ
nnue-pytorch で学習した halfkp_1024x2-8-32 ネットワークを、 Suisho10Mn_psv を用いて Fine-tuning した。その際、学習率を 1e-6 または 1e-7 とし、学習局面数を変えて学習させ、レーティングを測定した。
結果、 lr=1e-7 のとき、いくつかの学習局面数において、有意にレーティングが向上した。
lr=1e-7 のとき、いくつかの学習局面数において、有意にレーティングが向上したのは、元のネットワークパラメーターのうち、レーティングに寄与するものを維持しつつ、学習データを学習できたためだと思う。
次回は、 halfkp_1024x2-16-32 ネットワークパラメーターで学習させ、レーティングを計測したい。