nodchipのコンピューター将棋ブログ

コンピューター将棋ソフト「tanuki-」シリーズの実験結果を掲載しています。

tanuki- 2024-01-03 nnue-pytorch halfkp_1024x2-8-32 Gradient Centralization

tanuki- 2024-01-03 nnue-pytorch halfkp_1024x2-8-32 Gradient Centralization

実験内容

  • nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させる。
  • 勾配に対し Gradient Centralization を適用する。

棋譜生成

生成ルーチン tanuki-棋譜生成ルーチン
評価関数 水匠5
1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
開始局面 foodgate の 2020 年~ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数 10 億局面 × 8 セット
生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

シャッフル条件

生成ルーチン tanuki-シャッフルルーチン
qsearch() あり
置換表 無効

機械学習

機械学習ルーチン nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2023-10-29.halfkp_1024x2-8-32
学習モデル halfkp_1024x2-8-32
学習手法 ミニバッチ SGD
初期学習率 (lr) 1.0
最適化手法 なし
学習率調整手法 Warmup + Newbob 風
batch-size 8192
threads 8
num-workers 8
accelerator gpu
devices 1
features HalfKP
max-epoch 1000000
score-scaling 361
lambda 0.5
勝敗項の教師信号 0.999
num-batches-warmup 10000
newbob-decay 0.5
epoch-size 1000000
num-epochs-to-adjust-lr 500
学習を打ち切る下限 newbob scale 1e-5
1 epoch 毎のネットワークパラメーターのクリップ あり
ネットワークパラメーターの量子化 量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法 pytorch のデフォルトの初期化手法で初期化する。
Gradient Centralization あり

レーティング測定

対局相手 tanuki-wcsc32 (マメット・ブンブク) https://docs.google.com/document/d/1_dMTIinvvF-zMX0_kNP1Ow1sKaFMqiQ93tyySycvSXM/edit?usp=sharing tanuki-.nnue-pytorch-2023-12-18
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 384
開始局面 dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

検証ロス

Gradient Centralization あり … 0.255952619320009

Gradient Centralization なし … 0.2558451730358986

ネットワークパラメーターの分布

mean=-15.681640625 std=15.073563575744629

mean=-0.000931335671339184 std=2.159369468688965

mean=2979.375 std=1506.4798583984375

mean=-0.013916015625 std=6.711396217346191

mean=-1974.0625 std=3509.219970703125

mean=0.48046875 std=36.11039352416992

mean=-2609.0 std=nan

mean=1.0 std=62.427764892578125

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-01-01 D:\hnoda\tanuki-wcsc32-2022-05-06\eval

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する true true

定跡の手数を無視する true true

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数5000 先手勝ち2439(52.9%) 後手勝ち2173(47.1%) 引き分け388

engine1

勝ち1938(42.0% R-51.5 +-9.7) 先手勝ち1033(22.4%) 後手勝ち905(19.6%)

宣言勝ち82 先手宣言勝ち42 後手宣言勝ち40 先手引き分け202 後手引き分け186

engine2

勝ち2674(58.0%) 先手勝ち1406(30.5%) 後手勝ち1268(27.5%)

宣言勝ち6 先手宣言勝ち3 後手宣言勝ち3 先手引き分け186 後手引き分け202

1938,388,2674

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2024-01-01 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-18

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する true true

定跡の手数を無視する true true

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数5000 先手勝ち2518(53.8%) 後手勝ち2165(46.2%) 引き分け317

engine1

勝ち2235(47.7% R-14.8 +-9.6) 先手勝ち1203(25.7%) 後手勝ち1032(22.0%)

宣言勝ち33 先手宣言勝ち17 後手宣言勝ち16 先手引き分け162 後手引き分け155

engine2

勝ち2448(52.3%) 先手勝ち1315(28.1%) 後手勝ち1133(24.2%)

宣言勝ち94 先手宣言勝ち47 後手宣言勝ち47 先手引き分け155 後手引き分け162

2235,317,2448

検証ロスは、 Grandient Centralization ありのほうが高かった。

学習ロスと検証ロスの乖離は、大きくはなかった。

学習率は、 Gradient Centralization ありのほうが、下がるのが遅かった。

ネットワークパラメーターの重みは、後段ほど標準偏差が大きくなった。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R51.5 低く、有意な差があった。また、 Gradient Centralization 無しと比べて R14.8 低く、有意な差があった。

考察

検証ロスが Gradient Centralization ありのほうが高かったのは、 Gradient Centralization により、学習データの性質が変質してしまったことが原因の可能性がある

レーティングが Gradient Centralization 無しと比べて有意に低かったのは、変質した学習データで学習したことが原因の可能性がある。

まとめ

nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させた。 その際、勾配に対し Gradient Centralization を適用した。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R51.5 低く、有意な差があった。また、 Gradient Centralization 無しと比べて R14.8 低く、有意な差があった。 レーティングが Gradient Centralization 無しと比べて有意に低かったのは、変質した学習データで学習したことが原因の可能性がある。

次回は、勾配を平均 0 標準偏差 1 で正規化し、学習させ、レーティングを測定したい。

tanuki- 2023-12-31 nnue-pytorch halfkp_1024x2-8-32 LAMB

tanuki- 2023-12-31 nnue-pytorch halfkp_1024x2-8-32 LAMB

実験内容

  • nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させる。
  • Optimizer に LAMB を使用する。

棋譜生成

生成ルーチン tanuki-棋譜生成ルーチン
評価関数 水匠5
1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
開始局面 foodgate の 2020 年~ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数 10 億局面 × 8 セット
生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

シャッフル条件

生成ルーチン tanuki-シャッフルルーチン
qsearch() あり
置換表 無効

機械学習

機械学習ルーチン nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2023-10-29.halfkp_1024x2-8-32
学習モデル halfkp_1024x2-8-32
学習手法 LAMB
初期学習率 (lr) 1.0
最適化手法 なし
学習率調整手法 Warmup + Newbob 風
batch-size 16384
threads 8
num-workers 8
accelerator gpu
devices 1
features HalfKP
max-epoch 1000000
score-scaling 361
lambda 0.5
勝敗項の教師信号 0.999
num-batches-warmup 10000
newbob-decay 0.5
epoch-size 1000000
num-epochs-to-adjust-lr 500
学習を打ち切る下限 newbob scale 1e-5
1 epoch 毎のネットワークパラメーターのクリップ あり
ネットワークパラメーターの量子化 量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法 pytorch のデフォルトの初期化手法で初期化する。

レーティング測定

対局相手 tanuki-wcsc32 (マメット・ブンブク)https://docs.google.com/document/d/1W3Xzb27Cmkbwqz50U17O8H1brNXQ1ksABhNOsZOzspw/edit?usp=sharing tanuki-.nnue-pytorch-2023-12-13 https://docs.google.com/document/d/1_dMTIinvvF-zMX0_kNP1Ow1sKaFMqiQ93tyySycvSXM/edit?usp=sharing tanuki-.nnue-pytorch-2023-12-18
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 384
開始局面 dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

検証ロス

LAMB … 0.2570241420499739

SGD … 0.2558451730358986

ネットワークパラメーターの分布

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-28 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-13

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する true true

定跡の手数を無視する true true

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数5000 先手勝ち2489(52.5%) 後手勝ち2251(47.5%) 引き分け260

engine1

勝ち2047(43.2% R-45.1 +-9.7) 先手勝ち1084(22.9%) 後手勝ち963(20.3%)

宣言勝ち28 先手宣言勝ち11 後手宣言勝ち17 先手引き分け129 後手引き分け131

engine2

勝ち2693(56.8%) 先手勝ち1405(29.6%) 後手勝ち1288(27.2%)

宣言勝ち29 先手宣言勝ち13 後手宣言勝ち16 先手引き分け131 後手引き分け129

2047,260,2693

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-28 D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-18

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する true true

定跡の手数を無視する true true

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数5000 先手勝ち2476(51.9%) 後手勝ち2292(48.1%) 引き分け232

engine1

勝ち1864(39.1% R-73.3 +-9.8) 先手勝ち978(20.5%) 後手勝ち886(18.6%)

宣言勝ち14 先手宣言勝ち6 後手宣言勝ち8 先手引き分け117 後手引き分け115

engine2

勝ち2904(60.9%) 先手勝ち1498(31.4%) 後手勝ち1406(29.5%)

宣言勝ち67 先手宣言勝ち32 後手宣言勝ち35 先手引き分け115 後手引き分け117

1864,232,2904

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 思考エンジン2

name YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT

author by yaneurao by yaneurao

exeファイル C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe

評価関数フォルダパス D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-28 D:\hnoda\tanuki-wcsc32-2022-05-06\eval

定跡手数 256 256

定跡ファイル名 no_book no_book

思考ノード数 0 0

思考ノード数に加える乱数(%) 0 0

思考ノード数の乱数を1手毎に変化させる False False

持ち時間(ms) 300000 300000

秒読み時間(ms) 0 0

加算時間(ms) 2000 2000

乱数付き思考時間(ms) 0 0

スレッド数 1 1

BookEvalDiff 30 30

定跡の採択率を考慮する true true

定跡の手数を無視する true true

SlowMover 100 100

DrawValue -2 -2

BookEvalBlackLimit 0 0

BookEvalWhiteLimit -140 -140

FVScale 16 16

Depth=0 0

MinimumThinkingTime 1000 1000

対局数5000 先手勝ち2520(53.4%) 後手勝ち2200(46.6%) 引き分け280

engine1

勝ち1547(32.8% R-117.2 +-10.2) 先手勝ち853(18.1%) 後手勝ち694(14.7%)

宣言勝ち43 先手宣言勝ち23 後手宣言勝ち20 先手引き分け136 後手引き分け144

engine2

勝ち3173(67.2%) 先手勝ち1667(35.3%) 後手勝ち1506(31.9%)

宣言勝ち18 先手宣言勝ち9 後手宣言勝ち9 先手引き分け144 後手引き分け136

1547,280,3173

学習ロスと検証ロスは、はじめは SGD ( https://docs.google.com/document/d/1W3Xzb27Cmkbwqz50U17O8H1brNXQ1ksABhNOsZOzspw/edit?usp=sharing ) に比べて急速に下がったが、最終的なロスは SGD より高かった。

学習ロスと検証ロスの乖離は、大きくはなかった。

ネットワークパラメーターについては、 feature transformer 層のバイアスは、 SGD のほうの山が -85 付近にあるのに対し、 LAMB のほうの山は -275 付近にあった。 feature transformer 層の重みは、 SGD のほうの山が -80 付近にあるのに対し、 LAMB のほうの山は -45 付近にあった。

隠れ層第 1 層から第 2 層へのバイアスは、 SGD のほうの山が 4000 付近にあるのに対し、 LAMB のほうの山は 1500 付近にあった。隠れ層第 1 層から第 2 層へのバイアスは、 SGD のほうの山が -50 付近にあるのに対し、 LAMB のほうの山は -130 付近にあった。

隠れ層第 2 層から第 3 層へのバイアスは、 SGD のほうの山が -15000 付近にあるのに対し、 LAMB のほうの山は -25000 付近にあった。隠れ層第 2 層から第 3 層への重みは、 SGD のほうの山が -100 付近にあるのに対し、 LAMB の方の山は -140 付近にあった。

隠れ層第 3 層から出力層へのバイアスは、 SGD のほうの山が 1050 付近にあるのに対し、 LAMB のほうの山は 1420 付近にあった。隠れ層第 3 層から出力層への重みは、 SGD のほうの山が -150 付近にあるのに対し、 LAMB の方の山は -80 付近にあった。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R117.2 低く、有意な差があった。また、 SGD と比べて R45.1 低く、有意な差があった。さらに、 tanuki-.nnue-pytorch-2023-12-18 と比べて R73.3 低く、有意な差があった。

考察

学習ロスと検証ロスが、はじめに急激に下がったのは、 LAMB の Adam 部分のモーメンタム相当の項・RMSProps 相当の項・Gradient Centralization のいずれかが効いているためだと思う。また、最終的なロスが SGD より大きかったのは、早い段階で局所最適解に陥ってしまったためだと思う。

ネットワークパラメーターの傾向が SGD と異なっていたのは、 Optimizer の違いによるもので、早い段階で局所最適解に落ちいてしまったためだと思う。

レーティングが SGD と比べて有意に低かったのも、早い段階で局所最適解に陥ってしまったためだと思う。

まとめ

nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させた。 Optimizer に LAMB を使用した。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R117.2 低く、有意な差があった。また、 SGD と比べて R45.1 低く、有意な差があった。さらに、 tanuki-.nnue-pytorch-2023-12-18 と比べて R73.3 低く、有意な差があった。レーティングが SGD と比べて有意に低かったのは、早い段階で局所最適解に陥ってしまったためだと思う。

次回は、 LAMB のどの要素が悪影響を与えているか調べるため、 SGD に Gradient Centralization を加えたものを使って学習させ、レーティングを測定したい。

tanuki- 2023-12-23 nnue-pytorch halfkp_1024x2-8-32 学習率調整

tanuki- 2023-12-23 nnue-pytorch halfkp_1024x2-8-32 学習率調整

実験内容

  • nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させる。
  • 学習率を 2.0 に設定し、学習させる。

棋譜生成

生成ルーチン tanuki-棋譜生成ルーチン
評価関数 水匠5
1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
開始局面 foodgate の 2020 年~ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数 10 億局面 × 8 セット
生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

シャッフル条件

生成ルーチン tanuki-シャッフルルーチン
qsearch() あり
置換表 無効

機械学習

機械学習ルーチン nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2023-10-29.halfkp_1024x2-8-32
学習モデル halfkp_1024x2-8-32
学習手法 SGD ミニバッチ法
初期学習率 (lr) 2.0
最適化手法 なし
学習率調整手法 Warmup + Newbob 風
batch-size 16384
threads 8
num-workers 8
accelerator gpu
devices 1
features HalfKP
max-epoch 1000000
score-scaling 361
lambda 0.5
勝敗項の教師信号 0.999
num-batches-warmup 10000
newbob-decay 0.5
epoch-size 1000000
num-epochs-to-adjust-lr 500
学習を打ち切る下限学習率 1e-5
1 epoch 毎のネットワークパラメーターのクリップ あり
ネットワークパラメーターの量子化 量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法 pytorch のデフォルトの初期化手法で初期化する。

レーティング測定

対局相手 tanuki-wcsc32 (マメット・ブンブク)https://docs.google.com/document/d/1W3Xzb27Cmkbwqz50U17O8H1brNXQ1ksABhNOsZOzspw/edit?usp=sharing tanuki-.nnue-pytorch-2023-12-13 https://docs.google.com/document/d/1_dMTIinvvF-zMX0_kNP1Ow1sKaFMqiQ93tyySycvSXM/edit?usp=sharing tanuki-.nnue-pytorch-2023-12-18
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 384
開始局面 dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

検証ロス

初期学習率=2.0 … 0.2559175675915134

初期学習率=1.0 … 0.2558451730358986

ネットワークパラメーターの分布

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-21 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\tanuki-wcsc32-2022-05-06\eval 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2427(53.0%) 後手勝ち2148(47.0%) 引き分け425

engine1

勝ち1828(40.0% R-64.6 +-9.8) 先手勝ち979(21.4%) 後手勝ち849(18.6%)

宣言勝ち68 先手宣言勝ち32 後手宣言勝ち36 先手引き分け224 後手引き分け201

engine2

勝ち2747(60.0%) 先手勝ち1448(31.7%) 後手勝ち1299(28.4%)

宣言勝ち6 先手宣言勝ち3 後手宣言勝ち3 先手引き分け201 後手引き分け224

1828,425,2747

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-21 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-13 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2466(51.9%) 後手勝ち2288(48.1%) 引き分け246

engine1

勝ち2549(53.6% R23.9 +-9.7) 先手勝ち1321(27.8%) 後手勝ち1228(25.8%)

宣言勝ち34 先手宣言勝ち14 後手宣言勝ち20 先手引き分け121 後手引き分け125

engine2

勝ち2205(46.4%) 先手勝ち1145(24.1%) 後手勝ち1060(22.3%)

宣言勝ち35 先手宣言勝ち19 後手宣言勝ち16 先手引き分け125 後手引き分け121

2549,246,2205

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-21 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-18 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2447(52.9%) 後手勝ち2180(47.1%) 引き分け373

engine1

勝ち2238(48.4% R-10.5 +-9.6) 先手勝ち1190(25.7%) 後手勝ち1048(22.6%)

宣言勝ち44 先手宣言勝ち25 後手宣言勝ち19 先手引き分け178 後手引き分け195

engine2

勝ち2389(51.6%) 先手勝ち1257(27.2%) 後手勝ち1132(24.5%)

宣言勝ち59 先手宣言勝ち35 後手宣言勝ち24 先手引き分け195 後手引き分け178

2238,373,2389

学習ロスと検証ロスは、はじめに急激に下がり、収束した。

学習ロスと検証ロスの乖離は、大きくはなかった。

学習ロスと検証ロスは、 lr=1.0 と比べてやや大きかった。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R64.6 低く、有意な差があった。また、 lr=1.0 と比べて R23.9 高く、有意な差があった。一方、 tanuki-.nnue-pytorch-2023-12-18 と比べて R10.5 低く、有意な差があった。

考察

学習ロスと検証ロスの乖離が大きくなかったことから、過学習はあまり起こっていないと思う。

学習ロスと検証ロスが lr=1.0 と比べてやや大きかったのは、学習率が大きかったことにより、やや過学習気味だったためだと思う。

レーティングが lr=1.0 と比べて有意に高かったのは、やや過学習気味だったことが原因の可能性がある。また、 tanuki-.nnue-pytorch-2023-12-18 と比べて有意に低かったのは、汎化性能が低いことが原因の可能性がある。

まとめ

nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させた。学習率を 2.0 に設定し、学習させた。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R64.6 低く、有意な差があった。また、 lr=1.0 と比べて R23.9 高く、有意な差があった。一方、 tanuki-.nnue-pytorch-2023-12-18 と比べて R10.5 低く、有意な差があった。 レーティングが lr=1.0 と比べて有意に高かったのは、やや過学習気味だったことが原因の可能性がある。また、 tanuki-.nnue-pytorch-2023-12-18 と比べて有意に低かったのは、汎化性能が低いことが原因の可能性がある。

次回は、 Optimizer に LAMB を使用し、学習させたい。

tanuki- 2023-12-20 nnue-pytorch halfkp_1024x2-8-32 バッチサイズ調整

tanuki- 2023-12-20 nnue-pytorch halfkp_1024x2-8-32 バッチサイズ調整

実験内容

  • nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させる。
  • バッチサイズを 8192 に設定し、学習させる。

棋譜生成

生成ルーチン tanuki-棋譜生成ルーチン
評価関数 水匠5
1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
開始局面 foodgate の 2020 年~ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数 10 億局面 × 8 セット
生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

シャッフル条件

生成ルーチン tanuki-シャッフルルーチン
qsearch() あり
置換表 無効

機械学習

機械学習ルーチン nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2023-10-29.halfkp_1024x2-8-32
学習モデル halfkp_1024x2-8-32
学習手法 SGD ミニバッチ法
初期学習率 (lr) 1.0
最適化手法 なし
学習率調整手法 Warmup + Newbob 風
batch-size 8192
threads 8
num-workers 8
accelerator gpu
devices 1
features HalfKP
max-epoch 1000000
score-scaling 361
lambda 0.5
勝敗項の教師信号 0.999
num-batches-warmup 10000
newbob-decay 0.5
epoch-size 1000000
num-epochs-to-adjust-lr 500
学習を打ち切る下限学習率 1e-5
1 epoch 毎のネットワークパラメーターのクリップ あり
ネットワークパラメーターの量子化 量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法 pytorch のデフォルトの初期化手法で初期化する。

レーティング測定

対局相手 tanuki-wcsc32 (マメット・ブンブク)https://docs.google.com/document/d/1W3Xzb27Cmkbwqz50U17O8H1brNXQ1ksABhNOsZOzspw/edit?usp=sharing tanuki-.nnue-pytorch-2023-12-13
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 384
開始局面 dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

検証ロス

batch-size=8192 … 0.2555685317807082

batch-size=16384 … 0.2558451730358986

学習時間

batch-size=8192 … 1 日 23 時間

batch-size=16384 … 1 日 11 時間

ネットワークパラメーターの分布

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-18 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-13 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2490(52.6%) 後手勝ち2244(47.4%) 引き分け266

engine1

勝ち2456(51.9% R12.4 +-9.6) 先手勝ち1284(27.1%) 後手勝ち1172(24.8%)

宣言勝ち47 先手宣言勝ち21 後手宣言勝ち26 先手引き分け143 後手引き分け123

engine2

勝ち2278(48.1%) 先手勝ち1206(25.5%) 後手勝ち1072(22.6%)

宣言勝ち25 先手宣言勝ち8 後手宣言勝ち17 先手引き分け123 後手引き分け143

2456,266,2278

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-18 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\tanuki-wcsc32-2022-05-06\eval 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2434(52.6%) 後手勝ち2193(47.4%) 引き分け373

engine1

勝ち1975(42.7% R-47.3 +-9.7) 先手勝ち1048(22.6%) 後手勝ち927(20.0%)

宣言勝ち94 先手宣言勝ち51 後手宣言勝ち43 先手引き分け188 後手引き分け185

engine2

勝ち2652(57.3%) 先手勝ち1386(30.0%) 後手勝ち1266(27.4%)

宣言勝ち6 先手宣言勝ち3 後手宣言勝ち3 先手引き分け185 後手引き分け188

1975,373,2652

学習ロスと検証ロスは、はじめに急激に下がり、収束した。

学習ロスと検証ロスの乖離は、大きくはなかった。

学習ロスと検証ロスは、 batch-size=16384 と比べてやや小さかった。

学習率は、 batch-size=16384 と比べて、下がるのが 2 倍程度遅かった。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R47.3 低く、有意な差があった。また、 batch-size=16384 と比べて R 12.4 高く、有意な差があった。

学習時間は、 batch-size=16384 と比べて、 30% 程度遅かった。

考察

学習ロスと検証ロスの乖離が大きくなかったことから、過学習はあまり起こっていないと思う。

学習ロスと検証ロスが batch-size=16384 と比べてやや小さかったのは、バッチサイズを下げたことにより、より学習が進んだためだと思う。

学習率が batch-size=16384 と比べて、下がるのが 2 倍程度遅かったのは、バッチサイズを半分にしたため、同じ局面数学習するために必要なステップ数が 2 倍に増えたためだと思う。

レーティングが batch-size=16384 と比べて有意に高かったのも、バッチサイズを下げたことにより、より学習が進んだためだと思う。

学習時間が batch-size=16384 と比べて 30% 程度遅かったのは、バッチサイズを下げたことにより、学習の処理のオーバーヘッドが増えたためだと思う。バッチサイズをさらに下げることにより、レーティングをさらに向上させることができる可能性はある。しかし、学習時間を考えると、これ以上バッチサイズを下げるのは難しい。バッチサイズは下げず、学習率を上げるか、 Adam 等の適応的な最適化手法を使う必要があると思う。

まとめ

nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させた。バッチサイズを 8192 に設定し、学習させた。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R47.3 低く、有意な差があった。また、 batch-size=16384 と比べて R 12.4 高く、有意な差があった。 レーティングが batch-size=16384 と比べて有意に高かったのは、バッチサイズを下げたことにより、より学習が進んだためだと思う。

次回は、学習率を 2.0 に設定して学習させ、レーティングを測定したい。

tanuki- 2023-12-17 nnue-pytorch halfkp_1024x2-8-32 ネットワークパラメーターのバックアップとリストア

tanuki- 2023-12-17 nnue-pytorch halfkp_1024x2-8-32 ネットワークパラメーターのバックアップとリストア

実験内容

  • nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させる。
  • ある学習率で収束したかどうかの判定の際、収束していない場合はネットワークパラメーターをバックアップし、収束した場合にリストするようにする。

棋譜生成

生成ルーチン tanuki-棋譜生成ルーチン
評価関数 水匠5
1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
開始局面 foodgate の 2020 年~ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数 10 億局面 × 8 セット
生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

シャッフル条件

生成ルーチン tanuki-シャッフルルーチン
qsearch() あり
置換表 無効

機械学習

機械学習ルーチン nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2023-10-29.halfkp_1024x2-8-32
学習モデル halfkp_1024x2-8-32
学習手法 SGD ミニバッチ法
初期学習率 (lr) 1.0
最適化手法 なし
学習率調整手法 Warmup + Newbob 風
batch-size 16384
threads 8
num-workers 8
accelerator gpu
devices 1
features HalfKP
max-epoch 1000000
score-scaling 361
lambda 0.5
勝敗項の教師信号 0.999
num-batches-warmup 10000
newbob-decay 0.5
epoch-size 1000000
num-epochs-to-adjust-lr 500
学習を打ち切る下限学習率 1e-5
1 epoch 毎のネットワークパラメーターのクリップ あり
ネットワークパラメーターの量子化 量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法 pytorch のデフォルトの初期化手法で初期化する。

レーティング測定

対局相手 tanuki-wcsc32 (マメット・ブンブク)https://docs.google.com/document/d/1W3Xzb27Cmkbwqz50U17O8H1brNXQ1ksABhNOsZOzspw/edit?usp=sharing tanuki-.nnue-pytorch-2023-12-14
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 384
開始局面 dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

ネットワークパラメーターの分布

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-15 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\tanuki-wcsc32-2022-05-06\eval 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2463(53.7%) 後手勝ち2125(46.3%) 引き分け412

engine1

勝ち1821(39.7% R-66.5 +-9.8) 先手勝ち997(21.7%) 後手勝ち824(18.0%)

宣言勝ち64 先手宣言勝ち32 後手宣言勝ち32 先手引き分け205 後手引き分け207

engine2

勝ち2767(60.3%) 先手勝ち1466(32.0%) 後手勝ち1301(28.4%)

宣言勝ち12 先手宣言勝ち3 後手宣言勝ち9 先手引き分け207 後手引き分け205

1821,412,2767

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-15 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-13 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2472(52.6%) 後手勝ち2228(47.4%) 引き分け300

engine1

勝ち2357(50.1% R1.0 +-9.6) 先手勝ち1237(26.3%) 後手勝ち1120(23.8%)

宣言勝ち10 先手宣言勝ち5 後手宣言勝ち5 先手引き分け156 後手引き分け144

engine2

勝ち2343(49.9%) 先手勝ち1235(26.3%) 後手勝ち1108(23.6%)

宣言勝ち54 先手宣言勝ち27 後手宣言勝ち27 先手引き分け144 後手引き分け156

2357,300,2343

学習ロスと検証ロスは、はじめに急激に下がり、収束した。

学習ロスと検証ロスの乖離は、大きくはなかった。

学習ロスと検証ロスは、ネットワークパラメーターのバックアップとリストアを行わないものに対し、大きな差はなかった。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R66.5 低く、有意な差があった。また、 ネットワークパラメーターのバックアップとリストアを行わないものと比べて R1.0 高かったが、有意な差はなかった。

考察

学習ロスと検証ロスの乖離が大きくなかったことから、過学習はあまり起こっていないと思う。

学習ロスト検証ロスが、ネットワークパラメーターのバックアップとリストアを行わないものに対し、大きな差がなかったのは、収束判定時のネットワークパラメーターとバックアップしたネットワークパラメーターに、大きな差がなかったことが原因の可能性がある。

レーティングが、ネットワークパラメーターのバックアップとリストアを行わないものに対して有意な差がなかったのも、収束判定時のネットワークパラメーターとバックアップしたネットワークパラメーターに、大きな差がなかったことが原因の可能性がある。

まとめ

nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させた。ある学習率で収束したかどうかの判定の際、収束していない場合はネットワークパラメーターをバックアップし、収束した場合にリストするようにした。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R66.5 低く、有意な差があった。また、 ネットワークパラメーターのバックアップとリストアを行わないものと比べて R1.0 高かったが、有意な差はなかった。有意な差がなかったのは、収束判定時のネットワークパラメーターとバックアップしたネットワークパラメーターに、大きな差がなかったことが原因の可能性がある。

次回は、バッチサイズを 16384 から 8192 に下げて学習させ、レーティングを測定したい。

tanuki- 2023-12-14 nnue-pytorch halfkp_1024x2-8-32 epoch-size 調整 (2)

tanuki- 2023-12-14 nnue-pytorch halfkp_1024x2-8-32 epoch-size 調整 (2)

実験内容

  • nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させる。
  • epoch-size を 100 万、 num-epochs-to-adjust-lr を 500 に設定し、学習させる。

棋譜生成

生成ルーチン tanuki-棋譜生成ルーチン
評価関数 水匠5
1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
開始局面 foodgate の 2020 年~ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数 10 億局面 × 8 セット
生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

シャッフル条件

生成ルーチン tanuki-シャッフルルーチン
qsearch() あり
置換表 無効

機械学習

機械学習ルーチン nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2023-10-29.halfkp_1024x2-8-32
学習モデル halfkp_1024x2-8-32
学習手法 SGD ミニバッチ法
初期学習率 (lr) 1.0
最適化手法 なし
学習率調整手法 Warmup + Newbob 風
batch-size 16384
threads 8
num-workers 8
accelerator gpu
devices 1
features HalfKP
max-epoch 1000000
score-scaling 361
lambda 0.5
勝敗項の教師信号 0.999
num-batches-warmup 10000
newbob-decay 0.5
epoch-size 1000000
num-epochs-to-adjust-lr 500
学習を打ち切る下限学習率 1e-5
1 epoch 毎のネットワークパラメーターのクリップ あり
ネットワークパラメーターの量子化 量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法 pytorch のデフォルトの初期化手法で初期化する。

レーティング測定

対局相手 tanuki-wcsc32 (マメット・ブンブク)https://docs.google.com/document/d/1GyWhsNSigbgY1jp55UH3m1OGvSguTYr6ino4UQZNJU0/edit?usp=sharing tanuki-.nnue-pytorch-2023-12-04
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 384
開始局面 dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

ネットワークパラメーターの分布

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-13 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\tanuki-wcsc32-2022-05-06\eval 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2482(54.1%) 後手勝ち2103(45.9%) 引き分け415

engine1

勝ち1908(41.6% R-53.9 +-9.7) 先手勝ち1043(22.7%) 後手勝ち865(18.9%)

宣言勝ち87 先手宣言勝ち46 後手宣言勝ち41 先手引き分け218 後手引き分け197

engine2

勝ち2677(58.4%) 先手勝ち1439(31.4%) 後手勝ち1238(27.0%)

宣言勝ち11 先手宣言勝ち8 後手宣言勝ち3 先手引き分け197 後手引き分け218

1908,415,2677

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-13 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-04 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2555(55.0%) 後手勝ち2090(45.0%) 引き分け355

engine1

勝ち2393(51.5% R9.8 +-9.6) 先手勝ち1315(28.3%) 後手勝ち1078(23.2%)

宣言勝ち23 先手宣言勝ち10 後手宣言勝ち13 先手引き分け171 後手引き分け184

engine2

勝ち2252(48.5%) 先手勝ち1240(26.7%) 後手勝ち1012(21.8%)

宣言勝ち65 先手宣言勝ち28 後手宣言勝ち37 先手引き分け184 後手引き分け171

2393,355,2252

学習ロスと検証ロスは、はじめに急激に下がり、収束した。

学習ロスと検証ロスの乖離は、大きくはなかった。

学習ロスと検証ロスは、 epoch-size が 1 千万のものと比べて、大きな差はなかった。

学習率は、 epoch-size が 1 千万のものと比べて、下がるのが遅かった

ネットワークパラメーターは、 feature transformer 層は、バイアスは -85 前後が多かった。重みは -75 前後が多かった。隠れ層第 2 層は、バイアスは 0~6000 の間で分散していた。重みは -50 付近が多かった。隠れ層第 3 層は、バイアスは -15000 付近が多かった。重みは -100 付近が多かった。出力層は、バイアスは 1000 付近であり、重みは -150 前後が多かった。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R53.9 低く、有意な差があった。また、 1 千万のもとと比べて R9.8 高く、有意な差があった。

考察

学習ロスと検証ロスの乖離が大きくなかったことから、過学習はあまり起こっていないと思う。

学習ロスと検証ロスが、 epoch-size が 1 千万のものと比べて大きな差がなかったのは、学習データや学習率といったパラメーターが、 epoch-size 以外同じだったためだと思う。

学習率が下がるのが遅かったのは、 epoch-size が小さいためだと思う。 epoch-size が小さく、 num-epochs-to-adjust-lr が大きい場合、収束判定を行う際に使用する、過去のロスの平均値のブレが小さくなる。このため、上振れが少なく、収束したと誤って判定されることが少なくなり、学習率が下がるのが遅くなったのだと思う。

ネットワークパラメータは、 feature transformer 層のバイアスと重みに負の数が多い。このことから、出力に負の数が多いことが考えられる。仮に出力に負の数が多い場合、 ClippedReLU によりクリップされ、 0 になるはずである。にもかかわらず、ロスが下がっていることを考えると、評価値として有効な値が出力されていると考えられる。現時点で原因は不明である。

レーティングが epoch-size が 1 千万のものと比べて高い理由は、学習率が大きいタイミングで十分な学習が行得たためだと思う。

まとめ

nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させた。その際、 epoch-size を 100 万、 num-epochs-to-adjust-lr を 500 に設定し、学習させた。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R53.9 低く、有意な差があった。また、 1 千万のもとと比べて R9.8 高く、有意な差があった。レーティングが epoch-size が 1 千万のものと比べて高い理由は、学習率が大きいタイミングで十分な学習が行得たためだと思う。

次回は、ロスが下がらず、学習率を下げる際、ネットワークパラメータを巻き戻して学習させ、レーティングを測定したい。

tanuki- 2023-12-11 nnue-pytorch halfkp_1024x2-8-32 epoch-size 調整

tanuki- 2023-12-11 nnue-pytorch halfkp_1024x2-8-32 epoch-size 調整

実験内容

  • nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させる。
  • epoch-size を 1 億、 num-epochs-to-adjust-lr を 5 に設定し、学習させる。

棋譜生成

生成ルーチン tanuki-棋譜生成ルーチン
評価関数 水匠5
1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
開始局面 foodgate の 2020 年~ 2021 年の棋譜を使用した。レーティング 3900 以上同士の対局のみ使用した。 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした。ランダムムーブはしなかった。
生成局面数 10 億局面 × 8 セット
生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

シャッフル条件

生成ルーチン tanuki-シャッフルルーチン
qsearch() あり
置換表 無効

機械学習

機械学習ルーチン nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2023-10-29.halfkp_1024x2-8-32
学習モデル halfkp_1024x2-8-32
学習手法 SGD ミニバッチ法
初期学習率 (lr) 1.0
最適化手法 なし
学習率調整手法 Warmup + Newbob 風
batch-size 16384
threads 8
num-workers 8
accelerator gpu
devices 1
features HalfKP
max-epoch 10000
score-scaling 361
lambda 0.5
勝敗項の教師信号 0.999
num-batches-warmup 10000
newbob-decay 0.5
epoch-size 100000000
num-epochs-to-adjust-lr 5
学習を打ち切る下限学習率 1e-5
1 epoch 毎のネットワークパラメーターのクリップ あり
ネットワークパラメーターの量子化 量子化なしで学習し、収束後に量子化する。
ネットワークパラメーターの初期化方法 pytorch のデフォルトの初期化手法で初期化する。

レーティング測定

対局相手 tanuki-wcsc32 (マメット・ブンブク)https://docs.google.com/document/d/1GyWhsNSigbgY1jp55UH3m1OGvSguTYr6ino4UQZNJU0/edit?usp=sharing tanuki-.nnue-pytorch-2023-12-04
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 384
開始局面 dlshogi 互角局面集の角換わりの割合が 10% になるよう間引いたもの

実験結果

機械学習

ネットワークパラメーターの分布

Converting D:\hnoda\shogi\nnue-python.train.2023-10-18\lightning_logs\version_42\checkpoints\last.ckpt to D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-09\nn.nnue

ft bias:

-70 |

-55 |

-40 | #

-25 | ##################

-10 | ##################################################

5 | #

ft weight:

-66 |

-41 |

-16 | ##################################################

9 |

34 |

59 |

fc bias:

-186 | ############

646 | ############

1478 |

2310 | ############

3142 | ############

3974 | ##################################################

layer has 0/16384 clipped weights. Exceeding by 0.0 the maximum 1.984375.

fc weight:

-44 |

-29.5 | ##

-15 | ############################################

-0.5 | ##################################################

14 | ##

28.5 |

fc bias:

-1.358e+04| ###

-1.056e+04| #######

-7546 | ##############

-4528 | ##################################################

-1511 | #########################

1506 | ##############

layer has 0/256 clipped weights. Exceeding by 0.0 the maximum 1.984375.

fc weight:

-112 | #

-72.17 | #############

-32.33 | ##################################################

7.5 | ###########################

47.33 | #######

87.17 | ##

fc bias:

-371.5 |

-371.3 |

-371.2 |

-371 | ##################################################

-370.8 |

-370.7 |

layer has 0/32 clipped weights. Exceeding by 0.0 the maximum 1.6801041666666667.

fc weight:

-127 | ############

-84.67 | ###############################

-42.33 | ###########################################

0 | ##################################################

42.33 | #####################################

84.67 | #########################

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-09 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-04 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2534(54.4%) 後手勝ち2127(45.6%) 引き分け339

engine1

勝ち2130(45.7% R-27.9 +-9.7) 先手勝ち1152(24.7%) 後手勝ち978(21.0%)

宣言勝ち43 先手宣言勝ち19 後手宣言勝ち24 先手引き分け199 後手引き分け140

engine2

勝ち2531(54.3%) 先手勝ち1382(29.7%) 後手勝ち1149(24.7%)

宣言勝ち76 先手宣言勝ち37 後手宣言勝ち39 先手引き分け140 後手引き分け199

2130,339,2531

対局数=5000 同時対局数=64 ハッシュサイズ=384 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\TanukiColiseum\floodgate32-80.adjust_bishop_exchange.sfen NUMAノード数=1 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2023-12-09 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16 Depth1=0

思考エンジン2 name=YaneuraOu NNUE 7.63 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2023-04-16\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\tanuki-wcsc32-2022-05-06\eval 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=true 定跡の手数を無視する=true SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16 Depth2=0

対局数5000 先手勝ち2445(52.4%) 後手勝ち2221(47.6%) 引き分け334

engine1

勝ち1599(34.3% R-105.1 +-10.1) 先手勝ち856(18.3%) 後手勝ち743(15.9%)

宣言勝ち80 先手宣言勝ち41 後手宣言勝ち39 先手引き分け166 後手引き分け168

engine2

勝ち3067(65.7%) 先手勝ち1589(34.1%) 後手勝ち1478(31.7%)

宣言勝ち7 先手宣言勝ち2 後手宣言勝ち5 先手引き分け168 後手引き分け166

1599,334,3067

学習ロスと検証ロスは、はじめに急激に下がり、収束した。

学習ロスと検証ロスの乖離は、大きくはなかった。

学習ロスと検証ロスは、 epoch-size が 1 千万のものと比べて、大きな差はなかった。

学習率は、 epoch-size が 1 千万のものと比べて、早めに下がった。

ネットワークパラメーターは、クリップしているものはなかった。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R105.1 低く、有意な差があった。また、 1 千万のもとと比べて R27.9 低く、有意な差があった。

考察

学習ロスと検証ロスの乖離が大きくなかったことから、過学習はあまり起こっていないと思う。

学習ロスと検証ロスが、 epoch-size が 1 千万のものと比べて大きな差がなかったのは、学習データや学習率といったパラメーターが、 epoch-size 以外同じだったためだと思う。

学習率が下がるのが早かったのは、 epoch-size が大きいためだと思う。 epoch-size が大きく、 num-epochs-to-adjust-lr が小さい場合、収束判定を行う際に使用する、過去のロスの平均値のブレが大きくなる。このため、上振れを引いたときに、収束したと判定され、学習率が下がってしまったのだと思う。このブレを小さくするには、 epoch-size を小さくし、 num-epochs-to-adjust-lr を大きくすればよい。

ネットワークパラメーターがクリップしていない理由は、 1 epoch 毎にネットワークパラメーターをクリップしたためだと思う。

レーティングが epoch-size が 1 千万のものと比べて低い理由は、学習率が大きいタイミングで十分な学習が行えなかったためだと思う。

まとめ

nnue-pytorch を用い、 halfkp_1024x2-8-32 ネットワークを学習させた。その際、epoch-size を 1 億、 num-epochs-to-adjust-lr を 5 に設定し、学習した。

レーティングは、 tanuki-wcsc32-2022-05-06 に比べて R105.1 低く、有意な差があった。また、 1 千万のもとと比べて R27.9 低く、有意な差があった。レーティングが epoch-size が 1 千万のものと比べて低い理由は、学習率が大きいタイミングで十分な学習が行えなかったためだと思う。

次回は、 epoch-size を 1,000,000、 num-epochs-to-adjust-lr を 500 に設定し、学習させ、レーティングを測定したい。