nodchipのコンピューター将棋ブログ

コンピューター将棋ソフト「tanuki-」シリーズの実験結果を掲載しています。

tanuki- 2022-07-18 tanuki- 学習部 リグレッション調査 (2)

tanuki- 2022-07-18 tanuki- 学習部 リグレッション調査 (2)

実験内容

  • 前回の実験で、シャッフル時の qsearch をしていなかったため、 qsearch を行ったうえで、再度学習器にリグレッションがないかどうか調べる。

棋譜生成

生成ルーチン tanuki-棋譜生成ルーチン
評価関数 水匠 5 FV_SCALE=16
1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
開始局面 foodgate の 2020 年~ 2021 年の棋譜のうち、レーティング 3900 以上同士の対局の 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした
開始局面後のランダムムーブ なし
生成局面数 10 億局面 × 8 セット
生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

棋譜シャッフル

シャッフルルーチン tanuki-棋譜シャッフルルーチン
qsearch あり

機械学習

機械学習ルーチン やねうら王機械学習ルーチン
学習モデル halfkp_256x2-32-32
学習手法 SGD ミニバッチ法
USI_Hash 1024
Threads 127
loop 100
batchsize 1000000
lambda 0.5
eta eta1=1e-8 eta2=1.0 eta1_epoch=100
newbob_decay 0.5
nn_batch_size 1000
eval_save_interval 100000000
loss_output_interval 1000000
mirror_percentage 50
eval_limit 32000
weight_by_progress 無効
次元下げ K・P・相対KP
学習データ内で重複した局面の除外 しない
初期ネットワークパラメーター tanuki-wcsc29
勝敗項の教師信号 1.0・0.8
やねうら王バージョン V5.32 ~ V5.33 相当

レーティング測定

対局相手 https://docs.google.com/document/d/1Lup-hHFH2_QWqEfe56obJ6OEwj15P-C0VO6pWV9-vgo/edit?usp=sharing やねうら王 V5.33 で作成した評価関数
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 768
開始局面 たややん互換局面集

実験結果

機械学習

suisho5.halfkp_256x2-32-32.preqsearch.evaluate … https://docs.google.com/document/d/17vqBF0o90k853sgU7TTMOOvkUr52x934hc9HAm_3tYs/edit?usp=sharing

suisho5.halfkp_256x2-32-32.retry.winning_percentage_for_win=0.80 .. 本実験

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29-2019-05-06.suisho5.winning_percentage_for_win=0.80\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

思考エンジン2 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\regression.v5.33\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=20

対局数5000 先手勝ち2178(53.7%) 後手勝ち1879(46.3%) 引き分け943

engine1

勝ち1888(46.5% R-19.5 +-9.6) 先手勝ち1010(24.9%) 後手勝ち878(21.6%)

宣言勝ち124 先手宣言勝ち59 後手宣言勝ち65 先手引き分け490 後手引き分け453

engine2

勝ち2169(53.5%) 先手勝ち1168(28.8%) 後手勝ち1001(24.7%)

宣言勝ち56 先手宣言勝ち27 後手宣言勝ち29 先手引き分け453 後手引き分け490

1888,943,2169

学習ロスと検証ロスは、ベースラインと比べてほとんど変わらなかった。

平手局面の評価値は、ベースラインと比べてほとんど変わらなかった。

評価値の絶対値は、ベースラインと比べてほとんど変わらなかった。

レーティングは、対局相手に対して、 R-19.5 程度低かった。

考察

学習ロス、検証ロス、評価値の絶対値より、前回の実験で学習がうまく行かなかったのは、シャッフル時の qsearch をし忘れていたのが原因だと分かった。

平手局面の評価値については、機械学習で大きな問題が起こっていないことを表している。

レーティングについては、やねうら王 V5.33 で学習させたほうが R20 程度強いことが過去の実験で分かっており、その結果と矛盾はないと思われる。

まとめ

前回の実験で、シャッフル時の qsearch をしていなかったため、 qsearch を行ったうえで、再度学習器にリグレッションがないかどうか調べた。結果、シャッフル時に qsearch を行わなかったことが、リグレッションの原因だったことが判明した。今後は、設定ミスを防ぐため、シャッフル時に qsearch を行うことをデフォルトの設定に組み込んで、実験を進めていきたい。

tanuki- 2022-07-16 tanuki- 学習部 リグレッション調査

tanuki- 2022-07-16 tanuki- 学習部 リグレッション調査

実験内容

  • 前回の実験結果に不審な点があったため、 tanuki- 学習部にリグレッションがないか確認する。
  • 棋譜生成

    生成ルーチン tanuki-棋譜生成ルーチン
    評価関数 水匠 5 FV_SCALE=16
    1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
    開始局面 1. foodgate の 2020 年~ 2021 年の棋譜のうち、レーティング 3900 以上同士の対局の 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした 2. s-book_black
    開始局面後のランダムムーブ なし
    生成局面数 10 億局面 × 8 セット
    生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

    機械学習

    機械学習ルーチン やねうら王機械学習ルーチン
    学習モデル halfkp_256x2-32-32
    学習手法 SGD ミニバッチ法
    USI_Hash 1024
    Threads 127
    loop 100
    batchsize 1000000
    lambda 0.5
    eta eta1=1e-8 eta2=1.0 eta1_epoch=100
    newbob_decay 0.5
    nn_batch_size 1000
    eval_save_interval 100000000
    loss_output_interval 1000000
    mirror_percentage 50
    eval_limit 32000
    weight_by_progress 無効
    次元下げ K・P・相対KP
    学習データ内で重複した局面の除外 しない
    初期ネットワークパラメーター tanuki-wcsc29
    勝敗項の教師信号 1.0・0.8
    やねうら王バージョン V5.32 ~ V5.33 相当

    レーティング測定

    対局相手 https://docs.google.com/document/d/1Lup-hHFH2_QWqEfe56obJ6OEwj15P-C0VO6pWV9-vgo/edit?usp=sharing やねうら王 V5.33 で作成した評価関数
    思考時間 持ち時間 300 秒 + 1 手 2 秒加算
    対局数 5000
    同時対局数 64
    ハッシュサイズ 768
    開始局面 たややん互換局面集

    実験結果

    機械学習

    suisho5.halfkp_256x2-32-32.preqsearch.evaluate

    suisho5.halfkp_256x2-32-32.retry.winning_percentage_for_win=0.80

    レーティング測定

    対局数=5000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000

    思考エンジン1 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-wcsc29-2019-05-06.suisho5.winning_percentage_for_win=0.80\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

    思考エンジン2 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\regression.v5.33\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=20

    対局数5000 先手勝ち2343(54.0%) 後手勝ち1999(46.0%) 引き分け658

    engine1

    勝ち1295(29.8% R-127.1 +-10.3) 先手勝ち731(16.8%) 後手勝ち564(13.0%)

    宣言勝ち54 先手宣言勝ち24 後手宣言勝ち30 先手引き分け335 後手引き分け323

    engine2

    勝ち3047(70.2%) 先手勝ち1612(37.1%) 後手勝ち1435(33.0%)

    宣言勝ち41 先手宣言勝ち23 後手宣言勝ち18 先手引き分け323 後手引き分け335

    1295,658,3047

    学習ロスと検証ロスは、前回と比べ、明らかに大きかった。

    平手局面の評価値は、前回と比べ、ほとんど変わらなかった。

    評価値の絶対値は、前回と比べ、小さかった。

    レーティングは、ベースラインとした評価関数と比べて、 R-127.1 程度低かった。

    考察

    学習ロスと検証ロスについては、シャッフルルーチンまたは学習ルーチンのいずれかにリグレッションがあったことを示していると思われる。

    平手局面の評価値については、今回のリグレッションが、平手局面の評価値に大きな影響を与えるものではないということを表している。

    評価値の絶対値については、今回のリグレッションにより下がっているのだと思われる。

    レーティングについては、リグレッションにより下がっているのだと思われる。

    まとめ

    前回の実験結果に不審な点があったため、 tanuki- 学習部にリグレッションがないか確認した。

    実験結果より、 tanuki- シャッフルルーチン、または学習ルーチンのいずれかに、リグレッションがあることが分かった。

    シャッフルルーチンにいくつか軽微な変更を加えたが、それらがリグレッションを引き起こしている可能性が高い。変更を revert し、再度追試を行いたい。

tanuki- 2022-07-13 nnue-pytorch 学習率調整 (2)

tanuki- 2022-07-13 nnue-pytorch 学習率調整 (2)

実験内容

  • nnue-pytorch を用いた学習で、学習率を 0.00025 に設定し、レーティングを測定する。

棋譜生成

生成ルーチン tanuki-棋譜生成ルーチン
評価関数 水匠5 FV_SCALE=16
1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
開始局面 foodgate の 2020 年~ 2021 年の棋譜のうち、レーティング 3900 以上同士の対局の 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした ランダムムーブなし
生成局面数 10 億局面 × 8 セット
生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

シャッフル条件

生成ルーチン tanuki-シャッフルルーチン
qsearch() あり
置換表 無効

機械学習

機械学習ルーチン nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2022-05-23
学習モデル halfkp_256x2-32-32
学習手法 SGD ミニバッチ法
初期学習率 (lr) 0.00025
最適化手法 Ranger
学習率調整手法 StepLR step=1 gamma=0.992
batch-size 16384
threads 2
num-workers 2
gpus 1
features HalfKP
max_epoch 50
scaling (kPonanzaConstant) 361
lambda 0.5
勝敗項の教師信号 1.0

レーティング測定

対局相手 tanuki- 2022-04-01 halfkp_256x2-32-32 再実験 https://docs.google.com/document/d/1U2dtYgksApn9GYIUJEUtceE0Yc-0dfmx6kA44FopDXc/edit
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 768
開始局面 たややん互換局面集

実験結果

機械学習

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2022-07-12 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

思考エンジン2 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.halfkp_256x2-32-32.80G\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数5000 先手勝ち2328(52.6%) 後手勝ち2101(47.4%) 引き分け571

engine1

勝ち2043(46.1% R-23.9 +-9.7) 先手勝ち1071(24.2%) 後手勝ち972(21.9%)

宣言勝ち28 先手宣言勝ち19 後手宣言勝ち9 先手引き分け302 後手引き分け269

engine2

勝ち2386(53.9%) 先手勝ち1257(28.4%) 後手勝ち1129(25.5%)

宣言勝ち44 先手宣言勝ち26 後手宣言勝ち18 先手引き分け269 後手引き分け302

2043,571,2386

学習ロスと検証ロスは、 初期学習率が 0.000875 の場合に比べて下がった。

レーティングは、初期学習率が 0.000875 の場合と比較して、ほとんど差がなかった。

考察

学習ロスと検証ロスが下がっても、レーティングに大きな影響がない場合がある事が分かった。

まとめ

nnue-pytorch を用いた学習で、学習率を 0.00025 に設定し、レーティングを測定した。結果、学習ロスト検証ロスは下がったが、レーティングは上がらなかった。

tanuki- 2022-07-12 教師局面生成時の開始局面 (s-book_black)

tanuki- 2022-07-12 教師局面生成時の開始局面 (s-book_black)

実験内容

  • 教師局面の生成時、開始局面として s-book_black に収録されている局面を使用し、学習した評価関数のレーティングを計測する。

棋譜生成

生成ルーチン tanuki-棋譜生成ルーチン
評価関数 水匠 5 FV_SCALE=16
1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
開始局面 1. foodgate の 2020 年~ 2021 年の棋譜のうち、レーティング 3900 以上同士の対局の 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした 2. s-book_black
開始局面後のランダムムーブ なし
生成局面数 1. 10 億局面 × 8 セット 2. 10 億局面 × 1 セット 1. と 2. を混ぜた
生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

機械学習

機械学習ルーチン やねうら王機械学習ルーチン
学習モデル halfkp_256x2-32-32
学習手法 SGD ミニバッチ法
USI_Hash 1024
Threads 127
loop 100
batchsize 1000000
lambda 0.5
eta eta1=1e-8 eta2=0.1 eta1_epoch=100
newbob_decay 0.5
nn_batch_size 1000
eval_save_interval 100000000
loss_output_interval 1000000
mirror_percentage 50
eval_limit 32000
weight_by_progress 無効
次元下げ K・P・相対KP
学習データ内で重複した局面の除外 しない
初期ネットワークパラメーター tanuki-wcsc29
勝敗項の教師信号 1.0
やねうら王バージョン V5.33 相当

レーティング測定

対局相手 https://docs.google.com/document/d/1Lup-hHFH2_QWqEfe56obJ6OEwj15P-C0VO6pWV9-vgo/edit?usp=sharing やねうら王 V5.33 で作成した評価関数
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 768
開始局面 たややん互換局面集

実験結果

機械学習

v5.33 … https://docs.google.com/document/d/1Lup-hHFH2_QWqEfe56obJ6OEwj15P-C0VO6pWV9-vgo/edit?usp=sharing

v5.33.add … 今回作成した評価関数を学習した際の記録

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\regression.v5.33.add.s-book_black\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=20

思考エンジン2 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\regression.v5.33\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=20

対局数5000 先手勝ち2328(53.5%) 後手勝ち2024(46.5%) 引き分け648

engine1

勝ち1395(32.1% R-112.3 +-10.1) 先手勝ち766(17.6%) 後手勝ち629(14.5%)

宣言勝ち84 先手宣言勝ち43 後手宣言勝ち41 先手引き分け338 後手引き分け310

engine2

勝ち2957(67.9%) 先手勝ち1562(35.9%) 後手勝ち1395(32.1%)

宣言勝ち85 先手宣言勝ち37 後手宣言勝ち48 先手引き分け310 後手引き分け338

1395,648,2957

学習ロスと検証ロスは、元の評価関数に比べて、大きかった。

平手局面の評価値は、元の評価関数に比べて、ほとんど変わらなかった。

評価値の絶対値は、元の評価関数と比べて、小さかった。

レーティングは、ベースラインとした評価関数と比べて、 R-112.3 程度低かった。

考察

学習ロスと検証ロスについては、ロスの定義が交差エントロピーであることを考えると、 s-book_black の各局面を開始局面にした教師局面を加えたことによって、評価値的に互角に近い局面が増えたのだと思われる。

平手局面の評価値については、学習に大きな問題が発生しなかったという事を表しているものと思われる。

評価値の絶対値については、教師局面に、評価値的に互角に近い局面が増えたのだと思われる。これは、学習ロスと検証ロスの考察結果と矛盾はない。

レーティングについては、いくつか原因が考えられる。一つは、 s-book_black に収録されている局面に、過学習してしまっている可能性である。これにより、たややん互換局面集を用いた対局で、レーティングが下がってしまった可能性がある。もう一つは、学習器の問題である。この実験の前後に、やねうら王学習器に対して、いくつかの変更を施した。これが意図せず revert されず、レーティングの低下を引き起こしている可能性がある。

まとめ

教師局面の生成時、開始局面として s-book_black に収録されている局面を使用し、学習した評価関数のレーティングを計測した。結果、ベースラインとした評価関数と比べて、 R-112.3 程度低かった。

やねうら王に加えた変更が、レーティングの低下を引き起こしていないかどうか、追試を行いたい。

tanuki- 2022-07-10 nnue-pytorch 学習率調整

tanuki- 2022-07-10 nnue-pytorch 学習率調整

実験内容

  • nnue-pytorch を用いた学習で、いくつかの学習率を試し、最もロスが下がる学習率を求める。

棋譜生成

生成ルーチン tanuki-棋譜生成ルーチン
評価関数 水匠5 FV_SCALE=16
1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
開始局面 foodgate の 2020 年~ 2021 年の棋譜のうち、レーティング 3900 以上同士の対局の 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした ランダムムーブなし
生成局面数 10 億局面 × 8 セット
生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

シャッフル条件

生成ルーチン tanuki-シャッフルルーチン
qsearch() あり
置換表 無効

機械学習

機械学習ルーチン nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2022-05-23
学習モデル halfkp_256x2-32-32
学習手法 SGD ミニバッチ法
最適化手法 Ranger
学習率調整手法 StepLR step=1 gamma=0.992
batch-size 16384
threads 2
num-workers 2
gpus 1
features HalfKP
max_epoch 50
scaling (kPonanzaConstant) 361
lambda 0.5
勝敗項の教師信号 1.0

実験結果

機械学習

学習ロスと検証ロスは、 0.00025 および 0.0005 のときに、最も下がった。学習率が高いと、学習の序盤は大きく学習が下がるが、その後ロスが下がりにくくなった。学習率を下げると、後半でロスが下がりやすくなる場合があるが、下げすぎると、ロスが下がりにくくなった。

考察

学習ロスと検証ロスについては、 nnue-pytorch デフォルトの 0.000875 は高すぎる可能性がある。

まとめ

nnue-pytorch を用いた学習で、 nnue-pytorch を用いた学習で、いくつかの学習率を試し、最もロスが下がる学習率を求めた。

結果、 0.00025 と 0.0005 の時に、学習ロスト検証ロスが、最も下がった。

次回は、学習率 0.00025 で学習を行い、レーティングを測定したい。

tanuki- 2022-07-08 nnue-pytorch NVLAMB

tanuki- 2022-07-08 nnue-pytorch NVLAMB

実験内容

  • nnue-pytorch を用いた学習で、 Optimizer を NVLAMB に変更して学習させた場合の、レーティングの変化を調べる。

棋譜生成

生成ルーチン tanuki-棋譜生成ルーチン
評価関数 水匠5 FV_SCALE=16
1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
開始局面 foodgate の 2020 年~ 2021 年の棋譜のうち、レーティング 3900 以上同士の対局の 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした ランダムムーブなし
生成局面数 10 億局面 × 8 セット
生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

シャッフル条件

生成ルーチン tanuki-シャッフルルーチン
qsearch() あり
置換表 無効

機械学習

機械学習ルーチン nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2022-05-23
学習モデル halfkp_256x2-32-32
学習手法 SGD ミニバッチ法
最適化手法 NVLAMB
学習率調整手法 StepLR step=1 gamma=0.992
batch-size 16384
threads 2
num-workers 2
gpus 1
features HalfKP
max_epoch 300
scaling (kPonanzaConstant) 361
lambda 0.5
勝敗項の教師信号 1.0

レーティング測定

対局相手 tanuki- 2022-04-01 halfkp_256x2-32-32 再実験 https://docs.google.com/document/d/1U2dtYgksApn9GYIUJEUtceE0Yc-0dfmx6kA44FopDXc/edit
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 768
開始局面 たややん互換局面集

実験結果

機械学習

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2022-07-06 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

思考エンジン2 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.halfkp_256x2-32-32.80G\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数5000 先手勝ち2357(52.1%) 後手勝ち2163(47.9%) 引き分け480

engine1

勝ち1973(43.7% R-40.1 +-9.7) 先手勝ち1033(22.9%) 後手勝ち940(20.8%)

宣言勝ち83 先手宣言勝ち46 後手宣言勝ち37 先手引き分け244 後手引き分け236

engine2

勝ち2547(56.3%) 先手勝ち1324(29.3%) 後手勝ち1223(27.1%)

宣言勝ち43 先手宣言勝ち24 後手宣言勝ち19 先手引き分け236 後手引き分け244

1973,480,2547

学習ロスと検証ロスは、 Ranger を使用した場合と比べ、学習し始めの頃は高かったが、最終的には低くなった。

レーティングは、比較対象の評価関数と比べて、 R-40.1 低かった。 これは Ranger と比べ、 R-17.1 程度低かった。

考察

学習ロスと検証ロスについては、 Ranger に比べて NVLAMB のほうが、今回の学習条件においては適していると考えられる。

レーティングについては、ロスが下がればレーティングが下がるというわけでは必ずしもないという事を表していると考えられる。

まとめ

nnue-pytorch を用いた学習で、 Optimizer を NVLAMB に変更して学習させた場合の、レーティングの変化を調べた。結果、 Ranger に比べてレーティングが伸びなかった。

今後、学習データの生成方法の見直し等を進めていきたいと思う。

tanuki- 2022-07-04 nnue-pytorch RAdam

tanuki- 2022-07-04 nnue-pytorch RAdam

実験内容

  • nnue-pytorch を用いた学習で、 Optimizer を RAdam に変更して学習させた場合の、レーティングの変化を調べる。

棋譜生成

生成ルーチン tanuki-棋譜生成ルーチン
評価関数 水匠5 FV_SCALE=16
1手あたりの思考 深さ最大 9 思考ノード数最大 50,000 ノード
開始局面 foodgate の 2020 年~ 2021 年の棋譜のうち、レーティング 3900 以上同士の対局の 32 手目までから 1 局面ランダムに選択し、その局面を開始局面とした ランダムムーブなし
生成局面数 10 億局面 × 8 セット
生成条件 対局は打ち切らず詰みの局面まで学習データに出力した

シャッフル条件

生成ルーチン tanuki-シャッフルルーチン
qsearch() あり
置換表 無効

機械学習

機械学習ルーチン nnue-pytorch + やねうら王 https://github.com/nodchip/nnue-pytorch/tree/shogi.2022-05-23
学習モデル halfkp_256x2-32-32
学習手法 SGD ミニバッチ法
最適化手法 RAdam
学習率調整手法 StepLR step=1 gamma=0.992
batch-size 16384
threads 2
num-workers 2
gpus 1
features HalfKP
max_epoch 300
scaling (kPonanzaConstant) 361
lambda 0.5
勝敗項の教師信号 1.0

レーティング測定

対局相手 tanuki- 2022-04-01 halfkp_256x2-32-32 再実験 https://docs.google.com/document/d/1U2dtYgksApn9GYIUJEUtceE0Yc-0dfmx6kA44FopDXc/edit
思考時間 持ち時間 300 秒 + 1 手 2 秒加算
対局数 5000
同時対局数 64
ハッシュサイズ 768
開始局面 たややん互換局面集

実験結果

機械学習

レーティング測定

対局数=5000 同時対局数=64 ハッシュサイズ=768 開始手数=24 最大手数=320 開始局面ファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\TanukiColiseum\taya36_2020-11-06.sfen NUMAノード数=2 表示更新間隔(ms)=3600000

思考エンジン1 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine1\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\tanuki-.nnue-pytorch-2022-07-02 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale1=16

思考エンジン2 name=YaneuraOu NNUE 7.10 64ZEN2 TOURNAMENT author=by yaneurao exeファイル=C:\Jenkins\workspace\TanukiColiseum.2022-05-02\engine2\source\YaneuraOu-by-gcc.exe 評価関数フォルダパス=D:\hnoda\shogi\eval\suisho5.halfkp_256x2-32-32.80G\final 定跡手数=256 定跡ファイル名=no_book 思考ノード数=0 思考ノード数に加える乱数(%)=0 思考ノード数の乱数を1手毎に変化させる=False 持ち時間(ms)=300000 秒読み時間(ms)=0 加算時間(ms)=2000 乱数付き思考時間(ms)=0 スレッド数=1 BookEvalDiff=30 定跡の採択率を考慮する=false 定跡の手数を無視する=false SlowMover=100 DrawValue=-2 BookEvalBlackLimit=0 BookEvalWhiteLimit=-140 FVScale2=16

対局数5000 先手勝ち2390(54.3%) 後手勝ち2009(45.7%) 引き分け601

engine1

勝ち1802(41.0% R-55.7 +-9.8) 先手勝ち995(22.6%) 後手勝ち807(18.3%)

宣言勝ち18 先手宣言勝ち9 後手宣言勝ち9 先手引き分け303 後手引き分け298

engine2

勝ち2597(59.0%) 先手勝ち1395(31.7%) 後手勝ち1202(27.3%)

宣言勝ち91 先手宣言勝ち48 後手宣言勝ち43 先手引き分け298 後手引き分け303

1802,601,2597

学習ロスと検証ロスは、 Ranger を使用した場合と比べて、大きかった。また、学習ロスと検証ロスの差が大きかった。

レーティングは、比較対象の評価関数と比べて、 R-55.7 低かった。 これは Ranger と比べ、 R-32.7程度低かった。

考察

学習ロスと検証ロスについては、今回の学習パラメーターでは、 Ranger に比べて学習がうまく行えていないという事を表していると思われる。学習率等の調整で改善する可能性はある。しかし、学習率等の調整を行うのであれば、 Ranger を使って行うのが妥当だと思われる。

また、学習ロスト検証ロスの差が大きい点については、学習データに過学習していることを表している。

レーティングについては、ロスが Ranger ほど下がらなかったことと過学習により、 Ranger 程伸びなかったのだと思われる。

まとめ

nnue-pytorch を用いた学習で、 Optimizer を RAdam に変更して学習させた場合の、レーティングの変化を調べた。結果、 Ranger に比べてレーティングが伸びなかった。

今後、学習率等の学習パラメーターの調整を行いたいと思う。