nodchipのコンピューター将棋ブログ

コンピューター将棋ソフト「tanuki-」シリーズの実験結果を掲載しています。

tanuki- 2019-03-16 halfkp_256x2-32-32 強化学習6周目 3千万局面×3セット

将棋 コンピュータ将棋

tanuki- 2019-03-16 halfkp_256x2-32-32 強化学習6周目 3千万局面×3セット

  • 棋譜生成
    • tanuki-棋譜生成ルーチン
      • 評価関数 halfkp_256x2-32-32.iteration=5.exact
      • 思考ノード数 50万
      • 開始局面はfoodgate上の棋譜から1局面ランダムに選択し、ランダムに1手指した局面とする
      • 3千万局面生成×3セット
      • 対局は打ち切らず詰みの局面まで学習データに出力する
    • シャフル
      • あり
    • 機械学習
      • NNUE機械学習ルーチン v1.0
      • ネットワーク halfkp_256x2-32-32
      • 学習手法 SGD ミニバッチ法
      • batchsize 1000000
      • lambda 0.4・1.0→0.4
      • eta 0.01
      • newbob_decay 0.5
      • nn_batch_size 1000
      • eval_save_interval 10,000,000
      • loss_output_interval 1,000,000
      • mirror_percentage 50
      • eval_limit 32000
    • レーティング測定
      • 対局相手
        • halfkp_256x2-32-32.iteration=5.exact
        • orqha
      • 思考ノード数: 200万ノード
      • 全対局数: 1000
      • 同時対局数: 20
      • ハッシュサイズ: 512
      • 開始局面: やねうら王互換局面集24手目からランダムに選択

      実験結果

      • halfkp_256x2-32-32.iteration=6.mix・・・halfkp_256x2-32-32.iteration=5.exactからlambda=0.4で学習した場合
      • halfkp_256x2-32-32.iteration=6.mix.lambda=1.0・・・halfkp_256x2-32-32.iteration=5.exactからlambda=1.0で学習した場合
      • halfkp_256x2-32-32.iteration=6.mix.add.lambda=0.4・・・halfkp_256x2-32-32.iteration=5.exactからlambda=1.0で学習したあと、lambda=0.4で学習した場合

      ロス

      halfkp_256x2-32-32.iteration=6.mix

      halfkp_256x2-32-32.iteration=6.mix.lambda=1.0

      halfkp_256x2-32-32.iteration=6.mix.add.lambda=0.4

      レーティング測定結果

      halfkp_256x2-32-32.iteration=6.mix

      06:11:42.059 engine1=E:\Jenkins\workspace\TanukiColiseum.2018-12-08\engine1\source\YaneuraOu-by-gcc.exe eval1=F:\hnoda\nnue\eval\halfkp_256x2-32-32.iteration=6.mix\final

      06:11:42.059 engine2=E:\Jenkins\workspace\TanukiColiseum.2018-12-08\engine2\source\YaneuraOu-by-gcc.exe eval2=F:\hnoda\nnue\eval\halfkp_256x2-32-32.iteration=5.exact\final

      06:11:42.059 対局数1000 先手勝ち515(55%) 後手勝ち410(44%) 引き分け75

      06:11:42.059 engine1

      06:11:42.059 勝ち454(49% R-6.39) 先手勝ち258(27%) 後手勝ち196(21%)

      06:11:42.059 宣言勝ち5 先手宣言勝ち4 後手宣言勝ち1

      06:11:42.059 先手引き分け34 後手引き分け41

      06:11:42.059 engine2

      06:11:42.059 勝ち471(50%) 先手勝ち257(27%) 後手勝ち214(23%)

      06:11:42.059 宣言勝ち7 先手宣言勝ち0 後手宣言勝ち7

      06:11:42.059 先手引き分け41 後手引き分け34

      05:42:30.375 engine1=E:\Jenkins\workspace\TanukiColiseum.2018-12-08\engine1\source\YaneuraOu-by-gcc.exe eval1=F:\hnoda\nnue\eval\halfkp_256x2-32-32.iteration=6.mix\final

      05:42:30.375 engine2=E:\Jenkins\workspace\TanukiColiseum.2018-12-08\engine2\source\YaneuraOu-by-gcc.exe eval2=F:\hnoda\nnue\eval\orqha-1018

      05:42:30.375 対局数1000 先手勝ち509(53%) 後手勝ち446(46%) 引き分け45

      05:42:30.375 engine1

      05:42:30.375 勝ち505(52% R20.03) 先手勝ち275(28%) 後手勝ち230(24%)

      05:42:30.375 宣言勝ち7 先手宣言勝ち6 後手宣言勝ち1

      05:42:30.375 先手引き分け28 後手引き分け17

      05:42:30.375 engine2

      05:42:30.375 勝ち450(47%) 先手勝ち234(24%) 後手勝ち216(22%)

      05:42:30.375 宣言勝ち3 先手宣言勝ち0 後手宣言勝ち3

      05:42:30.375 先手引き分け17 後手引き分け28

      halfkp_256x2-32-32.iteration=6.mix.lambda=1.0

      06:15:55.362 engine1=E:\Jenkins\workspace\TanukiColiseum.2018-12-08\engine1\source\YaneuraOu-by-gcc.exe eval1=F:\hnoda\nnue\eval\halfkp_256x2-32-32.iteration=6.mix.lambda=1.0\final

      06:15:55.362 engine2=E:\Jenkins\workspace\TanukiColiseum.2018-12-08\engine2\source\YaneuraOu-by-gcc.exe eval2=F:\hnoda\nnue\eval\halfkp_256x2-32-32.iteration=5.exact\final

      06:15:55.362 対局数1000 先手勝ち475(52%) 後手勝ち438(47%) 引き分け87

      06:15:55.362 engine1

      06:15:55.362 勝ち438(47% R-14.09) 先手勝ち233(25%) 後手勝ち205(22%)

      06:15:55.362 宣言勝ち7 先手宣言勝ち4 後手宣言勝ち3

      06:15:55.362 先手引き分け41 後手引き分け46

      06:15:55.362 engine2

      06:15:55.362 勝ち475(52%) 先手勝ち242(26%) 後手勝ち233(25%)

      06:15:55.362 宣言勝ち6 先手宣言勝ち0 後手宣言勝ち6

      06:15:55.362 先手引き分け46 後手引き分け41

      06:01:30.687 engine1=E:\Jenkins\workspace\TanukiColiseum.2018-12-08\engine1\source\YaneuraOu-by-gcc.exe eval1=F:\hnoda\nnue\eval\halfkp_256x2-32-32.iteration=6.mix.lambda=1.0\final

      06:01:30.687 engine2=E:\Jenkins\workspace\TanukiColiseum.2018-12-08\engine2\source\YaneuraOu-by-gcc.exe eval2=F:\hnoda\nnue\eval\orqha-1018

      06:01:30.687 対局数1000 先手勝ち458(48%) 後手勝ち493(51%) 引き分け49

      06:01:30.687 engine1

      06:01:30.687 勝ち428(45% R-34.82) 先手勝ち212(22%) 後手勝ち216(22%)

      06:01:30.687 宣言勝ち9 先手宣言勝ち2 後手宣言勝ち7

      06:01:30.687 先手引き分け21 後手引き分け28

      06:01:30.687 engine2

      06:01:30.687 勝ち523(54%) 先手勝ち246(25%) 後手勝ち277(29%)

      06:01:30.687 宣言勝ち4 先手宣言勝ち1 後手宣言勝ち3

      06:01:30.687 先手引き分け28 後手引き分け21

      halfkp_256x2-32-32.iteration=6.mix.add.lambda=0.4

      06:13:11.349 engine1=E:\Jenkins\workspace\TanukiColiseum.2018-12-08\engine1\source\YaneuraOu-by-gcc.exe eval1=F:\hnoda\nnue\eval\halfkp_256x2-32-32.iteration=6.mix.add.lambda=0.4\final

      06:13:11.349 engine2=E:\Jenkins\workspace\TanukiColiseum.2018-12-08\engine2\source\YaneuraOu-by-gcc.exe eval2=F:\hnoda\nnue\eval\halfkp_256x2-32-32.iteration=5.exact\final

      06:13:11.349 対局数1000 先手勝ち491(54%) 後手勝ち412(45%) 引き分け97

      06:13:11.349 engine1

      06:13:11.349 勝ち429(47% R-17.33) 先手勝ち237(26%) 後手勝ち192(21%)

      06:13:11.349 宣言勝ち1 先手宣言勝ち1 後手宣言勝ち0

      06:13:11.349 先手引き分け42 後手引き分け55

      06:13:11.349 engine2

      06:13:11.349 勝ち474(52%) 先手勝ち254(28%) 後手勝ち220(24%)

      06:13:11.349 宣言勝ち0 先手宣言勝ち0 後手宣言勝ち0

      06:13:11.349 先手引き分け55 後手引き分け42

      05:44:50.364 engine1=E:\Jenkins\workspace\TanukiColiseum.2018-12-08\engine1\source\YaneuraOu-by-gcc.exe eval1=F:\hnoda\nnue\eval\halfkp_256x2-32-32.iteration=6.mix.add.lambda=0.4\final

      05:44:50.364 engine2=E:\Jenkins\workspace\TanukiColiseum.2018-12-08\engine2\source\YaneuraOu-by-gcc.exe eval2=F:\hnoda\nnue\eval\orqha-1018

      05:44:50.364 対局数1000 先手勝ち533(56%) 後手勝ち404(43%) 引き分け63

      05:44:50.364 engine1

      05:44:50.364 勝ち470(50% R1.11) 先手勝ち274(29%) 後手勝ち196(20%)

      05:44:50.364 宣言勝ち7 先手宣言勝ち4 後手宣言勝ち3

      05:44:50.364 先手引き分け28 後手引き分け35

      05:44:50.364 engine2

      05:44:50.364 勝ち467(49%) 先手勝ち259(27%) 後手勝ち208(22%)

      05:44:50.364 宣言勝ち9 先手宣言勝ち5 後手宣言勝ち4

      05:44:50.364 先手引き分け35 後手引き分け28