• 入玉ゲートの書き換え
    • 入玉局面で駒の損得に過剰反応するvalue_fc1の24ユニットにおいて、入玉の目印(マップ24の敵陣1〜3段、マップ21の自陣7〜9段)の重みを0.02減らした
      • 入玉局面での駒の損得への過剰反応を抑える狙い
  • バイアス補正
    • 悲観的な評価(−0.11)を打ち消すため、value_fc2.biasを +0.1 にした
  • 評価値の補正
    • value_fc2 の重みとバイアスを1.2倍にして、中程度の評価値を広げた
    • 使われていなかった隠れユニット146・42で、大差の局面における評価値の伸びを抑える折れ線を作った

この書き換えを行い、書き換え前とResNet35x512に対するvalue・loss及びテストデータに対するaccuracyの計測を行った。 テストデータにはDL将棋本付属のテストデータを使用した。(floodgate_test_2017-2018_r3500_eval5000.hcpe)

ResNet35x512に対する計測結果

モデル policy loss value loss(logit の L1) policy accuracy
元のモデル(resnet10x154-144) 1.4436 0.6178 69.37%
書き換え後モデル 1.4436 0.5787 69.37%

テストデータに対する計測結果

モデル policy accuracy value accuracy
元のモデル(resnet10x154-144) 0.4883 0.7567
書き換え後モデル 0.4883 0.7546
ResNet35x512(参考) 0.5469 0.7840

ResNet35x512に対するvalueのlossを低くし、評価値のスケールを近づけることはできたがpolicyの分布を近づけることができなかった。 また、テストデータに対するvalue accuracyは書き換え前に比べてわずかに悪化した。

対局実験

パラメータ書き換え前と書き換え後でどれくらい強くなったか計測するための対局実験を行った。

思考エンジンにはやねうら王(YANEURAOU_ENGINE_DEEP_TENSOR_RT_UBUNTU)を使用し、探索パラメータはデフォルト値を使用した。 やねうら王互角局面集2025を初期局面とし、1分2秒フィッシャーで200局対局した結果を以下に示す。 なお勝率において引き分けは0.5勝0.5敗として計算している。

パラメータ書き換え前と書き換え後の対局結果

書き換え後モデルの勝敗 書き換え後モデルの勝率(%)
77勝91敗32分 46.5

レート差は-24.4±44.4となり、有意差はなくネットワークパラメータ書き換えの効果はなかった。

対局実験の棋譜解析

対局実験の棋譜解析を行い、パラメータ書き換え後モデルの敗因を分析した。 その結果を以下に示す。

入玉の有無ごとの勝敗・勝率内訳

局の種類 局数 書き換え後モデルの勝敗 書き換え後モデルの勝率(%)
入玉なし 138 48勝60敗30分 45.7
書き換え後モデルだけ入玉 13 10勝3敗0分 76.9
元のモデルだけ入玉 16 9勝6敗1分 59.4
相入玉 33 10勝22敗1分 31.8
  • 宣言勝ち: 元のモデル 17局、書き換え後モデル 6局
  • 相入玉: うち19局は両方入玉した時点で点数負けしていた

この表から相入玉の将棋の勝率が著しく低く、正確に局面を評価できていないことがわかった。 これは入玉ゲートを書き換えた影響であると考えられる。 入玉局面の駒の損得に対する過剰反応はあくまでResNet35x512と比べたときの話であり、実際にはこれによって入玉将棋の点数勝負で有利に働いていたようだ。

対局実験の棋譜解析を踏まえたパラメータの書き換え

相入玉の勝率が著しく低くなったことを踏まえ、再度パラメータの書き換えを行った。 書き換え内容は以下の通り。

  • これまでの書き換え内容の破棄
  • ブロック7の中間ch104 の残差チャンネルへの書き込み要素をすべて0に
    • 相手の利きや自玉・相手玉の利きが少ないマスで働き、成る手を抑制しないように

2回目の書き換え後のDL将棋本付属のテストデータに対する計測結果は以下の通り。

テストデータに対する計測結果

モデル policy accuracy value accuracy
元のモデル(resnet10x154-144) 0.4883 0.7567
書き換え後のモデル 0.4883 0.7546
2回目の書き換え後のモデル 0.4882 0.7569
ResNet35x512(参考) 0.5469 0.7840

元のモデルに対し誤差の範囲内でしか精度が向上しておらず、ネットワークパラメータ書き換えの効果が薄いと判断したため、対局実験は行わずここで打ち切った。

まとめ

Weight-Space Programmingの記事を参考に将棋AIのモデルで知識蒸留・改善ができないかを検証した。 その結果、モデル内のどのブロックのどのチャンネルでどのような役割を担っているかを解析することはできたが、ネットワークパラメータの書き換えにより元のモデルより強くすることはできなかった。

今回参考にした記事がミスリーディングをしているという記事もあり、効果は限定的であると考えられる。

https://honnibal.dev/blog/astra-read-write-misleading

今後は実際に知識蒸留を試し、知識蒸留を行ったモデルと行っていないモデルでどのような差があるかLLMに解析させてみる予定である。

honnibal.dev

The 'Astra can read and write weights to improve Qwen' post is misleading · honnibal.dev

The experiments that read raw weights and the ones that fix Qwen use completely different techniques.