- 入玉ゲートの書き換え
- 入玉局面で駒の損得に過剰反応する
value_fc1の24ユニットにおいて、入玉の目印(マップ24の敵陣1〜3段、マップ21の自陣7〜9段)の重みを0.02減らした- 入玉局面での駒の損得への過剰反応を抑える狙い
- 入玉局面で駒の損得に過剰反応する
- バイアス補正
- 悲観的な評価(−0.11)を打ち消すため、
value_fc2.biasを +0.1 にした
- 悲観的な評価(−0.11)を打ち消すため、
- 評価値の補正
value_fc2の重みとバイアスを1.2倍にして、中程度の評価値を広げた- 使われていなかった隠れユニット146・42で、大差の局面における評価値の伸びを抑える折れ線を作った
この書き換えを行い、書き換え前とResNet35x512に対するvalue・loss及びテストデータに対するaccuracyの計測を行った。 テストデータにはDL将棋本付属のテストデータを使用した。(floodgate_test_2017-2018_r3500_eval5000.hcpe)
ResNet35x512に対する計測結果
| モデル | policy loss | value loss(logit の L1) | policy accuracy |
|---|---|---|---|
| 元のモデル(resnet10x154-144) | 1.4436 | 0.6178 | 69.37% |
| 書き換え後モデル | 1.4436 | 0.5787 | 69.37% |
テストデータに対する計測結果
| モデル | policy accuracy | value accuracy |
|---|---|---|
| 元のモデル(resnet10x154-144) | 0.4883 | 0.7567 |
| 書き換え後モデル | 0.4883 | 0.7546 |
| ResNet35x512(参考) | 0.5469 | 0.7840 |
ResNet35x512に対するvalueのlossを低くし、評価値のスケールを近づけることはできたがpolicyの分布を近づけることができなかった。 また、テストデータに対するvalue accuracyは書き換え前に比べてわずかに悪化した。
対局実験
パラメータ書き換え前と書き換え後でどれくらい強くなったか計測するための対局実験を行った。
思考エンジンにはやねうら王(YANEURAOU_ENGINE_DEEP_TENSOR_RT_UBUNTU)を使用し、探索パラメータはデフォルト値を使用した。 やねうら王互角局面集2025を初期局面とし、1分2秒フィッシャーで200局対局した結果を以下に示す。 なお勝率において引き分けは0.5勝0.5敗として計算している。
パラメータ書き換え前と書き換え後の対局結果
| 書き換え後モデルの勝敗 | 書き換え後モデルの勝率(%) |
|---|---|
| 77勝91敗32分 | 46.5 |
レート差は-24.4±44.4となり、有意差はなくネットワークパラメータ書き換えの効果はなかった。
対局実験の棋譜解析
対局実験の棋譜解析を行い、パラメータ書き換え後モデルの敗因を分析した。 その結果を以下に示す。
入玉の有無ごとの勝敗・勝率内訳
| 局の種類 | 局数 | 書き換え後モデルの勝敗 | 書き換え後モデルの勝率(%) |
|---|---|---|---|
| 入玉なし | 138 | 48勝60敗30分 | 45.7 |
| 書き換え後モデルだけ入玉 | 13 | 10勝3敗0分 | 76.9 |
| 元のモデルだけ入玉 | 16 | 9勝6敗1分 | 59.4 |
| 相入玉 | 33 | 10勝22敗1分 | 31.8 |
- 宣言勝ち: 元のモデル 17局、書き換え後モデル 6局
- 相入玉: うち19局は両方入玉した時点で点数負けしていた
この表から相入玉の将棋の勝率が著しく低く、正確に局面を評価できていないことがわかった。 これは入玉ゲートを書き換えた影響であると考えられる。 入玉局面の駒の損得に対する過剰反応はあくまでResNet35x512と比べたときの話であり、実際にはこれによって入玉将棋の点数勝負で有利に働いていたようだ。
対局実験の棋譜解析を踏まえたパラメータの書き換え
相入玉の勝率が著しく低くなったことを踏まえ、再度パラメータの書き換えを行った。 書き換え内容は以下の通り。
- これまでの書き換え内容の破棄
- ブロック7の中間ch104 の残差チャンネルへの書き込み要素をすべて0に
- 相手の利きや自玉・相手玉の利きが少ないマスで働き、成る手を抑制しないように
2回目の書き換え後のDL将棋本付属のテストデータに対する計測結果は以下の通り。
テストデータに対する計測結果
| モデル | policy accuracy | value accuracy |
|---|---|---|
| 元のモデル(resnet10x154-144) | 0.4883 | 0.7567 |
| 書き換え後のモデル | 0.4883 | 0.7546 |
| 2回目の書き換え後のモデル | 0.4882 | 0.7569 |
| ResNet35x512(参考) | 0.5469 | 0.7840 |
元のモデルに対し誤差の範囲内でしか精度が向上しておらず、ネットワークパラメータ書き換えの効果が薄いと判断したため、対局実験は行わずここで打ち切った。
まとめ
Weight-Space Programmingの記事を参考に将棋AIのモデルで知識蒸留・改善ができないかを検証した。 その結果、モデル内のどのブロックのどのチャンネルでどのような役割を担っているかを解析することはできたが、ネットワークパラメータの書き換えにより元のモデルより強くすることはできなかった。
今回参考にした記事がミスリーディングをしているという記事もあり、効果は限定的であると考えられる。
https://honnibal.dev/blog/astra-read-write-misleading
今後は実際に知識蒸留を試し、知識蒸留を行ったモデルと行っていないモデルでどのような差があるかLLMに解析させてみる予定である。

honnibal.dev
The 'Astra can read and write weights to improve Qwen' post is misleading · honnibal.dev
The experiments that read raw weights and the ones that fix Qwen use completely different techniques.