Hashtag

#機械学習

2 posts tagged with this hashtag.

https://blog.jj1guj.net/posts/try_knowledge_distillation_on_shogi_ai/

将棋AIで知識蒸留を試す

https://blog.jj1guj.net/posts/try_weight_space_programming_on_shogi_ai/ の続編

はじめに

前回将棋AIでWeight-Space Programmingを試したところうまくいかなかったので知識蒸留を行い、通常学習モデルと比べどのくらい強くなるのかを試してみた。 また、知識蒸留モデルと通常学習モデルでネットワークの重みにどのような違いが出るのか気になったため、LLMにネットワークの重みを読み込ませ、どのような違いがあるのか解析させた。

知識蒸留とは

知識蒸留はGeoffrey Hintonらによって導入された機械学習手法である1。 大規模モデルの出力や内部表現を小規模モデルに教えることで、小規模モデルを一から学習させるよりも効率よく、高い精度で学習できる手法である。 将棋AIでも主にDL系モデルからNNUE系モデルへの知識蒸留が盛んに使われており、2026年に開催された世界コンピュータ将棋選手権での独創賞・CSA貢献賞が知識蒸留であったことも記憶に新しい2。

学習実験

モデルの生成を兼ねて学習実験を行い、policy・valueのaccuracy(正解率)の比較を行った。

学習データにはDL将棋本付属のデータを使用した。 知識蒸留時のみpolicyとvalueを大規模モデルであるponkotsu第36回世界コンピュータ将棋選手権バージョン(ResNet35x512)の出力に置き換えた。 このモデルは以下で配布している。

https://jj1guj.booth.pm/items/8321632

学習条件

項目 通常学習の設定値 知識蒸留の設定値
epoch数 144 同左
最適化関数 SGD 同左
スケジューラ ReduceLROnPlateau(eps=1e-20, factor=0.5) 同左
初期学習率 0.2 同左
最終学習率 7.8125e-04 1.5625e-03
AMP dtype float16 同左

学習曲線及びaccuracyの推移を以下の図に示す。

学習曲線

学習曲線

policy・valueのaccuracyの推移

policy・valueのaccuracyの推移

DL将棋本付属のテストデータに対するpolicy・valueのaccuracyを以下の表に示す。

テストデータに対するaccuracy

手法 Policy Accuracy (%) Value Accuracy (%)
通常学習 48.8 75.7
知識蒸留 49.5 76.1

以上のように知識蒸留モデルの方が最終学習率が高いにもかかわらずtest lossは低く、accuracyは高くなった。 これは教師ラベルを大規模モデルの出力に置き換えたことで、その表現力が高まったためと考えられる。 元の学習データのpolicyは指した手のみ1、指した手以外の手は0というようなone-hot表現となっている。 しかし知識蒸留時の教師ラベルには、指した手以外の手にも着手確率が記録されているため、実際に指されていない手同士でどちらの方がより着手確率が高いかが知識として与えられるようになっている。 これは、valueについても同じことが言える。 元の学習データのvalueは与えられた局面において手前側のプレイヤーが勝ったら1、負けたら0という二値ラベルになっている。 これが知識蒸留時には手前側のプレイヤー視点の勝率となるため同じ勝ちの局面でもどちらの方がより勝ちに近いかが知識として与えられるようになっている。

対局実験

知識蒸留モデルと通常学習モデルで強さに差があるか確認するための対局実験を行った。

思考エンジンにはやねうら王(YANEURAOU_ENGINE_DEEP_TENSOR_RT_UBUNTU)を使用し、探索パラメータはデフォルト値を使用した。 やねうら王互角局面集2025を初期局面とし、1分2秒フィッシャーで200局対局した結果を以下に示す。 なお勝率において引き分けは0.5勝0.5敗として計算している。

知識蒸留モデルの勝敗

勝敗 勝率(%)
135勝44敗21分 72.8

レート差は170.6±50.9(95%信頼区間)となり、知識蒸留により有意に強くなることがわかった。 ちなみに先手勝率は71.5%(66勝23敗11分)、後手勝率は74.0%(69勝21敗10分)だった。

LLMによる解析

ここではGitHub Copilotで使用するLLMをClaude Opus5.5に固定して解析を行った。

ネットワークの重みはONNX形式で渡した。 ただしGitHub CopilotのClaude Opus5.5だとONNXファイルを直接読み込むことができなかったため、プロンプトでONNXファイルのパスを与え、Python経由で読み込ませた。 機械学習ライブラリやcshogiなどのツール及び学習データ・棋譜はモデルの学習以外の用途に限って使用を認めた。

LLMはブロックを1つずつ外して推論し出力の変化を見る実験と、ネットワークの重みの読み取りの2つの方法で解析していた。 なお、あくまでLLMによる解析であり検証した結果ではないため本当に正しいかは不明である。

ResNetブロック

通常学習モデルにおける各ブロックの役割は以下の通りだった。

通常学習モデルにおける各ブロックの役割

ブロック 役割 Policyへの貢献度 Valueへの貢献度
1 自玉の位置と利きを整理し、歩打ちなどの駒打ちの候補手を作る 中 中
2 利きの情報を整理し、歩打ちなどの駒打ちの候補手を補う 小 中
3 両玉の位置をもとに、銀打ちなどの駒打ちの候補手を作る 小 中
4 両玉の周りの駒と利きの関係を作る 小 中
5 敵の利きと両玉の位置をもとに、桂打ち・銀打ち・角打ちの候補手を作る 小 中
6 駒打ちの候補手を作る 小 中
7 敵玉の周りの利きを広げ、駒打ちの候補手を作る 小 小
8 敵玉を攻める駒打ちの候補手を作る 小 小
9 最終手前の調整として銀打ちの候補手を作る 中 中
10 最終組み立てとして、盤上の駒の移動(特に前に進む手)を作り、valueの大部分も作る 大 大

各ブロックごとのpolicyにおける大まかな役割は知識蒸留モデルでも変わらなかった。 ただし以下の3点が異なっていた。

  • valueをブロック10に加え入力に近いブロック1・2と出力に近いブロック9で分担するようになった
    • 通常学習モデルではブロック10のみ貢献度が「大」だった
    • 知識蒸留モデルではブロック1・2・9も「大」だった
  • ブロック1で読む利きが変化した
    • 通常学習モデルでは敵の大駒の利きを中心に読んでいた
    • 知識蒸留モデルでは自玉と敵玉の利きを中心に読むようになった
  • 歩打ちの候補手を作るブロックが変化した
    • 通常学習モデルではブロック1・6に集中しブロック2で補っていた
    • 知識蒸留モデルではブロック2〜5に分散していた

また、最後のResNetブロック(ブロック10)の出力(9×9×154)には、通常学習モデルと知識蒸留モデルで以下の違いが見られた。

  • policyの組み立てに使うチャンネルが入れ替わり、主要なチャンネルが増えた
    • policyに大きく効くチャンネル数が3から7に増えた
  • 入玉と敵陣の制圧に反応するチャンネルができた
    • policyとvalueの両方に効いていた
  • valueの判断材料が分散した
    • 通常学習モデルでは、自分の利きが敵より多いかを表すチャンネルにvalueのほとんどを任せていた
    • 知識蒸留モデルでは、このチャンネルへの依存が半分以下になり、以下のチャンネルの比重が増えた
      • 不利な要素を表すチャンネル(自玉が攻められているか、駒損しているか)
      • 局面の進み具合を表すチャンネル

policy head・value head

policy headには大きな違いが見られなかった。 一方でvalue headには以下の違いが見られた。

  • 隠れ層で実質的に使われていないユニットが増えた
    • 重みがすべてほぼ0になっているユニット数が3から50に増えた
      • 実際これらのユニットを取り除いて隠れ層のユニット数を154から104にしても、出力は浮動小数点の誤差の範囲でしか変わらなかった
    • 残りのユニットはより多くの局面で働くようになった

まとめ

今回は知識蒸留を行いaccuracy・対局での強さ・ネットワークの重みの構造にどのような差が出るかを検証した。 その結果、知識蒸留モデルはテストデータに対するpolicy・valueのaccuracyがいずれも通常学習モデルを上回り、対局実験でも勝率72.8%(レート差170.6±50.9)と有意に強くなった。 これは、one-hot表現や二値ラベルだった教師ラベルを大規模モデルの出力に置き換えたことで、指されていない手同士の優劣や、同じ勝ちの局面の中での勝ちやすさの差も学習できるようになったためと考えられる。

また、LLMによる解析では、policyに関する各ブロックの大まかな役割やpolicy headの構造に大きな違いは見られなかった。 一方でvalueについては、1つのブロックやチャンネルに頼る形から、複数のブロックやチャンネルで分担して判断する形へ変わっていた。 さらにvalue headでは実質的に使われないユニットが増えており、value headを小さくしても同等の出力が得られる可能性がある。 ただし、これらはLLMによる解析結果であり、正しさは検証していない点に注意が必要である。


  1. https://arxiv.org/abs/1503.02531 ↩︎

  2. https://x.com/nodchip/status/2051677405203636245 ↩︎

学習曲線
ALT text

学習曲線

policy・valueのaccuracyの推移
ALT text

policy・valueのaccuracyの推移

  • 入玉ゲートの書き換え
    • 入玉局面で駒の損得に過剰反応するvalue_fc1の24ユニットにおいて、入玉の目印(マップ24の敵陣1〜3段、マップ21の自陣7〜9段)の重みを0.02減らした
      • 入玉局面での駒の損得への過剰反応を抑える狙い
  • バイアス補正
    • 悲観的な評価(−0.11)を打ち消すため、value_fc2.biasを +0.1 にした
  • 評価値の補正
    • value_fc2 の重みとバイアスを1.2倍にして、中程度の評価値を広げた
    • 使われていなかった隠れユニット146・42で、大差の局面における評価値の伸びを抑える折れ線を作った

この書き換えを行い、書き換え前とResNet35x512に対するvalue・loss及びテストデータに対するaccuracyの計測を行った。 テストデータにはDL将棋本付属のテストデータを使用した。(floodgate_test_2017-2018_r3500_eval5000.hcpe)

ResNet35x512に対する計測結果

モデル policy loss value loss(logit の L1) policy accuracy
元のモデル(resnet10x154-144) 1.4436 0.6178 69.37%
書き換え後モデル 1.4436 0.5787 69.37%

テストデータに対する計測結果

モデル policy accuracy value accuracy
元のモデル(resnet10x154-144) 0.4883 0.7567
書き換え後モデル 0.4883 0.7546
ResNet35x512(参考) 0.5469 0.7840

ResNet35x512に対するvalueのlossを低くし、評価値のスケールを近づけることはできたがpolicyの分布を近づけることができなかった。 また、テストデータに対するvalue accuracyは書き換え前に比べてわずかに悪化した。

対局実験

パラメータ書き換え前と書き換え後でどれくらい強くなったか計測するための対局実験を行った。

思考エンジンにはやねうら王(YANEURAOU_ENGINE_DEEP_TENSOR_RT_UBUNTU)を使用し、探索パラメータはデフォルト値を使用した。 やねうら王互角局面集2025を初期局面とし、1分2秒フィッシャーで200局対局した結果を以下に示す。 なお勝率において引き分けは0.5勝0.5敗として計算している。

パラメータ書き換え前と書き換え後の対局結果

書き換え後モデルの勝敗 書き換え後モデルの勝率(%)
77勝91敗32分 46.5

レート差は-24.4±44.4となり、有意差はなくネットワークパラメータ書き換えの効果はなかった。

対局実験の棋譜解析

対局実験の棋譜解析を行い、パラメータ書き換え後モデルの敗因を分析した。 その結果を以下に示す。

入玉の有無ごとの勝敗・勝率内訳

局の種類 局数 書き換え後モデルの勝敗 書き換え後モデルの勝率(%)
入玉なし 138 48勝60敗30分 45.7
書き換え後モデルだけ入玉 13 10勝3敗0分 76.9
元のモデルだけ入玉 16 9勝6敗1分 59.4
相入玉 33 10勝22敗1分 31.8
  • 宣言勝ち: 元のモデル 17局、書き換え後モデル 6局
  • 相入玉: うち19局は両方入玉した時点で点数負けしていた

この表から相入玉の将棋の勝率が著しく低く、正確に局面を評価できていないことがわかった。 これは入玉ゲートを書き換えた影響であると考えられる。 入玉局面の駒の損得に対する過剰反応はあくまでResNet35x512と比べたときの話であり、実際にはこれによって入玉将棋の点数勝負で有利に働いていたようだ。

対局実験の棋譜解析を踏まえたパラメータの書き換え

相入玉の勝率が著しく低くなったことを踏まえ、再度パラメータの書き換えを行った。 書き換え内容は以下の通り。

  • これまでの書き換え内容の破棄
  • ブロック7の中間ch104 の残差チャンネルへの書き込み要素をすべて0に
    • 相手の利きや自玉・相手玉の利きが少ないマスで働き、成る手を抑制しないように

2回目の書き換え後のDL将棋本付属のテストデータに対する計測結果は以下の通り。

テストデータに対する計測結果

モデル policy accuracy value accuracy
元のモデル(resnet10x154-144) 0.4883 0.7567
書き換え後のモデル 0.4883 0.7546
2回目の書き換え後のモデル 0.4882 0.7569
ResNet35x512(参考) 0.5469 0.7840

元のモデルに対し誤差の範囲内でしか精度が向上しておらず、ネットワークパラメータ書き換えの効果が薄いと判断したため、対局実験は行わずここで打ち切った。

まとめ

Weight-Space Programmingの記事を参考に将棋AIのモデルで知識蒸留・改善ができないかを検証した。 その結果、モデル内のどのブロックのどのチャンネルでどのような役割を担っているかを解析することはできたが、ネットワークパラメータの書き換えにより元のモデルより強くすることはできなかった。

今回参考にした記事がミスリーディングをしているという記事もあり、効果は限定的であると考えられる。

https://honnibal.dev/blog/astra-read-write-misleading

今後は実際に知識蒸留を試し、知識蒸留を行ったモデルと行っていないモデルでどのような差があるかLLMに解析させてみる予定である。

honnibal.dev

The 'Astra can read and write weights to improve Qwen' post is misleading · honnibal.dev

The experiments that read raw weights and the ones that fix Qwen use completely different techniques.