将棋AIでWeight-Space Programmingを試す
はじめに https://rikiyat.github.io/blog/weight-space-programming/ でLLMにネットワークの重みを直接書き換えさせるのが話題になっていたので試してみた。 今回はWCSC36で使用したResNet36x512のモデルからResNet10x154への蒸留と強化を試してみた。 来年のWCSC37ではハードウェアの都合上大きなモデルを搭載できないため、知識蒸留等を行って小さいモデルで精度を上げる必要があるが、これがうまくいけばほとんど学習をさせずにモデルの精度を上げられるとの目論見がある。 実験条件 今回はGitHub CopilotでモデルをClaude Opus5.5をに設定して実験を行った。 ネットワークの重みはONNX形式で渡した。 ただしGitHub CopilotのClaude Opus5.5だとONNXファイルを直接読み込むことができなかったため、プロンプトでONNXファイルのパスを与えて読み込ませた。 機械学習ライブラリやcshogiなどのツール及び学習データ・棋譜の使用は学習用途以外での使用のみ認めた。 また、プロンプトで以下のリンクを渡し、この手法に則ってパラメータを編集するように指示した。 https://rikiyat.github.io/blog/weight-space-programming/ ...