Hashtag

#プログラミング

5 posts tagged with this hashtag.

https://blog.jj1guj.net/posts/try_knowledge_distillation_on_shogi_ai/

将棋AIで知識蒸留を試す

https://blog.jj1guj.net/posts/try_weight_space_programming_on_shogi_ai/ の続編

はじめに

前回将棋AIでWeight-Space Programmingを試したところうまくいかなかったので知識蒸留を行い、通常学習モデルと比べどのくらい強くなるのかを試してみた。 また、知識蒸留モデルと通常学習モデルでネットワークの重みにどのような違いが出るのか気になったため、LLMにネットワークの重みを読み込ませ、どのような違いがあるのか解析させた。

知識蒸留とは

知識蒸留はGeoffrey Hintonらによって導入された機械学習手法である1。 大規模モデルの出力や内部表現を小規模モデルに教えることで、小規模モデルを一から学習させるよりも効率よく、高い精度で学習できる手法である。 将棋AIでも主にDL系モデルからNNUE系モデルへの知識蒸留が盛んに使われており、2026年に開催された世界コンピュータ将棋選手権での独創賞・CSA貢献賞が知識蒸留であったことも記憶に新しい2。

学習実験

モデルの生成を兼ねて学習実験を行い、policy・valueのaccuracy(正解率)の比較を行った。

学習データにはDL将棋本付属のデータを使用した。 知識蒸留時のみpolicyとvalueを大規模モデルであるponkotsu第36回世界コンピュータ将棋選手権バージョン(ResNet35x512)の出力に置き換えた。 このモデルは以下で配布している。

https://jj1guj.booth.pm/items/8321632

学習条件

項目 通常学習の設定値 知識蒸留の設定値
epoch数 144 同左
最適化関数 SGD 同左
スケジューラ ReduceLROnPlateau(eps=1e-20, factor=0.5) 同左
初期学習率 0.2 同左
最終学習率 7.8125e-04 1.5625e-03
AMP dtype float16 同左

学習曲線及びaccuracyの推移を以下の図に示す。

学習曲線

学習曲線

policy・valueのaccuracyの推移

policy・valueのaccuracyの推移

DL将棋本付属のテストデータに対するpolicy・valueのaccuracyを以下の表に示す。

テストデータに対するaccuracy

手法 Policy Accuracy (%) Value Accuracy (%)
通常学習 48.8 75.7
知識蒸留 49.5 76.1

以上のように知識蒸留モデルの方が最終学習率が高いにもかかわらずtest lossは低く、accuracyは高くなった。 これは教師ラベルを大規模モデルの出力に置き換えたことで、その表現力が高まったためと考えられる。 元の学習データのpolicyは指した手のみ1、指した手以外の手は0というようなone-hot表現となっている。 しかし知識蒸留時の教師ラベルには、指した手以外の手にも着手確率が記録されているため、実際に指されていない手同士でどちらの方がより着手確率が高いかが知識として与えられるようになっている。 これは、valueについても同じことが言える。 元の学習データのvalueは与えられた局面において手前側のプレイヤーが勝ったら1、負けたら0という二値ラベルになっている。 これが知識蒸留時には手前側のプレイヤー視点の勝率となるため同じ勝ちの局面でもどちらの方がより勝ちに近いかが知識として与えられるようになっている。

対局実験

知識蒸留モデルと通常学習モデルで強さに差があるか確認するための対局実験を行った。

思考エンジンにはやねうら王(YANEURAOU_ENGINE_DEEP_TENSOR_RT_UBUNTU)を使用し、探索パラメータはデフォルト値を使用した。 やねうら王互角局面集2025を初期局面とし、1分2秒フィッシャーで200局対局した結果を以下に示す。 なお勝率において引き分けは0.5勝0.5敗として計算している。

知識蒸留モデルの勝敗

勝敗 勝率(%)
135勝44敗21分 72.8

レート差は170.6±50.9(95%信頼区間)となり、知識蒸留により有意に強くなることがわかった。 ちなみに先手勝率は71.5%(66勝23敗11分)、後手勝率は74.0%(69勝21敗10分)だった。

LLMによる解析

ここではGitHub Copilotで使用するLLMをClaude Opus5.5に固定して解析を行った。

ネットワークの重みはONNX形式で渡した。 ただしGitHub CopilotのClaude Opus5.5だとONNXファイルを直接読み込むことができなかったため、プロンプトでONNXファイルのパスを与え、Python経由で読み込ませた。 機械学習ライブラリやcshogiなどのツール及び学習データ・棋譜はモデルの学習以外の用途に限って使用を認めた。

LLMはブロックを1つずつ外して推論し出力の変化を見る実験と、ネットワークの重みの読み取りの2つの方法で解析していた。 なお、あくまでLLMによる解析であり検証した結果ではないため本当に正しいかは不明である。

ResNetブロック

通常学習モデルにおける各ブロックの役割は以下の通りだった。

通常学習モデルにおける各ブロックの役割

ブロック 役割 Policyへの貢献度 Valueへの貢献度
1 自玉の位置と利きを整理し、歩打ちなどの駒打ちの候補手を作る 中 中
2 利きの情報を整理し、歩打ちなどの駒打ちの候補手を補う 小 中
3 両玉の位置をもとに、銀打ちなどの駒打ちの候補手を作る 小 中
4 両玉の周りの駒と利きの関係を作る 小 中
5 敵の利きと両玉の位置をもとに、桂打ち・銀打ち・角打ちの候補手を作る 小 中
6 駒打ちの候補手を作る 小 中
7 敵玉の周りの利きを広げ、駒打ちの候補手を作る 小 小
8 敵玉を攻める駒打ちの候補手を作る 小 小
9 最終手前の調整として銀打ちの候補手を作る 中 中
10 最終組み立てとして、盤上の駒の移動(特に前に進む手)を作り、valueの大部分も作る 大 大

各ブロックごとのpolicyにおける大まかな役割は知識蒸留モデルでも変わらなかった。 ただし以下の3点が異なっていた。

  • valueをブロック10に加え入力に近いブロック1・2と出力に近いブロック9で分担するようになった
    • 通常学習モデルではブロック10のみ貢献度が「大」だった
    • 知識蒸留モデルではブロック1・2・9も「大」だった
  • ブロック1で読む利きが変化した
    • 通常学習モデルでは敵の大駒の利きを中心に読んでいた
    • 知識蒸留モデルでは自玉と敵玉の利きを中心に読むようになった
  • 歩打ちの候補手を作るブロックが変化した
    • 通常学習モデルではブロック1・6に集中しブロック2で補っていた
    • 知識蒸留モデルではブロック2〜5に分散していた

また、最後のResNetブロック(ブロック10)の出力(9×9×154)には、通常学習モデルと知識蒸留モデルで以下の違いが見られた。

  • policyの組み立てに使うチャンネルが入れ替わり、主要なチャンネルが増えた
    • policyに大きく効くチャンネル数が3から7に増えた
  • 入玉と敵陣の制圧に反応するチャンネルができた
    • policyとvalueの両方に効いていた
  • valueの判断材料が分散した
    • 通常学習モデルでは、自分の利きが敵より多いかを表すチャンネルにvalueのほとんどを任せていた
    • 知識蒸留モデルでは、このチャンネルへの依存が半分以下になり、以下のチャンネルの比重が増えた
      • 不利な要素を表すチャンネル(自玉が攻められているか、駒損しているか)
      • 局面の進み具合を表すチャンネル

policy head・value head

policy headには大きな違いが見られなかった。 一方でvalue headには以下の違いが見られた。

  • 隠れ層で実質的に使われていないユニットが増えた
    • 重みがすべてほぼ0になっているユニット数が3から50に増えた
      • 実際これらのユニットを取り除いて隠れ層のユニット数を154から104にしても、出力は浮動小数点の誤差の範囲でしか変わらなかった
    • 残りのユニットはより多くの局面で働くようになった

まとめ

今回は知識蒸留を行いaccuracy・対局での強さ・ネットワークの重みの構造にどのような差が出るかを検証した。 その結果、知識蒸留モデルはテストデータに対するpolicy・valueのaccuracyがいずれも通常学習モデルを上回り、対局実験でも勝率72.8%(レート差170.6±50.9)と有意に強くなった。 これは、one-hot表現や二値ラベルだった教師ラベルを大規模モデルの出力に置き換えたことで、指されていない手同士の優劣や、同じ勝ちの局面の中での勝ちやすさの差も学習できるようになったためと考えられる。

また、LLMによる解析では、policyに関する各ブロックの大まかな役割やpolicy headの構造に大きな違いは見られなかった。 一方でvalueについては、1つのブロックやチャンネルに頼る形から、複数のブロックやチャンネルで分担して判断する形へ変わっていた。 さらにvalue headでは実質的に使われないユニットが増えており、value headを小さくしても同等の出力が得られる可能性がある。 ただし、これらはLLMによる解析結果であり、正しさは検証していない点に注意が必要である。


  1. https://arxiv.org/abs/1503.02531 ↩︎

  2. https://x.com/nodchip/status/2051677405203636245 ↩︎

学習曲線
ALT text

学習曲線

policy・valueのaccuracyの推移
ALT text

policy・valueのaccuracyの推移

  • 入玉ゲートの書き換え
    • 入玉局面で駒の損得に過剰反応するvalue_fc1の24ユニットにおいて、入玉の目印(マップ24の敵陣1〜3段、マップ21の自陣7〜9段)の重みを0.02減らした
      • 入玉局面での駒の損得への過剰反応を抑える狙い
  • バイアス補正
    • 悲観的な評価(−0.11)を打ち消すため、value_fc2.biasを +0.1 にした
  • 評価値の補正
    • value_fc2 の重みとバイアスを1.2倍にして、中程度の評価値を広げた
    • 使われていなかった隠れユニット146・42で、大差の局面における評価値の伸びを抑える折れ線を作った

この書き換えを行い、書き換え前とResNet35x512に対するvalue・loss及びテストデータに対するaccuracyの計測を行った。 テストデータにはDL将棋本付属のテストデータを使用した。(floodgate_test_2017-2018_r3500_eval5000.hcpe)

ResNet35x512に対する計測結果

モデル policy loss value loss(logit の L1) policy accuracy
元のモデル(resnet10x154-144) 1.4436 0.6178 69.37%
書き換え後モデル 1.4436 0.5787 69.37%

テストデータに対する計測結果

モデル policy accuracy value accuracy
元のモデル(resnet10x154-144) 0.4883 0.7567
書き換え後モデル 0.4883 0.7546
ResNet35x512(参考) 0.5469 0.7840

ResNet35x512に対するvalueのlossを低くし、評価値のスケールを近づけることはできたがpolicyの分布を近づけることができなかった。 また、テストデータに対するvalue accuracyは書き換え前に比べてわずかに悪化した。

対局実験

パラメータ書き換え前と書き換え後でどれくらい強くなったか計測するための対局実験を行った。

思考エンジンにはやねうら王(YANEURAOU_ENGINE_DEEP_TENSOR_RT_UBUNTU)を使用し、探索パラメータはデフォルト値を使用した。 やねうら王互角局面集2025を初期局面とし、1分2秒フィッシャーで200局対局した結果を以下に示す。 なお勝率において引き分けは0.5勝0.5敗として計算している。

パラメータ書き換え前と書き換え後の対局結果

書き換え後モデルの勝敗 書き換え後モデルの勝率(%)
77勝91敗32分 46.5

レート差は-24.4±44.4となり、有意差はなくネットワークパラメータ書き換えの効果はなかった。

対局実験の棋譜解析

対局実験の棋譜解析を行い、パラメータ書き換え後モデルの敗因を分析した。 その結果を以下に示す。

入玉の有無ごとの勝敗・勝率内訳

局の種類 局数 書き換え後モデルの勝敗 書き換え後モデルの勝率(%)
入玉なし 138 48勝60敗30分 45.7
書き換え後モデルだけ入玉 13 10勝3敗0分 76.9
元のモデルだけ入玉 16 9勝6敗1分 59.4
相入玉 33 10勝22敗1分 31.8
  • 宣言勝ち: 元のモデル 17局、書き換え後モデル 6局
  • 相入玉: うち19局は両方入玉した時点で点数負けしていた

この表から相入玉の将棋の勝率が著しく低く、正確に局面を評価できていないことがわかった。 これは入玉ゲートを書き換えた影響であると考えられる。 入玉局面の駒の損得に対する過剰反応はあくまでResNet35x512と比べたときの話であり、実際にはこれによって入玉将棋の点数勝負で有利に働いていたようだ。

対局実験の棋譜解析を踏まえたパラメータの書き換え

相入玉の勝率が著しく低くなったことを踏まえ、再度パラメータの書き換えを行った。 書き換え内容は以下の通り。

  • これまでの書き換え内容の破棄
  • ブロック7の中間ch104 の残差チャンネルへの書き込み要素をすべて0に
    • 相手の利きや自玉・相手玉の利きが少ないマスで働き、成る手を抑制しないように

2回目の書き換え後のDL将棋本付属のテストデータに対する計測結果は以下の通り。

テストデータに対する計測結果

モデル policy accuracy value accuracy
元のモデル(resnet10x154-144) 0.4883 0.7567
書き換え後のモデル 0.4883 0.7546
2回目の書き換え後のモデル 0.4882 0.7569
ResNet35x512(参考) 0.5469 0.7840

元のモデルに対し誤差の範囲内でしか精度が向上しておらず、ネットワークパラメータ書き換えの効果が薄いと判断したため、対局実験は行わずここで打ち切った。

まとめ

Weight-Space Programmingの記事を参考に将棋AIのモデルで知識蒸留・改善ができないかを検証した。 その結果、モデル内のどのブロックのどのチャンネルでどのような役割を担っているかを解析することはできたが、ネットワークパラメータの書き換えにより元のモデルより強くすることはできなかった。

今回参考にした記事がミスリーディングをしているという記事もあり、効果は限定的であると考えられる。

https://honnibal.dev/blog/astra-read-write-misleading

今後は実際に知識蒸留を試し、知識蒸留を行ったモデルと行っていないモデルでどのような差があるかLLMに解析させてみる予定である。

honnibal.dev

The 'Astra can read and write weights to improve Qwen' post is misleading · honnibal.dev

The experiments that read raw weights and the ones that fix Qwen use completely different techniques.

https://blog.jj1guj.net/posts/bme280_with_xiao_esp32c6/

BME280をXiao ESP32C6で使う方法

今までRaspberry Pi 3A+にBME280をつなげて寝室の気温・湿度・気圧を測定していた1が、足を引っかけて壊してしまったので足を引っかけないように小型化することにした。 その際にBME280搭載の温湿度センサをXiao ESP32C6から使えるようにする方法を備忘録として残しておく。

使用部品

使用した部品は以下の通り。

配線図

配線図は以下の通り

配線図

配線図

最終的にXIAO ESP32C6のUSB Type-CポートにUSB ACアダプターを挿してコンセント経由で常時給電させた。 このときに使用した追加の部品は以下の通り。

画像の説明

完成図

コード

コードは以下の通り

#include <Wire.h>
#include <Adafruit_BME280.h>

Adafruit_BME280 bme;

void setup() {
  Serial.begin(115200);
  Wire.begin(22, 23);
  if (!bme.begin(0x76, &Wire)) {
    Serial.println("BME280 is not found!!");
    while(1) delay(10);
  }
}

void loop() {
  float temp = bme.readTemperature();
  float hum = bme.readHumidity();
  float press = bme.readPressure() / 100.0;
  Serial.printf("%.2f C, %.2f %%, %.2f hPa\n", temp, hum, press);
  delay(2000);
}

最終的にこのようにWiFi機能と組みあせて気温・湿度・気圧をJSONで返すWebサーバーを実装した。

https://github.com/jj1guj/room_metrics_prometheus/blob/master/server/bme280_server/bme280_server.ino

これを一定時間ごとにfetchしてPrometheusに送信するスクリプトを書いてGrafanaで表示できるようにしている。

https://github.com/jj1guj/room_metrics_prometheus/blob/master/client/main.py

Grafanaのメトリクス画面

Grafanaのメトリクス画面

感想

久しぶりにはんだ付けをしたらめちゃくちゃ下手になってて泣いた。 定期的にはんだ付けをするべき

ライブラリを使うと時短になってとてもよい。


  1. しかもGrafanaをデプロイしているサーバーからリモートGPIOを叩いて取得するとかいう訳のわからない方法をとっていて本当にめちゃくちゃでメンテナンス性最悪だった ↩︎

配線図
ALT text

配線図

画像の説明
ALT text

画像の説明

Grafanaのメトリクス画面
ALT text

Grafanaのメトリクス画面

https://blog.jj1guj.net/posts/introduction-of-my-blog/

JJ1GUJのブログの紹介

今回は備忘録としてこのブログについての解説記事を書いていきます。

きっかけ

自宅サーバーでMisskeyを始めたり他にも様々なWebアプリをホスティングしていく中で、 次第に外部サービスにデータを預けたくないなと思い始めたのがきっかけです。1
特にZennが出始めたころ、何も考えずにQiitaからZennに乗り換えたら、いつまでも自分のブログを作らないままかもしれないと思っていました。 プラットフォームを乗り換えるくらいなら、自分でブログを運営しようと考えていました。 また、普段からMisskeyを通じてFediverseを楽しんでいたので、作るならFediverseにもつながるブログにしたいと思いました。 そこで、必要な機能を整理し、それを実現できる仕組みを探すところから始めました。

開発の流れ

開発は以下の流れで行いました。

  1. 要件定義・技術選定
    • Claudeと壁打ちをして方針を固める
  2. 実装・動作確認
    • 実装はGitHub Copilotに丸投げ、人間は動作確認をしてフィードバックをする
  3. デプロイ

要件

Claudeと壁打ち・技術選定をする中で決めた要件は次の通りです

docker composeで動かすようにする

Misskey開発や業務でメンテナンスの大変さを体感していたため、メンテナンス性を意識する上でなるべく自前のプログラムは減らしたいという思いがありました。 そのため、なるべく既存のOSSの公開されているイメージを活用し、コマンドを1回叩くだけで開発/本番環境が立ち上がるようにすることを要件に加えました。 これの副次的効果として開発・運用時にホストの環境を汚さず、環境構築の手間を大幅に省くことができました。

記事ごとにディレクトリを作れるようにする

記事と画像などを別々の場所に保存すると、対応関係が分からなくなったり、探す手間が増えたりします。 そのため、記事ごとにディレクトリを作り、記事とメディアを一緒に保存できることを要件にしました。

記事はMarkdownで書けるようにする

軽いメモを取るときでもMarkdownで書いてしまうくらいMarkdownに飼い慣らされてしまったのでこれは必須だと考えていました。 直近で自分のHPもMarkdownで書けるようにしたらものすごく快適になったからというのもあります。

記事はFediverseにも配信する

Fediverse上のメジャーなプラットフォームであるMastodonやMisskeyはどちらも(マイクロ/ミニ)ブログサービスを提供するためのプラットフォーム基盤と謳っています。

Mastodon

Your self-hosted, globally interconnected microblogging community

Misskey

Misskeyはオープンソースの分散型マイクロブログプラットフォームプロジェクトです。

加えて分散型SNSユーザー有志のホームページでは以下のように接続できるプラットフォームの例としてマイクロブログ・ブログを最初に挙げています。

マイクロブログ、ブログ、フォトブログ、ビデオホスティングなどの多様なプラットフォームが接続されています。

であるならばブログをFediverseに配信するのは当然でしょう。

記事に対するFediverse上での反応(いいね・ブースト/リノート・リアクション・リプライ・引用)はすべて記事上から見れるようにする

自分がなぜここまでMisskeyにハマっているのかを考えたときに真っ先に浮かんだのがいろんな人から多様なリアクションを受け取れることでした。 そのため、Fediverseにブログ記事を配信する際にこの楽しみが失われてしまっては勿体ないと考え、要件に加えました。 記事に反応がたくさんついているとちゃんと読まれているんだなと感じ、承認欲求が満たされて精神衛生上とてもよいです。

技術選定

WordPress+ActivityPubプラグイン

この要件を満たすことができるOSSがないかClaudeに聞いたところ、WordPress+ActivityPubプラグインをおすすめされました。 しかしphp2shellでPHPを使っているサービスが軒並みメンテナンスに入って大変なことになっているのを見ていたこと、PHPは脆弱性の数でアピールしていることから自宅でホスティングしてメンテナンスしていくのはかなりきついだろうと思い採用を見送りました。

WriteFreely

つぎにおすすめされたのがWriteFreelyでした。

https://writefreely.org

これひとつでFediverseとの連携が可能でかなり魅力的に思えたのですが以下の点から採用を見送りました。

Hugo+GoToSocial+GoatCounter

次におすすめされたのがHugo+GoToSocial+GoatCounterの構成でした。

https://gohugo.io

https://gotosocial.org

https://www.goatcounter.com

これは実際にClaudeに実装させてローカルでの動作環境を試してみました。 しかし試しているうちに公開されているリアクションを読み取るだけでも認証が必要になり、サーバー側で認証をしアクションを中継する常駐プログラムが必要になることから採用を見送りました。

Madblog

これを踏まえてブログとFediverseサーバーが一体化したOSSを使った方がいいのではとなり、Claudeに調査させたところMadblogが見つかりました。

https://github.com/blacklight/madblog

実際に使って試してみたのですが、以下の点から採用を見送りました。

  • 記事とメディアデータの保存先のディレクトリが異なる

    • メディアデータについては/img直下にサブディレクトリを作成できない
  • x64向けイメージしか配布していない

    • Raspberry Piなどでホスティングしたくなったときにイメージをビルドしなくてはならず、手間が増える
  • 数式を表示できるようにするためにフルでイメージをビルドするとイメージサイズが2GBを超える

    Includes all plugins - including LaTeX and Mermaid; > 2 GB in size.

  • バックエンドがPython

    • 個人的にバックエンドがPythonのWebアプリはなるべく動かしたくないという思いがあった(個人の感想)

最終的な構成

最終的にHugoで記事ごとにディレクトリを作成できるなど執筆体験が非常によかったため、以下のようなHugo+Hollo+GoatCounterの構成にしました。

https://docs.hollo.social/

Hugo+GoToSocial+GoatCounterの構成とかなり似ていますが、投稿・リプライ数・フォロワー数を認証無しで読み取ることができ、中継するための常駐プログラムが不要であるからHolloを採用しました。

システム構成図

システム構成図

それぞれの役割はこのようになっています。

  • Caddy: Hugoが生成したページを配信し、連合や計測の要求をHollo・GoatCounterに転送する
  • Hugo: ブログ本体
  • Publisher: RSSから新しい記事を見つけ、Holloに投稿する
  • Hollo: 新規投稿記事のリモートへの配送とリアクションの受信を行う
  • GoatCounter: ブログ記事の閲覧数を取得する

ブログのページでは、HolloとGoatCounterから反応や閲覧数を取得し表示しています。 返信や引用は、Holloが取得できる範囲のものを表示しています。

工夫した点

工夫した点として初回の管理者作成画面は公開側からのアクセスを遮断し、外部に公開しない管理用ポートから設定するようにした点があります。

Holloは初回起動直後にページにアクセスし、アカウントを作成する必要があります。 しかしこれをCloudflare Tunnelで公開した状態でその公開URLにアクセスし、アカウント作成を行おうとすると悪意のある第三者が先にアクセスしてアカウントを作成してしまう懸念がありました。 そのため、Holloの初回の管理画面には外部には公開しない管理用ポートからしかアクセスできないようにすることでこの問題を解決しました。 普段Holloの管理画面に入ることはほとんどないのでこの機能により安心感は増したのですが、いざ管理画面に入りたくなったときに管理用ポートを開くのが面倒でもうすこしいい方法がなかったかなと思っています。

今後の展望

今後以下の機能・ページを実装したいと考えています。

  • aboutページの追加
  • フォロワー一覧を表示できるように
  • 各記事から前のエントリと次のエントリに飛べるように

Fediverseの連携機能は現状満足していますが見た目の作り込みはまだ甘いと感じています。 そのため、フロントエンドの強化を今後頑張る予定です。

最後に

今回作成したブログシステムはGitHub上で公開しているのでぜひ使ってみてください。

今後もいろんな記事を投稿する予定なので以下のハンドルをフォローしたり記事にリアクションやリプライをくださると嬉しいです!

@blog


  1. といいながらGoogleに年間1.5万円くらい払ってデータを全部預けるGoogleの犬をやっている ↩︎

blog.jj1guj.net

JJ1GUJのブログの紹介

このブログの構成を紹介します

https://blog.jj1guj.net/posts/introduction-of-my-blog/

JJ1GUJのブログの紹介

今回は備忘録としてこのブログについての解説記事を書いていきます。

きっかけ

自宅サーバーでMisskeyを始めたり他にも様々なWebアプリをホスティングしていく中で、 次第に外部サービスにデータを預けたくないなと思い始めたのがきっかけです。1
特にZennが出始めたころ、何も考えずにQiitaからZennに乗り換えたら、いつまでも自分のブログを作らないままかもしれないと思っていました。 プラットフォームを乗り換えるくらいなら、自分でブログを運営しようと考えていました。 また、普段からMisskeyを通じてFediverseを楽しんでいたので、作るならFediverseにもつながるブログにしたいと思いました。 そこで、必要な機能を整理し、それを実現できる仕組みを探すところから始めました。

開発の流れ

開発は以下の流れで行いました。

  1. 要件定義・技術選定
    • Claudeと壁打ちをして方針を固める
  2. 実装・動作確認
    • 実装はGitHub Copilotに丸投げ、人間は動作確認をしてフィードバックをする
  3. デプロイ

要件

Claudeと壁打ち・技術選定をする中で決めた要件は次の通りです

docker composeで動かすようにする

Misskey開発や業務でメンテナンスの大変さを体感していたため、メンテナンス性を意識する上でなるべく自前のプログラムは減らしたいという思いがありました。 そのため、なるべく既存のOSSの公開されているイメージを活用し、コマンドを1回叩くだけで開発/本番環境が立ち上がるようにすることを要件に加えました。 これの副次的効果として開発・運用時にホストの環境を汚さず、環境構築の手間を大幅に省くことができました。

記事ごとにディレクトリを作れるようにする

記事と画像などを別々の場所に保存すると、対応関係が分からなくなったり、探す手間が増えたりします。 そのため、記事ごとにディレクトリを作り、記事とメディアを一緒に保存できることを要件にしました。

記事はMarkdownで書けるようにする

軽いメモを取るときでもMarkdownで書いてしまうくらいMarkdownに飼い慣らされてしまったのでこれは必須だと考えていました。 直近で自分のHPもMarkdownで書けるようにしたらものすごく快適になったからというのもあります。

記事はFediverseにも配信する

Fediverse上のメジャーなプラットフォームであるMastodonやMisskeyはどちらも(マイクロ/ミニ)ブログサービスを提供するためのプラットフォーム基盤と謳っています。

Mastodon

Your self-hosted, globally interconnected microblogging community

Misskey

Misskeyはオープンソースの分散型マイクロブログプラットフォームプロジェクトです。

加えて分散型SNSユーザー有志のホームページでは以下のように接続できるプラットフォームの例としてマイクロブログ・ブログを最初に挙げています。

マイクロブログ、ブログ、フォトブログ、ビデオホスティングなどの多様なプラットフォームが接続されています。

であるならばブログをFediverseに配信するのは当然でしょう。

記事に対するFediverse上での反応(いいね・ブースト/リノート・リアクション・リプライ・引用)はすべて記事上から見れるようにする

自分がなぜここまでMisskeyにハマっているのかを考えたときに真っ先に浮かんだのがいろんな人から多様なリアクションを受け取れることでした。 そのため、Fediverseにブログ記事を配信する際にこの楽しみが失われてしまっては勿体ないと考え、要件に加えました。 記事に反応がたくさんついているとちゃんと読まれているんだなと感じ、承認欲求が満たされて精神衛生上とてもよいです。

技術選定

WordPress+ActivityPubプラグイン

この要件を満たすことができるOSSがないかClaudeに聞いたところ、WordPress+ActivityPubプラグインをおすすめされました。 しかしphp2shellでPHPを使っているサービスが軒並みメンテナンスに入って大変なことになっているのを見ていたこと、PHPは脆弱性の数でアピールしていることから自宅でホスティングしてメンテナンスしていくのはかなりきついだろうと思い採用を見送りました。

WriteFreely

つぎにおすすめされたのがWriteFreelyでした。

https://writefreely.org

これひとつでFediverseとの連携が可能でかなり魅力的に思えたのですが以下の点から採用を見送りました。

Hugo+GoToSocial+GoatCounter

次におすすめされたのがHugo+GoToSocial+GoatCounterの構成でした。

https://gohugo.io

https://gotosocial.org

https://www.goatcounter.com

これは実際にClaudeに実装させてローカルでの動作環境を試してみました。 しかし試しているうちに公開されているリアクションを読み取るだけでも認証が必要になり、サーバー側で認証をしアクションを中継する常駐プログラムが必要になることから採用を見送りました。

Madblog

これを踏まえてブログとFediverseサーバーが一体化したOSSを使った方がいいのではとなり、Claudeに調査させたところMadblogが見つかりました。

https://github.com/blacklight/madblog

実際に使って試してみたのですが、以下の点から採用を見送りました。

  • 記事とメディアデータの保存先のディレクトリが異なる

    • メディアデータについては/img直下にサブディレクトリを作成できない
  • x64向けイメージしか配布していない

    • Raspberry Piなどでホスティングしたくなったときにイメージをビルドしなくてはならず、手間が増える
  • 数式を表示できるようにするためにフルでイメージをビルドするとイメージサイズが2GBを超える

    Includes all plugins - including LaTeX and Mermaid; > 2 GB in size.

  • バックエンドがPython

    • 個人的にバックエンドがPythonのWebアプリはなるべく動かしたくないという思いがあった(個人の感想)

最終的な構成

最終的にHugoで記事ごとにディレクトリを作成できるなど執筆体験が非常によかったため、以下のようなHugo+Hollo+GoatCounterの構成にしました。

https://docs.hollo.social/

Hugo+GoToSocial+GoatCounterの構成とかなり似ていますが、投稿・リプライ数・フォロワー数を認証無しで読み取ることができ、中継するための常駐プログラムが不要であるからHolloを採用しました。

システム構成図

システム構成図

それぞれの役割はこのようになっています。

  • Caddy: Hugoが生成したページを配信し、連合や計測の要求をHollo・GoatCounterに転送する
  • Hugo: ブログ本体
  • Publisher: RSSから新しい記事を見つけ、Holloに投稿する
  • Hollo: 新規投稿記事のリモートへの配送とリアクションの受信を行う
  • GoatCounter: ブログ記事の閲覧数を取得する

ブログのページでは、HolloとGoatCounterから反応や閲覧数を取得し表示しています。 返信や引用は、Holloが取得できる範囲のものを表示しています。

工夫した点

工夫した点として初回の管理者作成画面は公開側からのアクセスを遮断し、外部に公開しない管理用ポートから設定するようにした点があります。

Holloは初回起動直後にページにアクセスし、アカウントを作成する必要があります。 しかしこれをCloudflare Tunnelで公開した状態でその公開URLにアクセスし、アカウント作成を行おうとすると悪意のある第三者が先にアクセスしてアカウントを作成してしまう懸念がありました。 そのため、Holloの初回の管理画面には外部には公開しない管理用ポートからしかアクセスできないようにすることでこの問題を解決しました。 普段Holloの管理画面に入ることはほとんどないのでこの機能により安心感は増したのですが、いざ管理画面に入りたくなったときに管理用ポートを開くのが面倒でもうすこしいい方法がなかったかなと思っています。

今後の展望

今後以下の機能・ページを実装したいと考えています。

  • aboutページの追加
  • フォロワー一覧を表示できるように
  • 各記事から前のエントリと次のエントリに飛べるように

Fediverseの連携機能は現状満足していますが見た目の作り込みはまだ甘いと感じています。 そのため、フロントエンドの強化を今後頑張る予定です。

最後に

今回作成したブログシステムはGitHub上で公開しているのでぜひ使ってみてください。

今後もいろんな記事を投稿する予定なので以下のハンドルをフォローしたり記事にリアクションやリプライをくださると嬉しいです!

@blog


  1. といいながらGoogleに年間1.5万円くらい払ってデータを全部預けるGoogleの犬をやっている ↩︎

blog.jj1guj.net

JJ1GUJのブログの紹介

このブログの構成を紹介します