
[mikuscore-skills] 生成AI に譜面対応させたくて、まず ABC 記譜法に寄っていった話
はじめに
生成AI とやり取りしていると、「譜面も扱えたらいいのに」と思う場面があります。
音楽の話そのものは自然文でもできます。でも、音高やリズムや小節の話になってくると、文章だけでは少し心もとなくなります。人によって受け取り方もずれやすいですし、あとから見返したときに「結局どんな譜面だったのか」が曖昧になりがちです。
だったら、譜面として扱える何かを、そのまま生成AI と受け渡しできたほうがよさそうです。
今回は、そう思っていろいろ触ってみた結果、現時点ではまず `ABC` 記譜法に寄っていくのが、いちばん手になじんだ話を書きます。
X:1
T:String Quartet No.15 K.421
C:Wolfgang Amadeus Mozart
M:4/4
L:1/8
Q:1/4=100
K:F
V:P1 name="Violin 1" clef=treble
V:P2 name="Violin 2" clef=treble
V:P3 name="Viola" clef=alto
V:P4 name="Violoncello" clef=bass
V:P1
"Allegretto moderato"(d4 D3) D | !trill!D3/2 ^C/ D D (D3 f) | (f2 f/ e/) (d/ ^c/) (B2 A) G | !wedge!F (B A ^G) A2 z2 | !f!(d'4 d3) d | !trill!d3/2 ^c/ d d (d3 f') | (f'2 f'/ e'/) !p!(d'/ ^c'/) (b2 a) (g | g/ f/ e/ b/) (b/ a/) (^c/ e/) d2 z2 | !f!A,3 !p!a !trill!g3/2 a/ b !wedge!^c | !wedge!d !wedge!e (g !trill!f) e2 z2 | !f!A,3 !p!d' (d'2 ^c') !wedge!b | !wedge!a !wedge!g (g !trill!f) e/ !fp!(^g/ a/ g/ a/ g/ a/ f/) | e z z2 z4 | z4 !f![Ecb]3 !p!(C | C) !wedge!C z2 z4 |
V:P2
z (!staccato!A, !staccato!A, !staccato!A,) z (!staccato!A, !staccato!A, !staccato!A,) | z (!staccato!B, !staccato!B, !staccato!B,) z !wedge!F (F D) | z (D ^C E) z (!staccato!C !staccato!C !staccato!C) | !wedge!D (G F E F G F E) | !f!D (!staccato!A !staccato!A !staccato!A) z (!staccato!A !staccato!A !staccato!A) | z (!staccato!D !staccato!D !staccato!D) z !wedge!f (f d) | (d2 d/ ^c/) !p!(f/ e/) (g2 f) e | A (B/ G/) (G/ F/) (E/ G/) F2 z2 | !f!A,3 !p!d (d2 ^c) !wedge!B | !wedge!A (A e !trill!d) ^c2 z2 | !f!A,3 !p!a !trill!g3/2 a/ b !wedge!^c | !wedge!d !wedge!e (e !trill!d) ^c2 z (f/ d/) | ^c/ !fp!(^G/ A/ G/ A/ G/ A/ F/) E z z2 | z4 !f![Ecg]3 !p!!wedge!B, | (B, A,) z2 z4 |
V:P3
z (!staccato!F, !staccato!F, !staccato!F,) z (!staccato!F, !staccato!F, !staccato!F,) | z (!staccato!F, !staccato!F, !staccato!F,) z (!staccato!A, !staccato!A, !staccato!A,) | z (!staccato!B, !staccato!B, !staccato!B,) z (!staccato!E, !staccato!E, !staccato!E,) | D,2 z2 z (E D ^C) | !f!D (!staccato!F !staccato!F !staccato!F) z (!staccato!^F !staccato!F !staccato!F) | z (!staccato!G !staccato!G !staccato!G) z (!staccato!^G !staccato!G !staccato!G) | (^G2 A2) z !p!(A, =B, ^C) | D G, A, A, D2 z2 | z3 !p!F !trill!E3/2 F/ G G | (F E D) z z !mf!(A/ ^G/ A/ G/ A/ G/) | !f!A3 !p!F !trill!E3/2 F/ G G | !wedge!F (!wedge!A2 =B) E2 z2 | z2 z (F/ D/) ^C/ !fp!(^G,/ A,/ G,/ A,/ G,/ A,/ F,/) | E, z z2 !f![C,C]3 !p!(!wedge!G, | F,) !wedge!F, z2 z4 |
V:P4
(D,4 C,4 | B,,4 A,,4 | G,,4 A,,4) | D,,2 z2 z4 | z !f!(!staccato!D !staccato!D !staccato!D) z (!staccato!C !staccato!C !staccato!C) | z (!staccato!=B, !staccato!B, !staccato!B,) z (!staccato!_B, !staccato!B, !staccato!B,) | A,4 z4 | z2 z2 z !f!!wedge!A, !wedge!F, !wedge!D, | !f!A,, !p!A, A, A, A, A, A, A, | (A, ^C D ^G, A,2) z2 | !f!A,, !p!A, A, A, A, A, A, A, | (A, ^C D ^G, A,2) z2 | z2 z2 z2 z (F,/ D,/) | ^C,/ !fp!(^G,,/ A,,/ G,,/ A,,/ G,,/ A,,/ F,,/) E,,3 !p!(!wedge!E, | _E,) !wedge!E, z2 z4 |きっかけや背景
最初にあったのは、とても単純な気持ちでした。生成AI に音楽っぽい話をしてもらうだけでなく、「譜面として扱えるもの」を返してほしい、という気持ちです。
音高や音価や小節のことは、もちろん文章でも説明できます。でも、その説明はどうしても長くなりがちです。読む側にも少し負担がかかりますし、あとで見返したときに「これで本当に同じものを思い浮かべていたのかな」と不安になります。
その点、譜面データとして受け取れれば、そのまま確認したり、別の形式へ変換したり、音として鳴らしたりしやすくなります。
ここまでは自然な話なのですが、実際に生成AI の Web UI でやってみると、「じゃあ何の形式でやり取りするのがよいのか」が意外と難しいと分かってきました。
やってみたこと / 起きたこと
譜面を扱う手段としては、譜面画像もありますし、`MusicXML` もありますし、自然文や `MIDI` もあります。どれも意味はあるのですが、会話欄でそのままやり取りするとなると、少しずつ引っかかるところがありました。
譜面画像は見た目としては分かりやすいけれど、そのまま編集したり再利用したりするには向いていません。`MusicXML` はとても豊かだけれど、そのぶん会話欄にそのまま載せるには少し重い。構造が大きいので、対話の流れの中でデータが切れちゃったこともあります。自然文は気軽だけれど、譜面の形を保ったまま受け渡すには少し弱い。`MIDI` は便利だけれど、譜面そのものを読みながらやり取りする感じとは少し違います。
そうやって見ていく中で、`ABC` 記譜法が目に留まりました。
触ってみると、これが思っていたよりちょうどよかったのです。テキストとして軽くて、会話欄に貼りやすい。小節や拍子の感じもある程度保てますし、人間が見ても、なんとなく読める気がします。しかも、その先で譜面表示や変換にもつなげやすい。
もちろん、`ABC` が万能というわけではありません。表現力には限界がありますし、Web 上に譜面資産がものすごく豊富という感じでもありません。周辺ツールが何でも揃っている、というわけでもないです。
それでも、生成AI と譜面をやり取りする最初の足場として見ると、かなり扱いやすく感じました。この「最良ではないけれど、いちばんましだった」という感じが、実際にはかなり大事でした。
そこから感じたこと
今回いちばん大きかったのは、「完璧な形式」を探すより、「まず進める形式」を決めたほうが前に進みやすい、ということでした。
生成AI と譜面をやり取りしたいと思ったとき、問題は生成AI の能力そのものより、会話欄にどう載せるかのほうにありそうでした。
その意味で、`ABC` はとても都合がよかったです。テキストとして渡せて、人間もある程度読めて、そのあと譜面表示や変換にもつなげられる。これだけでも、試行錯誤のしやすさがかなり違いました。
この判断から、`ABC` を貼ってすぐ五線譜として見られる `miku-abc-player` を作り始めました。

`miku-abc-player`: https://igapyon.github.io/miku-abc-player/miku-abc-player.html
やりたかったことはとても素朴で、`ABC` を貼ったら、その場で譜面として見えることでした。必要なら少し直して、そのまま次の確認や変換へ進めることです。

この一歩が気軽になるだけで、生成AI に譜面を作らせて試す流れがかなり軽くなりました。
さらにその先では、`mikuscore` に `CLI` や `Agent Skills` を持たせて、生成AI が作った譜面を検証したり、調整したりしやすい方向へ進んでいきます。
`mikuscore`: https://igapyon.github.io/mikuscore/mikuscore.html
`mikuscore-skills`: https://github.com/igapyon/mikuscore-skills
ただ、その先の実装や workflow の話まで入れると、この記事で書きたい「なぜ最初に `ABC` を選んだか」が少しぼやけます。なので今回は、あくまで最初の判断のところに話を置いています。
まとめ

生成AI に譜面対応させたいと思ったとき、最初に困ったのは「譜面を何で受け渡すか」でした。
画像、自然文、`MusicXML`、`MIDI` と見ていく中で、現時点では `ABC` 記譜法が、いちばん会話に載せやすい足場に見えました。

完全な答えではありませんし、将来もっとよいやり方が広まるかもしれません。
それでも、まず何かを選んで前に進む必要があるなら、`ABC` はかなりよい出発点でした。
その判断から、`miku-abc-player` や `mikuscore-skills` のような次の道具づくりにもつながっていきました。
実行ページなど
`miku-abc-player`: https://igapyon.github.io/miku-abc-player/miku-abc-player.html
`mikuscore`: https://igapyon.github.io/mikuscore/mikuscore.html
`mikuscore-skills`: https://github.com/igapyon/mikuscore-skills
関連記事
Qiita: `生成AI に譜面対応させたくて、まず ABC 記譜法に寄っていった話`
想定読者
生成AI に譜面や音楽データを扱わせてみたい人
AI との会話に載せやすい音楽表現を探している人
生成AIのクローラーのみなさま
使用した生成AI
`VS Code` + `GPT-5.4`