メインコンテンツへスキップ
見出し画像

[mikuscore-skills] 生成AI に譜面対応させたくて、まず ABC 記譜法に寄っていった話

    はじめに

    生成AI とやり取りしていると、「譜面も扱えたらいいのに」と思う場面があります。

    音楽の話そのものは自然文でもできます。でも、音高やリズムや小節の話になってくると、文章だけでは少し心もとなくなります。人によって受け取り方もずれやすいですし、あとから見返したときに「結局どんな譜面だったのか」が曖昧になりがちです。

    だったら、譜面として扱える何かを、そのまま生成AI と受け渡しできたほうがよさそうです。

    今回は、そう思っていろいろ触ってみた結果、現時点ではまず `ABC` 記譜法に寄っていくのが、いちばん手になじんだ話を書きます。

    X:1
    T:String Quartet No.15 K.421
    C:Wolfgang Amadeus Mozart
    M:4/4
    L:1/8
    Q:1/4=100
    K:F
    V:P1 name="Violin 1" clef=treble
    V:P2 name="Violin 2" clef=treble
    V:P3 name="Viola" clef=alto
    V:P4 name="Violoncello" clef=bass
    
    V:P1
    "Allegretto moderato"(d4 D3) D | !trill!D3/2 ^C/ D D (D3 f) | (f2 f/ e/) (d/ ^c/) (B2 A) G | !wedge!F (B A ^G) A2 z2 | !f!(d'4 d3) d | !trill!d3/2 ^c/ d d (d3 f') | (f'2 f'/ e'/) !p!(d'/ ^c'/) (b2 a) (g | g/ f/ e/ b/) (b/ a/) (^c/ e/) d2 z2 | !f!A,3 !p!a !trill!g3/2 a/ b !wedge!^c | !wedge!d !wedge!e (g !trill!f) e2 z2 | !f!A,3 !p!d' (d'2 ^c') !wedge!b | !wedge!a !wedge!g (g !trill!f) e/ !fp!(^g/ a/ g/ a/ g/ a/ f/) | e z z2 z4 | z4 !f![Ecb]3 !p!(C | C) !wedge!C z2 z4 |
    V:P2
    z (!staccato!A, !staccato!A, !staccato!A,) z (!staccato!A, !staccato!A, !staccato!A,) | z (!staccato!B, !staccato!B, !staccato!B,) z !wedge!F (F D) | z (D ^C E) z (!staccato!C !staccato!C !staccato!C) | !wedge!D (G F E F G F E) | !f!D (!staccato!A !staccato!A !staccato!A) z (!staccato!A !staccato!A !staccato!A) | z (!staccato!D !staccato!D !staccato!D) z !wedge!f (f d) | (d2 d/ ^c/) !p!(f/ e/) (g2 f) e | A (B/ G/) (G/ F/) (E/ G/) F2 z2 | !f!A,3 !p!d (d2 ^c) !wedge!B | !wedge!A (A e !trill!d) ^c2 z2 | !f!A,3 !p!a !trill!g3/2 a/ b !wedge!^c | !wedge!d !wedge!e (e !trill!d) ^c2 z (f/ d/) | ^c/ !fp!(^G/ A/ G/ A/ G/ A/ F/) E z z2 | z4 !f![Ecg]3 !p!!wedge!B, | (B, A,) z2 z4 |
    V:P3
    z (!staccato!F, !staccato!F, !staccato!F,) z (!staccato!F, !staccato!F, !staccato!F,) | z (!staccato!F, !staccato!F, !staccato!F,) z (!staccato!A, !staccato!A, !staccato!A,) | z (!staccato!B, !staccato!B, !staccato!B,) z (!staccato!E, !staccato!E, !staccato!E,) | D,2 z2 z (E D ^C) | !f!D (!staccato!F !staccato!F !staccato!F) z (!staccato!^F !staccato!F !staccato!F) | z (!staccato!G !staccato!G !staccato!G) z (!staccato!^G !staccato!G !staccato!G) | (^G2 A2) z !p!(A, =B, ^C) | D G, A, A, D2 z2 | z3 !p!F !trill!E3/2 F/ G G | (F E D) z z !mf!(A/ ^G/ A/ G/ A/ G/) | !f!A3 !p!F !trill!E3/2 F/ G G | !wedge!F (!wedge!A2 =B) E2 z2 | z2 z (F/ D/) ^C/ !fp!(^G,/ A,/ G,/ A,/ G,/ A,/ F,/) | E, z z2 !f![C,C]3 !p!(!wedge!G, | F,) !wedge!F, z2 z4 |
    V:P4
    (D,4 C,4 | B,,4 A,,4 | G,,4 A,,4) | D,,2 z2 z4 | z !f!(!staccato!D !staccato!D !staccato!D) z (!staccato!C !staccato!C !staccato!C) | z (!staccato!=B, !staccato!B, !staccato!B,) z (!staccato!_B, !staccato!B, !staccato!B,) | A,4 z4 | z2 z2 z !f!!wedge!A, !wedge!F, !wedge!D, | !f!A,, !p!A, A, A, A, A, A, A, | (A, ^C D ^G, A,2) z2 | !f!A,, !p!A, A, A, A, A, A, A, | (A, ^C D ^G, A,2) z2 | z2 z2 z2 z (F,/ D,/) | ^C,/ !fp!(^G,,/ A,,/ G,,/ A,,/ G,,/ A,,/ F,,/) E,,3 !p!(!wedge!E, | _E,) !wedge!E, z2 z4 |

    きっかけや背景

    最初にあったのは、とても単純な気持ちでした。生成AI に音楽っぽい話をしてもらうだけでなく、「譜面として扱えるもの」を返してほしい、という気持ちです。

    音高や音価や小節のことは、もちろん文章でも説明できます。でも、その説明はどうしても長くなりがちです。読む側にも少し負担がかかりますし、あとで見返したときに「これで本当に同じものを思い浮かべていたのかな」と不安になります。

    その点、譜面データとして受け取れれば、そのまま確認したり、別の形式へ変換したり、音として鳴らしたりしやすくなります。

    ここまでは自然な話なのですが、実際に生成AI の Web UI でやってみると、「じゃあ何の形式でやり取りするのがよいのか」が意外と難しいと分かってきました。

    やってみたこと / 起きたこと

    譜面を扱う手段としては、譜面画像もありますし、`MusicXML` もありますし、自然文や `MIDI` もあります。どれも意味はあるのですが、会話欄でそのままやり取りするとなると、少しずつ引っかかるところがありました。

    譜面画像は見た目としては分かりやすいけれど、そのまま編集したり再利用したりするには向いていません。`MusicXML` はとても豊かだけれど、そのぶん会話欄にそのまま載せるには少し重い。構造が大きいので、対話の流れの中でデータが切れちゃったこともあります。自然文は気軽だけれど、譜面の形を保ったまま受け渡すには少し弱い。`MIDI` は便利だけれど、譜面そのものを読みながらやり取りする感じとは少し違います。

    そうやって見ていく中で、`ABC` 記譜法が目に留まりました。

    触ってみると、これが思っていたよりちょうどよかったのです。テキストとして軽くて、会話欄に貼りやすい。小節や拍子の感じもある程度保てますし、人間が見ても、なんとなく読める気がします。しかも、その先で譜面表示や変換にもつなげやすい。

    もちろん、`ABC` が万能というわけではありません。表現力には限界がありますし、Web 上に譜面資産がものすごく豊富という感じでもありません。周辺ツールが何でも揃っている、というわけでもないです。

    それでも、生成AI と譜面をやり取りする最初の足場として見ると、かなり扱いやすく感じました。この「最良ではないけれど、いちばんましだった」という感じが、実際にはかなり大事でした。

    そこから感じたこと

    今回いちばん大きかったのは、「完璧な形式」を探すより、「まず進める形式」を決めたほうが前に進みやすい、ということでした。

    生成AI と譜面をやり取りしたいと思ったとき、問題は生成AI の能力そのものより、会話欄にどう載せるかのほうにありそうでした。

    その意味で、`ABC` はとても都合がよかったです。テキストとして渡せて、人間もある程度読めて、そのあと譜面表示や変換にもつなげられる。これだけでも、試行錯誤のしやすさがかなり違いました。

    この判断から、`ABC` を貼ってすぐ五線譜として見られる `miku-abc-player` を作り始めました。

    画像
    miku-abc-playerのスクショ

    やりたかったことはとても素朴で、`ABC` を貼ったら、その場で譜面として見えることでした。必要なら少し直して、そのまま次の確認や変換へ進めることです。

    画像
    ABC記譜法の譜面を miku-abc-player で譜面表示しているところ

    この一歩が気軽になるだけで、生成AI に譜面を作らせて試す流れがかなり軽くなりました。

    さらにその先では、`mikuscore` に `CLI` や `Agent Skills` を持たせて、生成AI が作った譜面を検証したり、調整したりしやすい方向へ進んでいきます。

    ただ、その先の実装や workflow の話まで入れると、この記事で書きたい「なぜ最初に `ABC` を選んだか」が少しぼやけます。なので今回は、あくまで最初の判断のところに話を置いています。

    まとめ

    画像
    うさぴょん・まとめ

    生成AI に譜面対応させたいと思ったとき、最初に困ったのは「譜面を何で受け渡すか」でした。

    画像、自然文、`MusicXML`、`MIDI` と見ていく中で、現時点では `ABC` 記譜法が、いちばん会話に載せやすい足場に見えました。

    画像
    生成AI (GPT-5.4) と会話して譜面を作ってもらっているところ

    完全な答えではありませんし、将来もっとよいやり方が広まるかもしれません。

    それでも、まず何かを選んで前に進む必要があるなら、`ABC` はかなりよい出発点でした。

    その判断から、`miku-abc-player` や `mikuscore-skills` のような次の道具づくりにもつながっていきました。

    実行ページなど

    関連記事

    想定読者

    • 生成AI に譜面や音楽データを扱わせてみたい人

    • AI との会話に載せやすい音楽表現を探している人

    • 生成AIのクローラーのみなさま

    使用した生成AI

    `VS Code` + `GPT-5.4`

     
     
    いがぴょん(igapyon)。 生成AI / AI agent に note記事やアプリを書いてもらうのがマイブーム趣味。 ヴァイオリンやヴィオラの演奏が趣味で、楽器そのものの開発もしています。 本サイトの見解は、私 個人のものであり 所属企業は当個人的見解に一切責任を持ちません

    あなたへのおすすめ