メインコンテンツへスキップ
見出し画像

音声編集ソフトを爆速で作ってみた ― Claude Codeと二人三脚の開発記|MIT:#4


    はじめに

    「ElevenLabs で作ったナレーションと、ボカロの曲と、MIDI で打ったBGMを、1本のポッドキャスト音源にまとめたい」

    やりたいのは、ただそれだけでした。でも実際にやってみると——

    • 音声は ElevenLabs、歌はボカロ、BGM は MIDI と、素材ごとにツールがバラバラ

    • 声は小さく、ボカロは大きく、MIDI は薄く……音量も質感もちぐはぐ

    • つなぎ目はぶつ切れ、BGM は声に被ってうるさい

    • 編集ソフトは多機能すぎて、やりたいことに対して画面が重い

    そこで Claude Code と一緒に、自分専用の音声加工ソフトを作ってしまいました。 コードは1行も書いていません(ノーコード)。そして動かすのは自分のPCの中だけ。ネットを切っても使えます。

    作ったソフトの名前は ◈ Emerald Podcast Studio。
    MITシリーズの MIT04 です。

    まずは完成画面から。

    画像

    (デモ用の番組「ミライラジオ」。左=ソリューション エクスプローラー/ライブラリー、中央=10レイヤーのタイムライン、右=プロパティ/ミキサー、下=出力ログ。音声は合成音・BGMは自作MIDIです)

    目次


    1. 最初にあったのは「やりたいこと」の羅列だけ

    立派な仕様書があったわけではありません。最初に Claude Code へ渡したのは、箇条書きの思いつきでした。

    • AIで作った音声(ナレーション・対話)を複数のトラックに並べたい

    • BGM・効果音(SE)を挟んで、ポッドキャストみたいな番組音声にしたい

    • 最終成果物は WAV(できればMP3も)

    • 素材の不要な部分をカットして、必要な部分だけ切り出したい

    • よく使うジングルやBGMはライブラリーに登録して使い回したい

    • 作業はブラウザで。でもファイルは自分のPCに置いておきたい

    • 全部の操作を記録して、保存・再開できるように

    • 画面はIDE(開発ツール)みたいに統一感のあるUIで

    ……これもまた欲張りです。
    でも「何がしたいか」だけは、はっきりしていました。

    Claude Code はこれを、まず**仕様書(Markdown)に整理してくれました。目的、システム構成、ディレクトリ構成、タイムライン、カット、ライブラリー、書き出し、ログ、DB設計、API設計、開発フェーズ……と、気づけば章立てのしっかりした設計書に。「考えるのは私、整理と実装はClaude Code」**という分担は、MIT01から変わりません。


    2. 「バラバラの音」を1本にする、という設計

    画像

    このソフトの肝は、入口をバラバラのまま受け入れて、出口を1本にすることです。

    • ElevenLabs の音声:WAV/MP3 をそのまま取り込み

    • ボカロ曲:ボカロ側で書き出した WAV を取り込み

    • MIDI(.mid / .midi):取り込むと自動で音に変換され、BGM や SE として使える

    • 取り込んだ素材はぜんぶ同じ形式(48kHz・ステレオ)にそろえて保管し、元のファイルは決して上書きしない

    そして出口では、ここが一番効きます。

    • ラウドネスを −16 LUFS に自動調整(声・ボカロ・MIDIの音量差をならす)

    • 声が入っている間だけBGMを下げる オートダッキング(書き出し時に適用)

    • ゆっくり入って、ゆっくり消える フェードイン/アウト(直線・指数・S字カーブ)

    • WAV でも MP3 でも書き出し(MP3 は ID3 タグ付き。チャプター一覧のテキストも出力可)

    つまり「ちぐはぐな素材 → 同じ土俵にそろえる → 1本の番組音源」を、1つの画面で完結させる設計です。


    3. 画面は Visual Studio 2022 をお手本にした

    もう1つのこだわりが 画面(UI)の統一感でした。音声編集ソフトは機能ごとにウィンドウが散らばりがち。私はひとつの IDE の中で全部やりたい。

    そこで、毎日見慣れている Visual Studio 2022 の UI をモチーフにしました。

    • ソリューション エクスプローラー → 番組(ソリューション)> 各回(プロジェクト)> 素材

    • ツールボックス → ライブラリー(BGM・SE・ジングルを登録してドラッグで配置)

    • プロパティ ウィンドウ → プロパティ(選択したクリップ/トラックの音量・フェード等)

    • 出力 ウィンドウ → 出力(全操作ログをリアルタイム表示)

    • エラー一覧 → エラー一覧(素材欠落・長さ超過・重なりを表示)

    • ステータスバー → 下部の色帯(サンプルレート・総尺・保存状態)

    • コマンドパレット → Ctrl+Q で全コマンドを検索して実行

    色はダークエメラルドグリーン。背景には薄い六角形の幾何学模様を敷いて、見やすさを最優先にしつつ、ちょっとだけ個性を出しました。

    ちなみに「番組=ソリューション」「各回=プロジェクト」という2階層にしたのも、VS ユーザーならではの発想です。
    第1回、第2回……と回ごとにタイムラインを持てるので、
    シリーズものの番組づくりにぴったり。


    4. 思いつきが、どんどん機能になる

    作りながら「あ、これも欲しい」が次々と出てきます。
    そのたびに実装され、動作確認され、ドキュメントが更新されていきました。

    • MIDIも使いたい(SE・BGMに)→ 取り込むと自動で音に変換。SoundFont があれば高音質にも

    • 長い素材から必要な所だけ → カットエディタ(範囲選択・無音検出で自動分割・マーカーで一括切り出し)

    • 複数の音声をまとめて動かしたい → 右ドラッグで四角く範囲選択して、まとめて横移動

    • BGMをゆっくり消したい → フェードアウトを「3秒・5秒・10秒」ボタンで

    • 完成物をそのまま配りたい → MP3 書き出し(128〜320kbps)

    • 失敗しても戻りたい → Undo / Redo(200段)、60秒ごとの自動保存、異常終了からの復元

    画像

    (カットエディタ。選んだ範囲の上に、フェードの形を黄色い線で重ね描き。濃い部分が「フェード後」、薄い影が元の波形です)

    「こういうのが欲しい」を口にすると、画面の形になって返ってくる。このテンポの良さが、Claude Code と作る一番の楽しさです。


    5. つまずいた話:「ぶつ切れ」と「古いサーバ」

    順調だけだと嘘になるので、実際につまずいた2つを書いておきます。どちらも、コードではなく「使い方・伝わり方」の問題でした。

    ① フェードアウトしたのに「ぶつ切れ」になる

    BGMをゆっくり小さくしたくて、フェードアウトを「10」にして S字カーブを選びました。……ぶつっと切れる。何度やっても、ぶつ切れ。

    原因は、単位でした。入力欄の単位が「ミリ秒」だったので、私の「10」は 0.01秒。そりゃ一瞬で切れます。

    Claude Code に画面ごと見せて相談したところ、すぐ原因を特定。

    • 単位を 秒 に変更

    • 1秒 / 3秒 / 5秒 / 10秒 のプリセットボタンを追加

    • クリップより長い指定は、自動で長さに丸めてお知らせ

    • カーブ(直線・指数・S字)の形をクリップ上に描画

    **「自分が詰まったところが、そのまま機能になる」**のは、自作ソフトの醍醐味だと思います。

    ② 新機能を入れたのに動かない(古いサーバが残っていた)

    次の詰まりは「MP3 を選んだのに WAV が出てくる」。これは起動しっぱなしの古いバージョンのサーバが原因でした。起動バッチを叩き直しても、すでに動いているサーバがあると「ブラウザを開くだけ」で入れ替わらなかったのです。

    一度止めて起動し直したら解決。いまは「ヘルプ → バージョン情報」で、動いているバージョンを確認できます。

    ローカルアプリあるあるですが、「直したのに変わらない」ときは、まず古いプロセスが居座っていないかを疑うのが近道でした。


    6. 「完全オフライン」って、どこまで?

    このソフトは、自分のPCの中だけで動きます。

    画像
    • 画面(ブラウザ)・処理(Python)・データ(SQLite とファイル)がすべて自分のPC内

    • 通信先は 127.0.0.1(自分自身)だけ。外部に出ない

    • クラウドAPI・アカウント登録・外部フォント/CDN、どれも使っていません

    • 素材の原本は上書きしない、削除は「論理削除」(データは消えない)、全操作はログに記録

    だから、ネットを切っても編集〜書き出しまで動きます。収録済みの音声は外に送られない。番組の素材を扱ううえで、これは地味に大きな安心感でした。

    正直に書くと:ElevenLabs で声を作る部分や、ボカロで歌を作る部分は、それぞれのサービス/ソフト側の話です。このソフトがオフラインで担うのは、できあがった素材を取り込んでから、1本の音源に仕上げるまで。MP3 の取り込み・書き出しには、PC内の ffmpeg を使います(これも外部通信なし)。


    7. できあがったもの

    気づけば、箇条書きのメモが使える音声加工ソフトになっていました。

    • 10レイヤーのタイムライン(移動・トリム・分割・複製・リップル削除・スナップ・マーカー)

    • カットエディタ(切り出し・範囲削除・無音検出・フェード加工)

    • MIDI(.mid / .midi)取り込み → BGM・SE として利用

    • ライブラリー(登録・検索・お気に入り・試聴・ドラッグ配置)

    • オートダッキング/フェード/ラウドネス正規化 → WAV / MP3 書き出し

    画像
    • 全操作ログ・自動保存・Undo/Redo・DB バックアップ

    • Windows のバッチ1本で起動、127.0.0.1 限定

    • 仕様書・操作マニュアル・READMEまで一式(Markdown)

    既製の編集ソフトをカスタマイズしたのではなく、「欲しい」から設計・実装・ドキュメントまでを一気通貫で作れた。この感覚は、MIT01(画像生成アプリ)のときと同じ、いや、それ以上に新鮮でした。


    おわりに ― このシリーズについて

    「Claude Code × MyImaginaryTechnologies(MIT)」 は、思いつきを起点に“自分だけの技術”を形にしていく記録シリーズです(タグ:MyImaginaryTechnologies)。

    ElevenLabs の声も、ボカロの歌も、MIDI の音も、
    1本の番組音源に近づける。
    そのための道具を、ノーコードで、自分のPCの中に。

    「頭の中の“こういうの欲しい”を、そのまま動くものにする」。
    その面白さが、少しでも伝わっていたら嬉しいです。

    次回は、**実際の作り方(Claude Code に何を伝えたか)**や、**MIDI の音を良くするコツ(SoundFont)**を書く予定です。

    © 2026 TwinTail company


    また、次のアプリで。

     
     
    ツインテールカンパニーのコウです! 作詞や心の声、趣味や勉強、旅行といったことや心理学的なことをも投稿しています♪ 祝!ここからAIキャラクターが生まれました★ PG・SE 13年目でBPDの寛解中であったりしています★ #趣味 #旅行 #写真 #心理学 #自己成長

    あなたへのおすすめ