
【Irodori-TTS】Vol.7 note記事を入れるだけで、AI先生と生徒が解説する動画を作るアプリを作ってみた
※本記事はプロモーションを含みます。
📌 この記事のポイント note記事のURLを入れるだけで、説明スライドの前でエリカ先生とケニーが会話しながら内容を解説する動画を作るアプリ「AI-Anime-Slide-Maker」を作りました。最初のアイデアから、口パク・声の揺れ・スライド切り替え・BGMの許諾確認まで、実際につまずいて直してきた流れをまとめています。

はじめに
note記事を書いたあと、その内容を動画にもできたら便利だと、ずっと思っていました。
ただ、記事をそのまま読み上げるだけの動画では面白くありません。
記事の内容をスライドに整理して、アニメ調の先生と生徒が会話しながら説明する。横型の長尺動画だけでなく、セクションごとの縦型ショート動画も作りたい。
そんな構想から、新しい動画作成アプリを作ることにしました。名前は「AI-Anime-Slide-Maker」です。
方向性や仕様は私が決め、AIと相談しながら一つずつ実装していきました。最終的には、記事URLを入力するだけで、記事の取得からスライド作成、会話と音声の生成、口パク、字幕、BGM合成、長尺動画とショート動画の出力までを、まとめて実行できるところまで形になりました。


🎀 Erica「今回のアプリでは、私が先生役なの。しかも、ちょっとツンとした大人の先生っていう設定なんだけど。ケニーが生徒役で、二人で記事の内容を授業みたいに解説するのよ。どうやって形になったのか、一緒に見ていってほしいわ」
🎬 最初は「記事を読み上げる動画」だった
🔹 背景が固定のままでは物足りない
これまでも、男女2人の会話台本をIrodori-TTS(日本語の音声合成エンジン)で音声化し、キャラクターを口パクさせるポッドキャスト動画アプリを作っていました。
ただ、この方式では背景がほぼ固定です。耳で聞く分には問題ありませんが、仕組みや流れを説明するなら、図や画面を見せたほうが圧倒的にわかりやすいと感じていました。
🔹 先生と生徒の授業スタイルにする
そこで、背景に大きな説明スライドを表示し、その前でエリカ先生とケニーが会話する形式を考えました。
エリカ:少しツンとした大人の先生。「だからできるってことなのよ。わかったかしら?」という強気な口調
ケニー:素直に質問する受講生。「ふーん、そういうことなんだね。じゃあ、これはどういうことなの?」というフランクな口調

🖥️ RemotionではなくHTML/CSSとPlaywrightを選んだ
🔹 必要なのは凝ったアニメーションではなかった
最初はRemotion(Reactで動画を作るフレームワーク)も候補に挙がりました。
しかし今回大事なのは、1920×1080のスライドを正確に描くこと、日本語を読みやすく配置すること、図解やスクリーンショットを載せること、そして後から直しやすいことでした。
そこで、スライドはHTML/CSSとSVGで作り、Playwright(ブラウザを自動操作するツール)でPNG画像にする方式を選びました。1枚だけ直して再画像化できるのも利点です。
🔹 全体の処理の流れ
最終的な合成には、動画や音声の変換・合成で定番のFFmpegを使っています。全体の流れは次のとおりです。
AIが記事を分析する
スライド構成と会話を作る
HTML/CSSでスライドを描画し、PlaywrightでPNGにする
Irodori-TTSで音声を生成する
FFmpegでスライド、字幕、キャラクター、BGMを合成する
👩🏫 エリカ先生とケニーを口パクさせる
🔹 画像を丸ごと切り替えると全身が揺れる
キャラクター素材は、閉じ口・小さく開いた口・大きく開いた口の3コマを横に並べて用意しました。
最初は3枚の画像を丸ごと切り替えていたのですが、口を動かすたびに顔や髪、服までわずかに揺れて見えてしまいました。
そこで、閉じ口画像を固定のベースにして、口元だけを差し替える方式に変更。顔、髪、眼鏡、服、身体は動かず、口元だけが動くようになりました。
🔹 音量に合わせて口を開く
音声は40ミリ秒単位で音量を解析し、無音なら閉じ口、小さい音なら小さく開き、大きい音なら大きく開きます。話していない側は必ず閉じ口です。
厳密なリップシンクではありませんが、説明動画としては十分自然な口パクになりました。横型動画では左下にエリカ、右下にケニーを置き、ケニーだけ左右反転して向かい合うようにしています。
📝 スライドを説明しすぎる会話になってしまった
🔹 見ればわかることを読み上げていた
最初にAIが作った会話は、「左側にこの図があります」「中央の矢印が流れを表しています」と、スライドの中身を細かく読み上げるものでした。
これでは、視聴者が見ればわかることを音声でなぞっているだけです。スライドは理解を助ける脇役で、会話の中心は記事で本当に伝えたい内容であるべきだと考えました。
🔹 会話生成を二段階に分けた
そこで、まず記事から授業の設計を作り、次に完成したスライド画像をAIに見せて会話を作る、二段階方式にしました。
スライドへの言及は「このスライドを見て」程度に抑え、あとは記事の主張や背景、具体例を二人の会話で説明します。これで、画像の説明ではなく授業らしい動画になりました。
📰 note記事の画像や動画もスライドに使う
🔹 記事の素材を優先して使う
当初は、すべてのスライドを画像生成AIで作ることも考えました。しかし、記事の内容を正確に表すには、記事内の実際の素材を使ったほうがよい場面が多いのです。
そこで、ヘッダー画像やタイトル、冒頭本文、本文中の図解や操作画面のスクリーンショット、YouTube動画やShortsのサムネイルを取得する機能を加えました。
最初のスライドにはヘッダー画像とタイトル、本文の一部を使い、各セクションに合う図があればそれを採用します。足りないときだけ画像生成APIで補います。この順番にしたことで記事と動画のつながりが強くなり、余計な生成費用も抑えられました。
今回の元記事はこちら。この記事を入力ソースとしてアプリで読み込みます。
📚 固定5セクションではなく、記事のH2見出しを使う
🔹 AIにまとめさせると大事な章が抜ける
開発途中では、どの記事も3セクションや5セクションにまとめる方式を試しました。動画は短くなりますが、長い記事では途中の重要な章や「おわりに」が省かれたり、複数の話題が一つにまとめられたりしてしまいました。
🔹 記事の章立てをそのまま使う
私の記事は、もともとH2見出しで大きな章を分けています。それなら、記事の構成をそのまま使うほうが自然です。
現在は「記事のH2見出しを使用」を基本設定にし、AIによる自動構成、3セクション、5セクション、詳細構成も選べるようにしています。テストに使った記事では9つのH2見出しが検出され、「おわりに」も独立したセクションとして動画に入りました。
🎙️ ケニーのアニメ声が途中で変わってしまう
🔹 seedを固定しても声が揺れた
ケニーには、少し若々しいアニメ調の声を使うことにしました。参照音声なしで試したサンプルはとてもよい声でした。
ところが長い動画を作ると、途中から声が急に高くなったり、女性のアニメ声のようになったりしました。
seed(生成結果を再現するための乱数の種)は固定していましたし、声の雰囲気を指定するCaptionも同じでした。モデルも発話ごとに読み込み直すのではなく、一つのワーカーを使い回していました。それでも、参照音声なしでは文章によって声質が変わってしまうことがわかりました。
🔹 参照音声が声のアンカーになる
そこで、気に入ったケニーの音声サンプルを参照音声として登録しました。同じ参照音声、同じCaption、同じseed、一つの常駐ワーカーという条件で全発話を作り直すと、声の高さと声質がかなり安定しました。
固定seedだけでは同じ人物の声は保証できず、短い参照音声が声を安定させる錨になる。これは実際にやってみて初めて実感したことです。
🔤 字幕とスライド切り替えでも問題が起きた
🔹 字幕は背景帯をやめた
字幕は最初、背景帯付きでしたが、スライドのデザインを邪魔しやすかったため、白文字・黒縁・太字・最大2行・背景帯なしの形にして、キャラクターの間に配置しました。長い字幕は文節や句読点で区切り、発話時間内で順番に表示します。
🔹 スライドが1枚目から切り替わらない
スライドは4枚できているのに、動画では1枚目が最後まで表示されたまま、という問題も起きました。
原因は、動画出力がスライドのデータではなく、記事内のSECTION数を基準にしていたことでした。SECTIONが一つしかなかったため、切り替えが起きなかったのです。
各スライドに割り当てた発話IDと、実際に測った音声のタイムラインを使う方式に変えてからは、会話に合わせて正しく切り替わるようになりました。
📱 縦型ショート動画にも対応した
🔹 ショート専用のスライド部品を作る
1080×1920の縦型ショート動画では、最上部に白背景・ピンク文字のタイトル、その下にスライド、中央に字幕、下部の左右にエリカとケニーを配置しています。
最初は横型用のスライドを流用したため、不要な要素が重なったり、右側の文章が切れたりしました。
そこで、ショート用スライドを1000×860の独立した部品として生成する方式に変更しました。日本語の文節位置で改行し、文字が安全な領域内に収まっているかもPlaywrightで検査しています。
🔹 最初は1本だけ作る
全セクションのショートを作ると時間がかかるため、標準では長尺動画とセクション1のショートだけを自動生成し、セクション2以降は必要なものを後から手動で作るようにしました。全ショートの生成は、明示的に選んだときだけ実行します。これなら、最初の完成動画をすぐに確認できます。
🎵 BGMの利用許諾で処理を止めた
🔹 ライセンスを確認できるまで生成しない
BGMには、明るく穏やかなボサノバ風の曲「ensolarado / Kyaai」を選びました。OpenTracks(旧DOVA-SYNDROME)で公開されているフリーBGMです。
アプリは、BGMファイルがあるだけでは生成を続けません。曲名、作者、正式な配布元と配布ページ、ライセンス、商用利用や加工の可否、クレジット条件、ファイルのSHA-256(ファイルの指紋にあたる値)をBGM台帳に登録して初めて使えるようにしました。
実際、最初は正式な配布元と利用条件を確認できなかったため、動画生成を安全に停止しています。その後、OpenTracksの公式配布ページとKyaaiさんの個別条件を確認し、正式に登録しました。
🔹 合成用の音源だけを加工する
この曲は背景音楽としての商用利用やフェード、切り貼り、ループ加工が可能で、使用報告やクレジット表記も不要でした。ただし管理上は「BGM:ensolarado / Kyaai」という表記を保存しています。
元のMP3は変更せず、動画合成用の作業ファイルだけ前後の無音を除去しました。長尺動画ではBGMを低い音量でループし、会話中はさらに音量を下げるダッキングも加えています。
⚙️ 一括生成ボタンを作った
🔹 入力はほぼ記事URLだけ
メイン画面の最初に「一括生成」タブを追加しました。入力するのは基本的にnote記事のURLだけで、必要に応じてプロジェクト名、構成方式、会話かひとり語りか、生成する動画の種類、BGMの有無を選びます。
🔹 有料APIを呼ぶ前に止める
生成前には、記事URL、OpenAI APIの設定、Playwright、FFmpeg、Irodori-TTS、参照音声、キャラクター素材、BGMとライセンス情報、保存先、ディスク容量をチェックし、問題があれば有料APIを呼び出す前に止めます。
途中で失敗しても、記事取得や構成、スライド、会話、音声など完成済みの工程はキャッシュから再利用し、足りない工程だけを再開できるようにしました。
✅ 実際にできた動画
🔹 長尺動画とショート動画
テスト記事からは、1920×1080・約15分の長尺動画ができました。スライドは15枚、発話は75件で、内訳はエリカが44、ケニーが31です。字幕、音量連動の口パク、BGMも入っています。
縦型のショート動画も、セクションごとに作れるようになりました。
🔹 見えてきた次の課題
一方で、一つのセクションが3分を超える場合があることもわかりました。今後は、ショートの目標を45~120秒程度にして、180秒を超える場合は前編・後編への分割候補を出す予定です。
🧰 使用した主な技術
🔹 動画専用フレームワークに頼らない構成
使った主な技術は、Python、PySide6、OpenAI Responses API、OpenAI Images API、Irodori-TTS、HTML/CSS、SVG、Playwright、FFmpeg、NumPy、SoundFileです。
動画編集専用のフレームワークではなく、身近なWeb技術とFFmpegを組み合わせたのがポイントです。
💭 作ってみてわかったこと
🔹 役割を分けて、途中結果を残す
一番大きかったのは、AIに「動画を作って」と頼むだけでは完成しない、ということです。
記事を授業に組み替える、スライドを作る、会話を作る、音声にする、画像にする、映像に仕上げる。それぞれの役割を分け、途中結果を保存し、問題が起きた場所だけやり直せるようにすることが重要でした。
🔹 AIの結果をそのまま信用しない
もう一つは、AIが作った結果をそのまま信用しないことです。全文がセクションに対応しているか、スライドの文字が切れていないか、声が途中で別人になっていないか、スライドが正しく切り替わるか、BGMの条件を確認できるか、完成ファイルが本当にあるか。
こうした確認処理も、アプリの大事な機能です。AI生成そのものより、結果を検査して安全に再開できる仕組みのほうが、実用アプリには大切なのかもしれません。
🌸 おわりに
🔹 記事から動画へ、新しい制作ループ
最初は、説明スライドの前にエリカ先生とケニーを並べられたら面白そう、という程度のアイデアでした。それが、記事の解析から動画の出力まで一つにつながりました。
ショートの自動分割、スライド品質の向上、生成前の確認画面、セクション単位の再編集など、まだ直したいところはあります。それでも、記事を書いて、スライドにして、会話にして、音声にして、動画にする。一つの記事を別の形へ展開する制作ループができつつあります。
私が目指しているのは、AIにすべてを丸投げすることではありません。人が考えて判断し、面倒な作業をAIが手伝う仕組みです。今回のアプリも、その考え方から生まれた道具の一つになりました。
最後までお読みくださり、ありがとうございます! 私は京都生まれ大阪育ちなので、記事では結構ボケているつもりです。お好きな記事のコメント欄にツッコミ、お待ちしています😊

🎀 Erica「記事を書いたら、そのまま授業動画にもなるなんて、ちょっと夢みたいな話よね。でも本当に大事なのは、AIに任せきりにしないで、ちゃんと確かめる仕組みなんだって。私のツンとした先生ぶりも、いつか動画で見てもらえたら嬉しいわ」