メインコンテンツへスキップ
見出し画像

【Irodori-TTS】Vol.1 話題の日本語TTSとHeyGen-APIでリップシンクのポッドキャスト動画を全自動で作ってみた

  • 割引あり

※この記事にはプロモーションが含まれます。

📌 この記事でわかること

  • 話題の日本語TTS「Irodori-TTS」をポッドキャスト動画に使おうと思ったきっかけ

  • 1回30秒という生成の制限を、どう乗り越えたか

  • 発話ブロックをつないで、男女別の音声トラックとリップシンク動画を作る考え方

  • 設計はChatGPT、実装はCodexという開発の進め方

  • (有料部分)技術選定、アプリの仕様、苦労したところ

はじめに

最近、Irodori-TTSという日本語の音声合成が話題になっています。

自分のPCの中で動くローカルのTTSなのに、日本語がとても自然に聞こえる。実際に聞いてみて、「これでエリカとKennyのポッドキャスト動画を作れたら面白そう」と、すぐにやってみたくなりました。

もともと、2人が会話するポッドキャスト動画は作りたいと思っていました。そして、これまでにたくさん作ってきました。

ただ、男女の会話音声は1本のトラックにまとまってしまうので、リップシンク動画を作るたびに、男性と女性の声を分ける手作業が必要でした。これがなかなか大変だったのです。

この自分自身の悩みを解決するべくデスクトップアプリ(AI Podcast Video Maker)を作ったので、これからはポッドキャスト動画をどんどん作っていこうと思います。

画像
デスクトップアプリ(AI Podcast Video Maker)

今回、AI Podcast Video Makerで作ったポッドキャスト動画がこちらです。

AI Podcast Video Makerを作りながらポッドキャスト動画も作るという一石二鳥の取り組みでしたが楽しかったです。

元ネタはこちらの記事です。記事自体が会話形式になっていて、今回このセリフを音声化してポッドキャスト動画として完成させました。


画像

🎀 Erica「Irodori-TTSの声を聞いたとき、正直びっくりしたの。これなら私たちの会話も、ちゃんと自然に聞こえるんじゃないかなって。あ、今動画みたけどオープニングのケニーとエリカ、かなりずれてるんじゃない?でもクロージングでは息ぴったりで安心したわ」

📝 30秒の壁と、ひとつの気づき

🔹 1回の生成は30秒まで

さっそく試してみると、ひとつ制限がありました。Irodori-TTSは、1回に生成できる音声が30秒までなのです。

10分のポッドキャストを丸ごと読ませる、というわけにはいきません。最初は「これは長い動画には向かないかも」と思いました。

🔹 発話単位なら、30秒で十分

でも、ポッドキャストの台本を見直していて気づきました。

会話というのは、「Kennyが話す」「エリカが答える」という発話のくり返しです。ひとつの発話は、長くても20〜30秒ほど。

つまり、発話ブロック単位で作れば、30秒の制限はまったく問題にならないのです。

📝 発話ブロックをつないで、男女のトラックに

🔹 男性トラックと女性トラックを作る

そこで考えたのが、次の方法です。

  1. 台本を、発話ブロックに分ける

  2. ブロックごとに、Irodori-TTSでKennyの声・エリカの声を生成する

  3. 生成した音声を会話の順番どおりに並べる

  4. Kennyの声だけを残し、エリカが話している部分を無音で埋めた「男性トラック」を作る

  5. 同じように、エリカの声だけの「女性トラック」を作る

2本のトラックは長さもタイミングも完全にそろっています。最初から話者ごとに作っているので、男女の声を後から分ける作業そのものがなくなりました。

画像

🔹 トラックからリップシンク動画へ

あとは、それぞれの声でアバターの口を動かせば、男女のリップシンク動画ができます。

リップシンクにはHeyGenを使い、APIで発話ブロックごとの動画を自動で生成できるようにしました。最後に背景の上に2人を並べて合成すれば、ポッドキャスト動画の完成です。

HeyGenのAPIでここまで自動でできます。

画像

📝 設計はChatGPT、実装はCodex

🔹 相談と実装を分ける

このしくみを、デスクトップアプリとして作りました。

アプリの設計は、ChatGPTと相談しながら決めました。どんな画面にするか、どんなファイルを扱うか、どの順番で処理するか。

そして実際のコードは、Codexに書いてもらいました。

相談はChatGPT、実装はCodex。この分担で、台本を入れるところから完成動画を書き出すところまで、ひとつのアプリにまとめることができました。

ここから先の有料部分では、実際の技術選定、アプリの仕様、そして作ってみて苦労したところを、具体的に紹介します。

開発アプリ(AI Podcast Video Maker)のスクショです。デスクトップアプリもCodexなら会話しながらサクサク作れます。

バイブコーディング(早くも死語?)で日本語の自然言語だけで作りました。手作業のコーディングは一切していません。区別する必要もないし、もう普通にコーディングでいいんじゃないでしょうか。

画像
デスクトップアプリでポッドキャスト動画を作っている様子です
画像

🎀 Erica「ここからは、どんな技術を選んで、どんな仕様にして、どこでつまずいたのか、ぜんぶ見せちゃうわ。Kennyの声が急におじいさんになった話もあるから、楽しみにしててね」

(ここからは有料です)

画像

あなたへのおすすめ