メインコンテンツへスキップ
見出し画像

【Irodori-TTS】Vol.2 横型ポッドキャスト動画から、人物を上下に配置したショート動画まで自動生成してみた

  • 割引あり

※この記事にはプロモーションが含まれます。

📌 この記事でわかること

  • 横型の長尺ポッドキャスト動画から、縦型ショートを作る方法

  • ショート用にHeyGenで動画を作り直さず、長尺のアバター動画を使い回すしくみ

  • 発話中の人物を自動で大きくする演出と、話者別の字幕

  • 1つの台本から、横型動画とショート動画の両方を作る考え方

  • (有料部分)FFmpegで人物の動画を斜めにマスクして、上下を斜めに区切る実装方法

はじめに

前回の記事では、台本から音声を作り、HeyGenのAvatar IVでKennyとEricaのリップシンク動画を生成し、背景や字幕まで合成するところまで紹介しました。

最初は「男女の対談動画を作れればいい」くらいの気持ちだったのですが、実際にYouTubeへ公開してみると、次にやりたくなったことが出てきました。

それが、「この横型動画から、そのまま縦型ショートも作れないだろうか?」ということです。

せっかく長尺の対談動画を作ったのに、ショート用にまた音声を作り直し、またHeyGenで動画を作るのは少しもったいない。

そこで今回は、すでに作った長尺のリップシンク動画を再利用して、会話の一部だけを縦型ショートに切り出す機能を追加しました。

画像

🎀 Erica「長い動画を1本作ったら、そこからショートも作れちゃうなんて、なんだかお得な気分ね。上と下で私とKennyが並ぶの、ちょっと楽しみだわ」

📝 横動画をそのまま縦に切るだけではうまくいかない

🔹 クロップすると、どちらかが見切れる

最初に思いつくのは、完成した1920×1080の横動画を、そのまま1080×1920へクロップする方法です。

でも、実際にはこれはあまり向いていません。

横型では、左にKenny、右にEricaを配置しています。これを縦長に切り抜くと、どちらかが見切れたり、2人とも中途半端なサイズになったりします。

字幕も横型向けの位置なので、そのままでは読みにくい。

そこで、ショート用は別レイアウトにすることにしました。

📝 上にErica、下にKenny

🔹 斜めに区切った上下レイアウト

今回のShortsでは、1080×1920の縦画面に、上にErica、下にKennyという上下配置を採用しました。

ただ、単純な水平線で分けるだけだと少し地味です。そこで中央の境界線を、左側が高く、右側が低い斜め線にしました。

イメージとしては、こんな感じです。

┌──────────────┐
│    Erica     │
│              │
│\             │
│  \           │
│    \         │
│      Kenny   │
│              │
└──────────────┘

この斜め分割は、以前Dzineで作った縦型動画の雰囲気を参考にしています。

斜めの角度はかなり強め。理由は単純で、人物をできるだけ大きく見せたいからです。

ショート動画では、全身よりも顔や口元が大きいほうが、リップシンクの動きがわかりやすくなります。

ちなみにこの斜めの区切りは、背景画像に線を描いているわけではありません。どうやって作っているのかは、後半の有料部分で、計算式も含めて詳しく紹介します。

で、完成したのがこちら。喋るLPについてです。


📝 ショート用にHeyGenを作り直さない

🔹 長尺のアバター動画から、必要な部分だけ切り出す

ここは、今回のしくみでかなり気に入っているところです。

ショートを作るたびに、HeyGenで新しいAvatar IVの動画を作る必要はありません。

すでに、長尺のKennyのアバター動画とEricaのアバター動画ができています。しかも、この2本は会話全体のタイムラインが完全にそろっています。

そこで、blocks.json の start・end・speaker を使って、必要な会話部分だけを切り出します。

たとえば、次の4ブロックを選べば、ちょうど2往復です。

Block 4 Erica
Block 5 Kenny
Block 6 Erica
Block 7 Kenny

この区間の開始秒と終了秒を取得して、Ericaの長尺動画、Kennyの長尺動画、conversation.wav を同じ範囲で切り出します。

これなら、リップシンクの同期もそのまま保てます。

📝 発話中の人物を自動で大きくする

🔹 自動フォーカスで動きを出す

さらにShortsでは、自動フォーカスも入れました。

blocks.json を見れば、誰が何秒から何秒まで話しているかがわかります。なので、Ericaが話しているときはEricaを少し拡大し、Kennyが話しているときはKennyを少し拡大する、という演出を自動で入れています。

Erica発話中:Erica 108% Kenny 100%
Kenny発話中:Erica 100% Kenny 108%

切り替えもいきなりではなく、0.3秒ほどかけて少しずつ拡大します。

これだけでも、ただ上下に人物が並んでいるより、ずっと動きが出ます。

🔹 Ericaだけ拡大すると右に寄る問題

実際にプレビューしてみると、また問題が出ました。Ericaを拡大したときに、人物が右へ寄ってしまったのです。

Shortsの上段は斜めに切られているので、右へ寄ると顔の位置が不自然になります。

そこでEricaだけ、拡大時に左へ補正する仕組みを追加しました。

Focus X Offset = -100

Kenny側は、そのままで問題ありませんでした。

こういう「実際に動画を見ないとわからない違和感」が、今回のアプリ開発では何度も出てきます。

📝 字幕も横動画とは別設計

🔹 話者ごとに字幕の位置を変える

次に困ったのが字幕です。

最初はShortsの下部に字幕を置いたのですが、Kennyに完全にかぶってしまいました。これでは人物を大きく表示した意味がありません。

そこで、字幕も話者別にしました。Ericaが話しているときは上段のEricaの領域へ、Kennyが話しているときは下段のかなり下の位置へ表示します。

🔹 長い発話は分けて順番に表示

さらに、1つの発話が長い場合は、一度に全部出さず、次のように表示する仕組みにしました。

  • 最大2行

  • 句読点で分割

  • 発話時間に合わせて順番に表示

字幕は「固定位置に出す文字」ではなく、会話タイムラインの一部になってきました。

📝 Shorts専用背景と共通レイアウト

🔹 Shorts専用の背景を作った

Shortsの背景は、最初は本編用のポッドキャストスタジオの背景を使うことも考えました。ただ、横型の背景を縦に使うと、どうしてもトリミングが難しい。

そこで、Shorts専用の1080×1920の背景を作りました。薄いブルーを基調にして、模様はかなり控えめです。

最上部には、「Erica & Kenny's Podcast」のネオンロゴをあらかじめ入れています。

人物や字幕はアプリ側で後から重ねるので、背景はできるだけシンプルにしました。このほうが、毎回ロゴの位置を調整しなくて済みます。

🔹 レイアウトは一度決めたら共通化

Shortsを1本作ってみると、「毎回、人物の位置と拡大率を調整するのは大変」という新しい問題が出てきました。

そこで、うまくできたプロジェクトの設定を、そのまま共通レイアウトとして保存できるようにしました。たとえばShortsでは、次の設定を共通のデフォルトにしています。

Erica X = 181 Y = -462 Scale = 1.66
Kenny X = -293 Y = 405 Scale = 1.17

斜め線の位置や自動フォーカス、字幕の位置も同じです。

これで新しいプロジェクトを作っても、最初からほぼ完成形のレイアウトが表示されます。毎回ゼロから調整する必要がありません。

画像

📝 1つの台本から、複数の動画へ

🔹 横動画とShortsは同じ素材を使う

今のアプリでは、同じ台本、同じ blocks.json、同じKenny / Ericaの長尺アバター動画から、1920×1080の横型ポッドキャストと、1080×1920のShortsの両方を作れます。

横動画は2人を左右に配置し、ShortsはEricaを上、Kennyを下に配置する。素材は同じで、レイアウトだけを変える。

この考え方にしてから、かなり効率がよくなりました。

🔹 目指しているのは「1つの台本から複数の動画」

最終的には、1つの対談台本から、次の動画をまとめて作れるようにしたいと思っています。

  • YouTube横型長尺

  • YouTube Shorts

  • Opening

  • Closing

  • Podcast用動画

今はまだショートの範囲を手動で選んでいますが、将来的には、「この会話が面白い」「ここだけで話が完結している」「30〜60秒でまとまっている」といった部分を、AIに選ばせても面白そうです。

もう1本作ってみました。Irodori-TTLについてです。


🔹 作るたびに仕様が増えていく

今回も、「横動画からShortsを作りたい」という一言から始まりました。

そこから、上下分割、斜めの境界線、人物の拡大、自動フォーカス、字幕の位置、話者別の字幕、Shorts専用の背景、共通レイアウトと、どんどん仕様が増えました。

でも、この「使ってから直す」という流れが、AI開発にはかなり合っています。

最初から完璧な仕様書を書くより、まず作る。見る。違和感を見つける。またAIに直してもらう。今回のアプリは、本当にこのくり返しです。

ここから先の有料部分では、今回いちばん工夫した「斜めの区切り」を、FFmpegでどうやって作っているのかを公開します。境界の計算式、マスクのかけ方、重ね順、角度の調整方法まで、具体的に紹介します。

画像

🎀 Erica「ここからは、斜めの区切りをどうやって作っているのか、計算式までぜんぶ見せちゃうわ。斜めに切られてるのが、なぜか私だけな理由もわかるわよ」

(ここから有料)

あなたへのおすすめ