メインコンテンツへスキップ
見出し画像

動かない背景は動くのか?Pollo RecastでMV制作の限界まで試してみた【PR】

    こんにちは、安達です😊

    ハロウィンMV『Split the Night』、ついに公開しました!!🎃🔥

    9分を超える作品となった今回のMV。

    制作中には、さまざまなAI動画生成ツールを使いながら、何度も試行錯誤を重ねました。

    その中でも、特に面白い発見があったのが、Pollo AIの新機能 「Pollo Recast」 です。

    以前の制作日記では、動かなかった背景をプロンプトで動かせたことを、検証直後に紹介しました。

    ▶ 背景アニメーションを試した制作日記はこちら

    前回は、面白い結果が出たので、さっそく記事にしました。

    今回は、その検証をさらに掘り下げます!

    この記事でご紹介するのは、主に次の2つです。

    • 背景アニメーションの検証

    • 崩れたキャラクター修正の検証

    「なぜ背景が動かなかったのか?」

    「プロンプトを変えると、どのような違いが出るのか?」

    さらに、MV制作中に行った、崩れたキャラクターを修正するための3回の検証も詳しく紹介します。

    完成したMVの裏側で、どんなことを試していたのか。

    成功も失敗も含めて、まとめてご紹介します!😊

    🎬 完成したハロウィンMV『Split the Night』

    ※この記事はPollo AIとのタイアップによるPR記事です。検証用クレジットの提供を受け、実際の制作を通して確認した結果を紹介しています。




    🎬 Pollo Recast 検証シリーズ|記事一覧

    第1回 🔻


    第3回 🔻


    第4回 🔻


    第5回 🔻




    🎬 Pollo Recastとは?

    Pollo Recastは、参考動画の動きやカメラワークを活かしながら、キャラクターや背景を変更できる機能です。

    以前の記事では、7人のキャラクターを使ったダンス動画を制作しました。

    ▶ プロンプトなしで7人が踊る!?|Pollo RecastでハロウィンMVを作ってみた【PR】

    今回は、単純なキャラクターの置き換えから一歩進んで、次の2つを検証します。

    ① 背景のアニメーション

    元動画の背景にいるカラスやジャイアントを、どこまで動かせるのか?

    ② キャラクターの修正

    人数が重複したり、キャラクターの外見が崩れてしまった動画を修正できるのか?

    それでは、順番に見ていきましょう!


    画像

    検証①|動かない背景を、どこまで動かせる?

    🎃 3人のスリラー風ダンスで検証!

    今回使用したのは、3人が踊るスリラー風のダンス動画です。

    🎥 元になったダンス動画

    まずは、この動画の登場人物を、パンプキン、ノクテル、オブザーバー・アイの3人に置き換えてみました。

    このとき、プロンプトではキャラクターの置き換えだけでなく、背景についても指示しています。

    背景はアップロードしたジャイアントの画像に置き換え、カラス、雲、霧、巨大なジャイアント、地面の頭蓋骨や顔のようなものにも、不気味な動きを加えるように書きました。

    実際に使用したプロンプトはこちらです。

    プロンプト:
    参照動画の登場人物を、アップロードした3人のキャラクター(パンプキン、ノクテル、オブザーバー・アイ)に置き換えてください。
    元動画のスリラーダンスの振り付け、リズム、タイミング、カメラワークを引き継いでください。
    背景はアップロードしたジャイアントの画像に置き換え、背景全体に不気味な動きを加えてください。
    赤い空では黒いカラスたちが羽ばたき、飛び回ります。暗い雲や霧もゆっくり流れています。
    背景の巨大なジャイアントはゆっくりと頭を持ち上げ、腕や指を動かします。ダンスを邪魔せず、背後で不気味にうごめいています。
    地面に転がっている頭蓋骨や顔のようなものも、時折目を開いたり、わずかに向きを変えたり、不気味に動いてください。
    3人のダンスを映像の中心にしながら、背景の生き物やオブジェクトにも動きがある、ダークファンタジーのハロウィンMVにしてください。

    生成してみると……

    キャラクターがちゃんと変わってる!!😆

    パンプキン、ノクテル、オブザーバー・アイの3人が、スリラー風の振り付けに合わせて踊ってくれました。

    ここはかなり嬉しかったところです。

    ただ、よく見返してみると、気になることがありました。

    あれ? 背景の動きが思ったより少ない……?🤣

    🎥 1回目の生成結果

    プロンプトでは背景全体にも動きを指定していました。

    でも実際には、カラスはほとんど静止したまま。

    ジャイアントは少し動いていましたが、これは元のキャラクター変更前の動画でも確認できた動きに近く、よく見ないとわからない程度でした。

    つまり、この時点では、背景への指示よりもキャラクターの置き換えが強く反映された印象です。

    せっかく背景にカラスやジャイアントがいるなら、ここももっと動かしたい。

    そこで次に、背景の動きに絞ってプロンプトを調整してみることにしました。

    🔍 背景への指示を、もう少し具体的にしてみる

    次は、背景の中でも特にカラスやジャイアントの動きを、より具体的に指定してみました。

    実際に使用したプロンプトはこちらです。

    プロンプト:
    参照動画のダンス、振り付け、タイミング、カメラワークを引き継いでください。
    登場キャラクターと背景は、アップロードした参照画像をもとに置き換えてください。
    背景画像に描かれている黒いカラスたちを自然に動かしてください。
    カラスは羽ばたきながら赤い空を飛び、巨大なジャイアントの上空を旋回します。一部のカラスはゴシック建築の塔の間を飛び交います。
    背景の霧や暗い雲にも、ゆっくりとした自然な動きを加えてください。
    ジャイアントはゆっくりと頭を持ち上げ、巨大な腕を動かしてください。地面に横たわった姿勢を保ちながら、不気味に目覚めようとする動きを加えてください。

    結果は……

    1回目と全く同じでした。

    動画としても違いが確認できなかったため、ここでは2回目の動画掲載は省略します。

    キャラクターの置き換えは反映されているものの、背景のカラスがはっきり飛び回る様子は確認できませんでした。

    ジャイアントについても、目立つ変化が加わったというより、元動画でも見られたわずかな動きが残っているように見える程度でした。

    つまり、この段階では、背景の一部に自然な動きを具体的に書いただけでは、大きな変化は出ませんでした。

    🔥 最後は、背景全体を激しく動かす!

    そこで、思い切ってプロンプトを組み直しました。

    特に重要だったのが、この一文です。

    「背景全体を激しく、騒がしく動かしてください。静止画のような背景にはしないでください。」

    背景の一部ではなく、背景全体を強く動かす方向で指定してみます。

    実際に使用したプロンプトはこちらです。

    プロンプト:
    参照動画のダンス、振り付け、タイミング、カメラワークを引き継いでください。
    登場キャラクターと背景は、アップロードした参照画像をもとに置き換えてください。
    背景全体を激しく、騒がしく動かしてください。静止画のような背景にはしないでください。
    黒いカラスの大群が激しく羽ばたきながら赤い空を飛び回り、ジャイアントの周囲を旋回し、ゴシック建築の塔の間を次々と横切ります。
    巨大なジャイアントは地面に横たわったまま、頭を大きく持ち上げ、腕を伸ばし、指を動かして不気味にもがいてください。
    地面に転がる顔や頭蓋骨も転がったり、震えたり、不気味に動き回ります。
    暗い雲が勢いよく流れ、赤い霧が渦を巻き、背景全体に絶え間ない動きが生まれます。
    ダンサーたちの背後でも常に何かが動いている、混沌としたハロウィンの世界を表現してください。

    🎥 3回目の生成結果

    その結果――

    今度はカラスが動きました!😆

    赤い空を飛び回るカラスの動きが確認でき、最初の2回よりも背景に変化が出ました。

    ただし、すべてが期待どおりだったわけではありません。

    ジャイアントについては、相変わらず少し動く程度で、大きくうごめくような変化は見られませんでした。

    この結果を見て、今回はここで検証を終えることにしました。

    理由は、ジャイアントがあまりにも大きいため、今回の条件では大きな動きをつけるのが難しかった可能性があると考えたからです。

    あくまで予測ではありますが、少なくとも今回の検証では、カラスのような比較的小さく数の多い要素は動かしやすく、巨大なジャイアントのような存在は大きく動かしにくい印象がありました。

    💡 背景アニメーション検証のまとめ

    今回の流れを整理すると、次のようになります。

    • 1回目
      キャラクターは置き換わったが、背景の動きはほとんど変わらない

    • 2回目
      カラスやジャイアントの動きをより具体的に指定したが、1回目とほぼ同じ

    • 3回目
      背景全体に強い動きを指定した結果、カラスは動いた
      ただし、ジャイアントの動きは大きく変わらなかった

    今回の検証では、背景への指示を書いていても、1回目と2回目では目立つ変化がほとんど見られませんでした。

    一方で、3回目のように、背景全体を「激しく、騒がしく動かす」と強く指定したときには、カラスの動きを確認できました。

    ただし、ジャイアントは大きくは動きませんでした。

    この原因は断定できませんが、今回の結果からは、巨大すぎる背景要素は、今回の条件では大きく動かしにくかった可能性があると考えています。

    少なくとも今回の検証では、背景を動かしたい場合は、対象だけでなく、動きの強さや背景全体の方針まで明確に伝えることが重要だと感じました。


    画像

    検証②|崩れたキャラクターを修正できる?

    ここからは、新しく行った検証です。

    今回のハロウィンMVには、複数のキャラクターがバスに乗っているシーンがあります。

    この動画では、カメラワークや動きは気に入っていたものの、キャラクターの構成に問題がありました。

    「この動画の動きを活かしたまま、キャラクターだけ修正できないだろうか?」

    そこで、Pollo Recastを使って検証しました。

    🚌 修正前のバス動画

    🎥 元になったバス動画

    今回修正したかった問題はこちらです。

    • ウサギのキャラクターが重複している

    • Black veilの少女が登場していない

    • NOCTELLEの仮面が正しく再現されていない

    • キャラクターの人数や配置が想定と異なっている

    • 巨大なStitched Giantを削除し、Nobody thereに変更したい

    最後の項目は、単純な外見の変更ではありません。

    巨大なジャイアントを削除して、複数の黒い影の乗客を配置するという、かなり大きな構成変更です。

    ここまでRecastで修正できるのか、試してみました。

    1回目|8枚のリファレンス画像で修正

    最初は、元動画に8枚のキャラクターリファレンス画像を指定しました。

    プロンプトは使用していません。

    🎥 1回目の生成結果

    結果は……

    ウサギの外見が改善しました!

    これは良かったところです。

    しかし、ウサギが2体いる状態は変わりませんでした。

    Black veilの少女も登場せず、キャラクター構成の問題は残っています。

    つまり、今回の条件では、外見の一部は改善できても、人数や配置までは修正できませんでした。

    2回目|詳細な修正プロンプトを追加

    続いて、修正したい内容をプロンプトで具体的に指定しました。

    キャラクターの重複や欠落、NOCTELLEの仮面、ジャイアントの置き換えなどを修正するためです。

    🎥 2回目の生成結果

    しかし、今回も期待した結果にはなりませんでした。

    NOCTELLEの仮面は正しく修正されず、キャラクターの人数や配置にも問題が残りました。

    また、Stitched GiantをNobody thereへ置き換えるような、大幅な変更も実現できませんでした。

    なお、NOCTELLEは動画の途中で画面外に出ていますが、パンプキンに変身したわけではありません。

    こうした細かな違いも、動画を確認しながら整理しました。


    検証③|スタート画像を作り直せば改善する?

    ここで、一度制作方法を見直しました。

    今回必要なのは、キャラクターの顔や衣装を修正するだけではありません。

    バスの構造は維持しながら、登場人物の人数と配置を変更し、巨大なジャイアントを削除する。

    ここまで変更するのであれば、スタート画像そのものを作り直したほうが早いのではないか?

    そう考えて、新しい画像を制作しました。

    🖼️ 修正前と作り直した画像

    修正前の画像

    画像

    バスの後方には、巨大なStitched Giantがいます。

    キャラクターの人数や配置も、最終的な構成とは異なっています。

    作り直した画像

    画像

    バスの基本構造はそのままに、登場人物を再配置しました。

    巨大なジャイアントは削除し、後方には複数のNobody thereを配置しています。

    かなり大きな変更です。

    🤔 新しい画像をRecastに指定したら?

    実は、画像を作り直した時点では、Recastによる追加検証をやめようと考えていました。

    理由は、新しい画像を指定しても、元動画のキャラクター構成に影響されるのではないかと予想していたからです。

    Recastは、元動画の動きやカメラワークを引き継ぐ機能です。

    そのため、元動画に巨大なジャイアントが存在していれば、新しい画像で削除しても、動画の途中で再び現れる可能性があると考えました。

    ただ、これはあくまで予想です。

    せっかく検証記事にするのであれば、実際に試してみたいところ。

    そこで、追加で1回だけ検証することにしました!

    3回目|新しい画像を指定して再検証!

    今回の条件はこちらです。

    • 元動画:これまで修正を試していたバス動画

    • 参照画像:新しく作り直したバス画像

    • プロンプト:なし

    🎥 3回目の生成結果

    結果は……

    冒頭では、新しく作り直した画像が反映されました!

    ところが、動画が進むと……

    削除したはずのジャイアントが再登場!😅

    画像

    Nobody thereへの変更や、キャラクターの人数・配置も維持されませんでした。

    今回の結果を整理すると、次のようになります。

    • 新しい画像の反映
      → 冒頭では反映された

    • ジャイアントの削除
      → 維持できず、再登場

    • Nobody thereへの変更
      → 維持できず

    • 人数・配置の再構成
      → 期待どおりにならず

    • 元動画のカメラワーク
      → おおむね引き継がれた

    つまり、今回の条件では、新しい画像を指定しても、元動画のキャラクター構成が強く残るという結果になりました。

    予想していたことではありますが、実際に確認できたのは大きな収穫です。


    🔍 キャラクター修正・全3回の検証結果

    ここまでの結果をまとめます。

    1回目:8枚のリファレンス画像・プロンプトなし

    ウサギの外見は改善しました。

    一方で、ウサギの重複やBlack veilの少女の欠落は残りました。

    2回目:詳細な修正プロンプトを追加

    NOCTELLEの仮面、人数、配置、大幅な置き換えは、期待どおりには修正されませんでした。

    3回目:作り直した画像を指定・プロンプトなし

    冒頭では新しい画像が反映されました。

    しかし、動画が進むと元動画の構成が再び現れました。

    今回の検証では、キャラクターの外見を一部改善することはできました。

    しかし、元動画に存在するキャラクターを削除したり、人数や配置を大きく変更したりすることは、期待どおりにはできませんでした。

    もちろん、これは今回のバス動画と検証条件で得られた結果です。

    Recastのすべての用途で、同じ結果になるという意味ではありません。

    実際、以前のダンス動画では、キャラクターの置き換えがうまくできています。

    今回のような大幅な構成変更と、既存の人物を別のキャラクターに置き換えることは、分けて考える必要がありそうです。


    画像

    💡 今回の検証で学んだ3つのこと

    ① 背景を動かしたいなら、動きの強さまで明確に伝える

    今回の背景アニメーション検証では、背景に動きを指定するだけでは、大きな変化は出ませんでした。

    特に、自然な動きや一部の要素だけを指定した段階では、1回目と2回目はほぼ同じ結果でした。

    一方で、背景全体を「激しく、騒がしく動かす」と強く指定したときには、カラスの動きを確認できました。

    ただし、ジャイアントのような巨大な要素は、今回の条件では大きく動かしにくかった可能性があります。

    ② 外見の修正と、キャラクター構成の変更は別問題

    リファレンス画像を使うことで、キャラクターの外見が改善する場合があります。

    一方で、元動画の人数や配置、登場人物そのものを大きく変更する場合は、期待した結果にならないこともありました。

    今回のバス動画では、その違いがはっきり表れました。

    画像

    ③ 修正を続けるより、作り直したほうがよい場合もある

    今回、最も大きな収穫だったのは、ここかもしれません。

    気に入った動画を修正したい気持ちはあります。

    でも、修正を繰り返すほど、時間もクレジットも必要になります。

    今回のように、元動画の構成そのものを大きく変更したい場合は、スタート画像を作り直し、動画を新しく生成するという選択肢もあります。

    どこまで修正を試して、どこで制作方法を切り替えるのか。

    これも、AI動画制作では大切な判断だと思います。


    🌱 最後に

    今回は、ハロウィンMV『Split the Night』の制作で実際に行った、Pollo Recastの検証を詳しく紹介しました。

    背景のアニメーションでは、最初の2回では大きな変化が出ませんでしたが、背景全体を強く動かすように指定した3回目で、カラスの動きを確認できました。

    一方で、ジャイアントの動きは最後まで大きくは変わりませんでした。

    また、バス動画のキャラクター修正では、外見の一部は改善できたものの、人数や配置を大きく変更することは難しいという結果になりました。

    うまくいったことも、うまくいかなかったことも、作品を完成させるための大切な経験です。

    前回は、背景が動いたことが面白くて、すぐに制作日記として紹介しました。

    今回は、その結果をさらに掘り下げ、追加の検証も含めて整理してみました。

    そして、今回の検証を重ねながら制作したハロウィンMV『Split the Night』も、無事に公開することができました!🎃🔥

    完成した映像を楽しんでいただくとともに、今回の記事を通して、制作の裏側も楽しんでいただけたら嬉しいです。

    🎬 ハロウィンMV『Split the Night』はこちら!

    これからも、実際の制作を通してAIツールの可能性を探っていきます!

    それでは、また次回!😊


    🔗 今回使用したAIツール


    #PR #PolloAI #PolloRecast #AI動画生成 #AI動画制作

     
     
    AIを使った画像・動画・音楽制作を楽しむ安達です。 企業PRやイベント参加、AIツールの検証など、実際に試して気づいたことを発信中! オリジナル作品『THE HOLLOW PARADE』や、AMIのコラムなど、ジャンルにとらわれず自由気ままに創作しています😊

    あなたへのおすすめ