【PR】画像から動画とリファレンスから動画はどう違う？｜Seedance 2.5で同じMVシーンを作って比べてみた
※本記事はPollo AI様よりご依頼をいただき、提供されたクレジットを使用して制作しています。
タクです。
今回は、ちょっと悩みました。
というのも。
今回使うのは、メイシンさんと共作していた楽曲「人の灯」。
そしてMV用の画像も、メイシンさんが作ってくれたものです。
だから、
「動画にするなら、もっと派手に動かそう！」
…とは、あまり思わなくて。
むしろ今回は、
この静止画の魅力をなるべく壊さず、動画として見せるにはどうしたらいいんだろう？
そこを試してみることにしました。
使うのは、Pollo AIの
「画像から動画」
と
「リファレンスから動画」。
モデルは、どちらもSeedance 2.5です。
まず、今回比べる2つ
難しい話は抜きで、ざっくり。
画像から動画は、
1枚の画像をもとに動画を作る機能。
リファレンスから動画は、
複数の画像を参照させながら動画を作れる機能です。
今回は普通に比べるのではなく、
ちょっと変なことをしてみます（笑）
6枚あるなら、1枚にしてしまえばいい？
今回、歌詞に合わせて用意したのはこちらの6枚。
① こっけいなものよ 人の灯は
② 影に怯えて
③ 月に願って 失くすと知って
④ 抱きしめる
⑤ なんて愚かで
⑥ 愛しきものよ
全部、同じ妖の女性です。
曲の細かい説明は今回は置いておきますが、
イメージとしては、
短い命しか持たない人間を、愚かだと思いながらも愛おしく見つめてしまう妖。
そんなサビです。
で。
この6枚をまず、
1枚のストーリーボードにしました。
【ストーリーボード画像】
左上から、
1 → 2 → 3 → 4 → 5 → 6
の順番です。
つまり「画像から動画」でSeedance 2.5に渡す画像は、
これ1枚だけ。
1枚の中に6つの場面を詰め込んで、
約23秒のMVとして動かしてみます。
今までにも「画像から動画」は何度か使ってきましたが、
ストーリーボードそのものを1枚として渡す
これ、ちゃんと読んでくれるんでしょうか🎵
リファレンスから動画は、6枚をそのまま
もうひとつは、
リファレンスから動画。
こちらは逆です。
ストーリーボードにはまとめません。
メイシンさんが作ってくれた6枚を、
6枚とも、そのまま参照画像として使います。
さらに、
「この時間はこの画像」
というように、歌詞のタイミングと画像も指定しました。
つまり、
画像から動画
6場面をまとめた1枚
から作る。
リファレンスから動画
元画像6枚を、そのまま使う。
条件は同じです。
モデル：Seedance 2.5
生成時間：約23秒
1本690クレジット
今回は、
同じ絵をどうAIに渡すか
だけを変えて比べます。
まずは完成した動画をどうぞ🎵
説明するより、
まず見てもらった方が早いです。
今回は、
画像から動画
↓
リファレンスから動画
↓
最後に左右比較
の順番でまとめました。
▶︎ 比較動画はこちら
※生成時は場面の切り替わるタイミングに多少ズレがあったため、比較しやすいよう編集時に切り替え位置だけ補正しています。
さて。
比べてみてどうでしょう。
タクは作る前、
6枚を直接参照できるリファレンスから動画の方が、もっとはっきり差が出るんじゃない？
と思っていました。
というのも、
これまで他のモデルでも、
1枚の中に複数の場面を入れて動画にするような作り方を試したことがあります。
そういうときって、
元の絵からガラッと変わったり。
思っていた構図とは違う場面になったり。
ストーリーボードの1枚を、かなり自由に解釈されたり。
そんなこともあったんですよね。
なので今回も、
ストーリーボード1枚から作る方は、
もう少し元画像から離れると思っていました。
ところが。
比較動画を見て……
あれ？
思ったほど変わってない（笑）
むしろ、
ストーリーボード1枚だけで、ここまで6つの場面を拾ってくれるんだ。
という方が先に気になりました。
もちろん、
元画像と完全に同じではありません。
構図や細かな部分が変わっている場面もあります。
でも、
6つの場面の雰囲気を残しながら、
約23秒のMVとしてちゃんとつながっている。
これ、
タクにはちょっと想定外でした。
そしてもうひとつ。
リファレンスから動画の方も、思っていた以上に元画像を残してくれている。
メイシンさんが作ってくれた6枚を見比べても、
顔や衣装だけじゃなく、
構図や背景の雰囲気まで、
大きく別物にしてしまう感じはありませんでした。
今回タクがやりたかったのは、
派手な動画を作ることではなく、
気に入っている静止画を、なるべくそのまま動画でも見せること。
その目線で見ると、
どちらもかなり使える。
そして、
思ったほど差が出なかったこと自体に、
Seedance 2.5の進化を感じました。
それでも、見比べると少し違う
思ったほど大きな差はありませんでした。
でも、何度か見比べていると、
それぞれの違いも少し見えてきます。
ストーリーボード1枚から作った画像から動画は、
元画像から少し変化するところがあるぶん、
場面と場面のつなぎ方が少し自由。
光や背景が変わりながら、
6つの場面をひとつのMVとしてつないでいく感じがあります。
一方のリファレンスから動画は、
今回の結果では、
元画像の構図や雰囲気が少し残りやすい印象でした。
今回タクがやりたかったのは、
作ってくれた静止画の魅力を、なるべく残したまま動画にすること。
そう考えると、
リファレンスから動画はかなり目的に合っています。
でも、
ストーリーボード1枚だけでもここまでMVとしてまとまるなら、
こちらも十分使える。
思っていたより、どちらもよかった。
というのが今回の感想です🎵
派手に動かさなくても、ちゃんと動画になる
今回もうひとつ感じたのが、これ。
AI動画って、
つい、
もっと動かそう。
カメラを回そう。
何か起こそう。
って考えがちです。
でも、
元の静止画がすでに気に入っているなら、
そこまでしなくてもいい。
髪が少し揺れる。
紙片が流れる。
灯りが動く。
表情がほんの少し変わる。
それだけでも、
静止画とはまた違う見せ方になります。
今回みたいな素材なら、
「何を追加するか」より、「何を残すか」。
こっちを考える方が大事なのかもしれません。
タクなら、
まずはストーリーボード1枚から作ってみる。
その中で、
「この場面だけは、元の1枚をもっと残したい」
というところがあれば、
リファレンスから動画を使う。
そんな使い分けをしてみたいです🎵
ちなみに、ストーリーボード版は一度失敗しました（笑）
ここまで見ると、
ストーリーボードを1枚入れたら、
そのまま6つの場面を順番に作れた……
ように見えますが。
最初は失敗しています（笑）
最初は、
ストーリーボード内の6場面を、
1 → 2 → 3 → 4 → 5 → 6
と指定。
時間も歌詞に合わせて入れて、
さらに、
「番号や枠は動画に出さない」
と書きました。
ところが。
再生した瞬間……
ストーリーボードそのものが一瞬出る。
あれ（笑）
しかも最後まで見てみると、
6番目の場面がうまく入りきっていませんでした。
だったら、その一瞬も使ってしまおう
もう一度、
「ストーリーボードを絶対に出さない」
と強く指定する方法もあると思います。
でも今回は、
どうせ一瞬出るなら、それも最初から1Sceneとして数えたらいいんじゃない？
と考えました。
そこで、
もともとの6Sceneを、
7Scene
に変更。
冒頭に、
Scene 0＝ストーリーボード全体
を追加しました。
そのあと、
Scene 1 → Scene 2 → Scene 3……
と進んで、
最後にScene 6。
つまり、
消そうとしていたものを、最初から構成に入れてしまった。
というだけです（笑）
すると次の生成では、
最後のScene 6まで入った映像になりました🎵
毎回同じことが起きるとは限りませんが、
生成してみて思った通りにならなかったとき、
指示を増やすだけじゃなく、
出てきた結果に合わせて作り方を変えてみる。
こういうやり方もあるんですね。
使用クレジット
今回の設定では、
Seedance 2.5／約23秒の生成で1本690クレジットでした。
比較に使った完成版は、
画像から動画：690クレジット
リファレンスから動画：690クレジット
なので、
完成版2本で合計1,380クレジット。
今回はこのほかに、ストーリーボード版の試行も行っています。
いろいろ試すと当然その分クレジットは使いますが、
同じ素材でも生成方法を変えて比べられたのは面白かったです🎵
今回やってみて
今回は、
Seedance 2.5で同じ素材を使ったとき、「画像から動画」と「リファレンスから動画」で仕上がりはどれくらい変わるんだろう？
というところから始めました。
でも一番印象に残ったのは、
思っていたより差が小さかったこと。
ストーリーボード1枚だけでも、ここまでMVとして使える。
そして、
元画像をもう少し大事に見せたいなら、リファレンスから動画も使える。
以前に似た作り方を試したときの感覚と比べると、
タクは今回ちょっと、
「Seedance 2.5でここまでできるようになったんだ」
と感じました🎵
まずは1枚のストーリーボードで作ってみて、
「この場面は元画像をもっと残したい」
というところだけリファレンスを使う。
そんな作り方も面白そうです。
🎁 自分でも試してみたい方へ｜参考プロンプト
今回タクが実際に使ったプロンプトをそのまま載せると、
「人の灯」と今回の画像専用になってしまいます。
なので、
［ ］の中を自分の素材に置き換えて使える形
にしてみました。
そのまま入れれば必ず同じ結果になる、というものではありません。
自分の画像や生成結果に合わせて、
少しずつ変えてみてください🎵
📌 参考プロンプト①
ストーリーボード1枚から動画を作りたいとき
こんなときに
何枚かの画像を1枚のストーリーボードにまとめて、
「画像から動画」で順番に動かしたい場合。
▼ ここから参考プロンプト
アップロードした1枚のストーリーボード画像をもとに、
約［動画の長さ］秒の連続した映像を生成してください。
この画像には［シーン数］個の場面があります。
読み順は、
［左上から右へ／上段→下段など］です。
場面は、
Scene 1 → Scene 2 → Scene 3 →……
の順番で進めてください。
それぞれを別々の画像として見せるのではなく、
1本の自然につながる映像として構成してください。
登場する［人物・キャラクター］は、
すべて同じ人物として維持してください。
特に、
［顔］
［髪型］
［衣装］
［色］
［小物］
［背景や世界観］
など、元画像で残したい要素をなるべく維持してください。
映像全体の雰囲気は、
［幻想的／静か／明るい／映画風など］。
元画像の構図や雰囲気を大きく変えすぎず、
［髪の揺れ］
［衣服の揺れ］
［光］
［花びら］
［粒子］
［表情］
などに自然な動きを加えてください。
［追加してほしくない人物］
［文字］
［字幕］
［ロゴ］
などは追加しないでください。
［0:00〜○:○○］
Scene 1：
［見せたい場面／動き／感情／カメラ］
［○:○○〜○:○○］
Scene 2：
［見せたい場面／動き／感情／カメラ］
［○:○○〜○:○○］
Scene 3：
［見せたい場面／動き／感情／カメラ］
以降も同じように指定してください。
最後のSceneまで含めて、
1本の自然な映像として終了してください。
▲ ここまで参考プロンプト
今回みたいに、
元画像そのものが気に入っている場合は、
「何を動かしたいか」
だけではなく、
「何を変えすぎてほしくないか」
も入れておくと分かりやすいと思います。
📌 参考プロンプト②
ストーリーボード全体が最初に出てしまったとき
これは、
今回タクが実際に使った対処方法です。
毎回必要になるものではありません。
もし、
「ストーリーボード自体を出さないように指定したのに、冒頭に一瞬出てしまう」
ということがあったら、
こんな形も試せます。
▼ ここから参考プロンプト
Scene 0では、
アップロードしたストーリーボード全体を
ごく短く一瞬だけ表示してください。
その後すぐにScene 1へ移り、
Scene 1 → Scene 2 → Scene 3 →……
の順番で本編を進めてください。
Scene 0は長く表示せず、
最後のSceneまで含めてください。
▲ ここまで参考プロンプト
今回は、
消そうとしてうまくいかなかったので、最初から使うことにした
というだけです（笑）
同じようなことが起きたときの参考程度に🎵
📌 参考プロンプト③
複数の画像をリファレンスとして使いたいとき
こんなときに
気に入った画像が何枚かあって、
それぞれを場面ごとの参照画像として使いたい場合。
▼ ここから参考プロンプト
アップロードした［画像枚数］枚の参照画像を使って、
約［動画の長さ］秒の連続した映像を生成してください。
これらの参照画像は、
［同じ人物／同じキャラクター／同じ作品世界］を描いたものです。
全編を通して、
［顔］
［髪型］
［衣装］
［色］
［小物］
［背景］
［世界観］
など、元画像で残したい要素を
できるだけ一貫して維持してください。
元画像の構図や雰囲気を大きく変えすぎず、
［髪の揺れ］
［衣服］
［光］
［粒子］
［表情］
などを中心に自然な動きを加えてください。
［0:00〜○:○○］
@［参照画像1］を主な参照として使用してください。
［この場面で見せたいこと］
［○:○○〜○:○○］
@［参照画像2］を主な参照として使用してください。
［この場面で見せたいこと］
［○:○○〜○:○○］
@［参照画像3］を主な参照として使用してください。
［この場面で見せたいこと］
以降も同じように指定してください。
各場面を完全に独立させず、
1本の連続した映像として自然につないでください。
［文字］
［字幕］
［ロゴ］
［不要な人物］
などは追加しないでください。
▲ ここまで参考プロンプト
今回みたいに、
「もっと派手にしてほしい」ではなく、
「この画像の良さをなるべく残したい」
という場合は、
追加する演出をたくさん書くより、
元画像のどこを残したいのか
を先に考えてみるのもよさそうです。
気に入った画像がある方は、
ぜひ自分の素材でも試してみてください🎵
今回も最後まで読んでいただき、ありがとうございました。
タクでした🎵
今回使用したPollo AI
Pollo AIでは、今回使った
「画像から動画」と「リファレンスから動画」の両方を試せます。
1枚の画像を動かしてみたい方も、
複数の画像を参照しながら動画にしてみたい方も、
気になる方は、自分の素材で比べてみてください😊
PolloAIのXも是非フォローを😊
PolloAIはXでクレジットがもらえるイベントもしています✨
時には賞金がでることも🎵
いいなと思ったら応援しよう！
よろしければ応援お願いします！ いただいたチップはクリエイターとしての活動費に使わせていただきます！ 