メインコンテンツへスキップ
見出し画像

Seedance 2.5でMV 制作過程等


    こんばんは、ようこそ我が領域(note)へ✨

    過去何本かSeedance2.0にてMVを作成してきました、

    しかし、
    Seedance2.5の方は登場後あまり使う気が起きず放置していたのですが…
    今回ついに重い腰を上げ、MVを完成させました。
    是非見てください!

    チャンネル登録や高評価いただけると、とても喜びます。




    今回は制作過程など、語っていきたいと思います。


    🔯まず最初にすること。

    最近の動画生成AIは、モデルごとに得意なプロンプトの書き方や参照素材の扱い方が違う。
    特にSeedance系は、インターネット上にプロンプト指南や検証記事、
    公式・準公式の情報があるため、

    私は最初にそれらをAIに読ませて、動画生成専用のプロジェクトを作っている。

    毎回ゼロからプロンプトを書くより、
    「このモデルではどう書くか」というルールをAI側に持たせたほうが圧倒的に楽だった。

    私には素晴らしい動画プロンプトを構築する才能はないので、
    すべてAI頼みなのである!

    画像
    こんな感じで、あとは欲しい機能を詰め込んでいく。


    Seedance2.5 プロンプトガイド
    https://bytedance.larkoffice.com/docx/A88jd0B47oAd8zxWp5ycZFMfnxh

    ユーザーガイド
    https://bytedance.larkoffice.com/wiki/NjnWwvf4BiFYFLk2RzrcEgaunGf

    このようにして、
    自分専用の動画生成プロンプト、制作用プロンプトを作ります。
    ちなみにユーザーガイドは長すぎて見てません🤣


    追加指示

    動画生成用プロンプトを考えてもらう際、AIに対してよく使っている指示。

    動画を生成する尺の中で閉じない

    プロンプトを組んでもらう際、動画の開始と終了を特別に扱わないように指示します。

    これはうちで使ってるAIがよくやってしまう失敗なのですが…
    生成する15秒の動画で閉じてしまう。
    何分もあるMVを作っているのに、
    なぜか15秒というその動画内で閉じたがるので。それを禁止します。


    「読めば頭の中で映像が一本再生される描写文」で書く


    何が画面に映り、それがどう動き、光がどう差し、
    何が現れて何が消えるか見えるもの 積極的に描写する。
    カメラワークをアクションから切り離さない。

    使う場合と使わない場合がありますが、
    カメラワークをアクションに含めることによって、
    前作の2分6秒付近の瞳に吸い込まれるシーンなどが作りやすくなります。

    このリンクで2分6秒に飛べるようになってます(たぶん)


    
    少女の閉じた瞳のエクストリームクローズアップから始まる。睫毛が伏せられている。
    睫毛がゆっくり持ち上がり、紅い瞳が開く。虹彩の中に細い正円と放射状の線が幾何の模様として浮かぶ。
    カメラは開いた瞳の中心へ吸い込まれるように急接近し、
    紅がぐんと迫って画面を覆い、その奥を抜けると、白い和紙の余白の中へ出る。
    
    
    白い余白の中央に、墨の花の蕾が一つ描き起こされる。濃い墨で固く閉じた蕾が、微かに震えている。
    カメラが蕾へゆっくり寄っていくと、その動きに引かれるように
    蕾がほどけて開いていき、開ききった花の内側から、座る少女が現れる。
    花弁が外へ大きく開いて画面の縁へ流れ去り、抜けた先に、座る少女の姿が残る。



    後は何かあった気がするけど思い出せない…
    思い出したら書きます。




    MV制作過程


    各モデルの性能差。世間の評判や真実は分からぬが。

    我が見立てでは、こうだ。
    (⚠️私が持つイメージなので、たぶん事実とは異なります)

    [Wan3.0]
    ・やや適当なプロンプトでも良い感じに動画を作ってくれそう。
    ・30秒までOK‼️
    ・RunwayのUnlimitedモードで一度にひとつしか生成できない。

    [Seedance2.5]
    ・
    プロンプトや参照画像に忠実そうにみえる。
    ・忠実すぎてやや扱いづらそう。
    ・30秒までOK、だがRunwayのUnlimitedモードだと15秒まで。
    ・RunwayのUnlimitedモードで一度にひとつしか生成できない。

    [MiniMax H3]
    ・
    なんか動画がガサガサする。
    ・Audio参照が優秀。
    ・15秒まで。
    ・RunwayのUnlimitedモードで一度にふたつまで生成可能。

    [Seedance2.0]
    ・
    いつも使ってるので頼れる。
    ・15秒まで。
    ・RunwayのUnlimitedモードで一度にふたつまで生成可能。

    このMV制作では最初Wan 3.0用のプロジェクトで試行錯誤を始め、途中からSeedance 2.5へ移行した。
    最初は30秒生成が魅力だったのです。

    3分の動画なら6回生成すれば完成じゃないですか…


    今回は「最後のサビ」から作り始めた

    これまでMVは何度も作ってきましたが、毎回イントロから順番に生成していくと、最後のサビあたりで自分がちょっとダレてくるんですよね。

    なので今回はイントロ部分を生成した後、
    思い切って最後のサビから作ることにしました。

    イントロ部分作った際、WAN 3.0、MiniMax H3、これまで使ってきたSeedance 2.0などを何度か試し、最終的にSeedance 2.5で作ることにしました。

    実はSeedance 2.5には、最初かなり苦手意識がありました。

    登場した頃に少し触ったものの、どうにも変な動画ばかりできてしまって。その頃は自分自身、動画生成への情熱が少し冷めていた時期でもあり、
    今思えばプロンプトもかなり適当でした。

    Seedance 2.5は大人数を出しても破綻しにくそうだったので、一度、いつものオリジナルキャラクターを全員登場させる紹介動画のようなものも作りました。
    ただ、当時RunwayのUnlimitedモードでは生成に1時間ほどかかり、しかもSeedance 2.5は一度の生成で1本しかGenerateできません。

    何度も試すには、なかなか大変でした。

    今は理由は分かりませんが、生成時間が20〜30分程度になっています。
    一度に1本なのは変わりませんが、それならもう一度試してみようと思い、本格的に挑戦を開始。

    画像


    結果として、大人数のキャラクターを維持する力はやはりかなり強いと感じたので、まずメンバー全員が登場する最後のサビを作りました。

    最後のサビができた後、改めてイントロから作り直しました。

    最初に用意していたイントロは、今とはまったく別の内容です。

    画像

    前回のMVがカラー水墨画のような表現だったので、今回は「折り紙」をモチーフにしようと考えていました。

    ところが、最後のサビでメンバー全員が登場する賑やかな映像を作ったことで、少しずつ考えが変わってきました。
    今回はもっと、メンバーがたくさん登場する賑やかなMVにしたい。そして曲のテーマは、スマホやショート動画を延々と見続けてしまうこと。

    そこで、普段ならかなり動かす主人公を、今回は逆にほとんど動かさないという方向にしました。

    一番苦戦したのは、2番

    MVを作るとき、個人的にいつも難しいのが1番サビの後です。

    曲としても、1番サビで一度大きく盛り上がったあと、2番Aメロで少し落ち着きます。映像側も一度盛り上げたものを落ち着かせる必要がある。でも2番なので、1番と同じような内容にはしたくない。毎回ここでかなり悩みます。

    見る側も、1番サビが終わったあたりは離脱しやすいのではないかと思っていたので、今回は少し変わった内容にしたいと考えました。

    そこで2番では、周囲のみんなが仕事や家事などをして動き続けている中、主人公の「我」だけがずっとスマホを見たまま、ほとんど動かないシーンを作りました。

    ただ、これが想像以上に大変でした。


    画像
    白狐面の子が増えてる…まぁ早回しだしいいか~と妥協😉

    早送り風の動画自体が初挑戦で、しかも登場人数もかなり多い。人物の破綻が目立ち、修正と再生成を繰り返すことになりました。
    このシーンだけで約2日かかりました。正直、かなりしんどかったです。

    そのぶんその後のCメロは、作っていてものすごく楽しく感じました😆

    Cメロは音源から細かく設計

    Cメロは終盤ということもあって、「もうここさえ生成できれば終わりだ」という気持ちもあり、かなりこだわりを詰め込みました。

    ここでは初めて、Claude AIにCメロ部分の15秒の音源そのものを渡して、細かく解析してもらう方法を試しています。

    画像

    その解析結果をもとに、音の変化に合わせて秒数まで指定した動画生成プロンプトを作成してもらい、それを使ってシーンを組み立てました。

    Cメロまで来る前に動画視聴を離脱してしまう人も多いかもしれませんが、個人的にはかなり力を入れた部分なので、

    ぜひここまで見てもらえたら嬉しいです。


    ↓↓↓このリンクでCメロがすぐ開始されるようになってます✨↓↓↓




    できあがった動画に、
    プロンプトの内容すべては流石に反映されてないと思います。
    しかし、これでもかと言うほど書いてます。

    長ければ良いというものでもないですけどね…

    [全体]
    日本のTVアニメ調のフルカラー作画。フラットなセル塗り、影は1段、輪郭線は明瞭。
    発光はオーバーレイの色面エフェクトで重ね、微細な粒子と薄いフレアを添える。
    
    黒一色の空間に、黒い革張りのソファ、<主人公>、スマホ、オペラ、
    音で動く光のイコライザーだけが浮かぶ。<主人公> の顔の正面はスマホの淡い青白い光に照らされ、
    反対側からのごく弱い暖色の光が頬に血色を残す。
    
    静かな歌。<主人公> は @Audio 1 を歌いながら、まばたき、目線、眉のわずかな動きで気持ちを見せ、
    上体を左右に揺らしてリズムを取る。歌詞にある夜、月、幕、開演のベル、演目は、
    実物ではなく光の形で気配として現れる。
    カットの切り替えと演技は、@Audio 1 の拍とフレーズに合わせる。
    
    [登場]
    
    <主人公>:@Image 1 の顔、髪型、服装のみを使う。長い淡いピンク髪、片目を隠す前髪、
    黒いミニハット、白黒ピンクのフリルのゴシックドレス、厚底の編み上げブーツ。スマホは右手に持つ。
    
    <スマホ>:@Image 2 の本体の形と装飾のみを使う。画面は淡い青白い光を放つ無地の面。
    
    <オペラ>:@Image 3 のケーキのデザインのみを使う。
    
    <ソファ>:黒い革張りのソファ。背もたれの上端に金の彫刻の縁取り。
    
    [イコライザー]
    音は光として見え、本物のグラフィックイコライザーのように、@Audio 1 のリズムに合わせて動く。
    棒は音が鳴った瞬間にぱっと跳ね上がり、すぐに落ちて、次の音までは低く静まって待つ。
    跳ねる瞬間と静まる時間がはっきり分かれ、リズムが目に見える。
    棒の頂上の小さな光の粒は、棒より一瞬遅れてすとんと落ちる。
    
    奥は低音:小さな四角い光の粒を縦に積んだ背の高い棒の列で、根元はピンク、上へいくほど水色。
    低い太鼓が鳴る拍ごとに大きく跳ね、小節の頭ではいちばん高く跳ねる。
    
    中ほどは中音:<主人公> のまわりの宙に弧を描く短い光の棒。和音が変わるときに外へふくらむ。
    
    手前は高音:レンズのすぐ前の、星のような小さな光の粒。ハイハットが鳴るたびに一つずつ瞬く。
    6.66秒からはハイハットが細かく刻み始めるので、光の粒の瞬きも細かくなる。
    
    10.24秒と12.62秒の強い音では、すべての棒が同時に最大まで跳ねる。
    
    歌声は、彼女の顎の高さの宙に細い光の波形の線として生まれ、
    声の大きさで振れ幅を変えながら横へ流れ、奥の棒へ吸い込まれる。
    
    光は、ソファの革、オペラの艶、<主人公> の瞳に映り込む。
    
    [モチーフ]
    夜の帷:藍色の半透明の、細い光の糸でできた薄い幕。
    
    月:イコライザーの棒が円く並んだ、淡い金白色の光の輪。
    
    開演のベル:光の輪から、銀とピンクの同心円の波紋が、拍ごとに外へ広がる。
    
    演目:床の近くに一列に並んだイコライザーの棒が、舞台の足もとの明かりのように、
    暖かい琥珀色で彼女を下から照らす。
    
    [歌唱と演技]
    @Audio 1 は <主人公> の歌。0〜2.0秒は前奏、2.0〜13.0秒が歌、13.0〜15.0秒は伴奏だけが
    次の展開へ盛り上がる。歌唱言語:日本語。
    
    歌詞と位置(口の形を合わせるための情報):
    
    2.0〜4.4秒:夜のとばりがおり
    
    5.2〜7.4秒:月はのぼり幕はのぼり
    
    8.0〜10.4秒:かいえんのベルが鳴り渡り
    
    10.8〜13.0秒:こよいも演目が始まり
    
    口は歌声に正確に同期する。母音は音符の長さのぶん口の形を保ち、
    音符1つにつき口の開閉は1回。ぱ行、ば行、ま行では唇が閉じる。
    ブレスでは口がわずかに開く。歌のない区間は唇を閉じ、表情と息づかいで聴かせる。
    
    表情は静かに小さく動く。まばたき、スマホからカメラへ目線を送る、目線をそらす、
    眉をほんのわずかに上げる、目を細める、口元を少し緩める。
    
    リズムは、上体を拍ごとに左、右と小さく揺らして取る。
    揺れる方向は左右だけで、頭は上体と一緒に左右へ傾く。
    
    歌っているあいだ、口元はいつも見えている。頬に添える手は頬骨の高さに、髪は口元の外側を流れる。
    
    音声は @Audio 1 だけで構成する。画面に映るのは、人物と光と物だけ。
    
    [ショット1|0.00〜3.69|前奏から歌い出し:夜の帷]
    闇の底で、奥のイコライザーの棒が、拍が鳴るたびに跳ね上がっては低く沈んでいる。
    カメラがその列の上を右から左へ低く滑っていくと、0.72秒の拍の頭で、
    跳ねる棒の光に照らされた列の切れ目の先に、<ソファ> に足を組んで座る <主人公> が
    闇から浮かび上がる。
    カメラは減速しながら、スマホの光を見つめる彼女をやや斜め前から画面の中央へ運び、
    少しずつ寄っていく。彼女は唇を閉じたまま、
    拍ごとに上体を左、右と小さく揺らして前奏を聴き、
    1.46秒にゆっくり1回まばたきをする。
    2.0秒、小さく息を吸って歌い出すと、画面の上から藍色の光の糸の帷がするすると降りてきて、
    彼女の背後の闇を覆い始める。
    2.19秒、目線だけがスマホから持ち上がってカメラを見つめ、口元が少し緩む。
    2.95秒に目線はスマホへ戻り、3.24秒、上がる音で眉がほんのわずかに持ち上がる。
    
    [ショット2|3.69〜4.44|帷が降りきる]
    カットが顔のクローズアップに切り替わる。
    行の最後の上がっていく音に合わせて、前髪から覗く片目がわずかに見開かれ、眉がそっと上がる。
    背後では光の糸の帷が床まで降りきり、その糸の向こうで、イコライザーの棒が拍ごとに跳ねて明滅する。
    4.3秒で音を伸ばしきると唇が静かに閉じ、小さく息が抜ける。
    
    [ショット3|4.44〜5.19|息継ぎ:伸び]
    歌の切れ目で、彼女はスマホを右手に持ったまま両腕を頭上へ伸ばし、背中を反らせて小さく伸びをする。
    伸び上がる指先に引かれるようにカメラが下から上へ振り上がると、床まで降りていた光の帷が、
    指先に持ち上げられるように裾からふわりと浮き始める。
    淡いピンクの髪が肩から持ち上がり、目と唇は閉じたまま。
    
    [ショット4|5.19〜6.66|月が昇る]
    下りてくる左手を追ってカメラが顔の高さまで降りると、その手がそのまま左の頬骨にそっと収まり、
    次の行を歌い出す。歌い出しと同時に、彼女の背後の闇の底から、
    イコライザーの棒が円く並んだ淡い金白色の光の輪が、月のように昇ってくる。
    輪の棒は、拍が鳴るたびに外へ跳ねては戻る。
    彼女は頬に手を添えたまま、拍ごとに上体を左右に小さく揺らして歌い、
    5.92秒にゆっくり1回まばたきをして、目を少し細める。
    
    [ショット5|6.66〜7.41|幕が昇る]
    拍の頭でカットがやや斜め前からのクローズアップに変わると、
    彼女の目線がスマホからすっと持ち上がり、カメラをまっすぐ見つめる。
    上がっていく旋律に合わせて眉がほんのわずかに上がり、
    背後の光の帷がするすると上へ巻き上がって画面の外へ消え、
    昇りきった光の輪が彼女の頭の後ろに満ちる。
    7.4秒で行を歌い終えて唇を閉じる。
    
    [ショット6|7.41〜7.70|足をほどく]
    カメラが床すれすれに切り替わり、厚底の編み上げブーツが画面の手前に大きく迫った瞬間、
    組んでいた足がほどける。手前の高音の光の粒が一斉にきらめく。
    
    [ショット7|7.70〜7.98|足を組み直す]
    膝とフリルの裾の高さで、反対の足が上へ組み直され、フリルが小さく跳ねる。
    
    [ショット8|7.98〜9.66|開演のベル]
    カットが正面の顔に戻った瞬間、次の行の高い音が始まる。
    彼女が高い音を伸ばしながら目をそっと閉じ、眉がわずかに上がると、
    頭の後ろの光の輪から、銀とピンクの同心円の波紋がひとつ広がる。
    8.16秒と8.90秒の拍でも波紋がひとつずつ広がり、
    波紋が通るたびに奥の棒がその順に跳ね上がる。カメラが少しずつ寄っていくなか、
    8.54秒に彼女は目を開けてスマホの光を見つめ直し、
    上体を左右に揺らしながら歌い続けて、
    9.29秒に1回まばたきをする。
    
    [ショット9|9.66〜10.40|鳴り渡る]
    
    拍の頭でカットが少し引いたミディアムに変わり、ソファに座る全身が見える。
    彼女は歌いながらスマホから目を上げて、カメラを見つめる。
    10.24秒の強い拍で、光の輪から大きな波紋が画面の端まで一気に広がり、
    すべてのイコライザーの棒が同時に最大まで跳ね上がって、彼女の口元がやわらかく緩む。
    
    [ショット10|10.40〜10.76|息継ぎ:オペラ]
    彼女が息を吸う一瞬、画面は黒の中に浮かぶ <オペラ> の艶面に切り替わる。
    カメラがチョコレートの鏡面をなめるように滑ると、
    表面に映り込んだイコライザーの棒が拍に合わせて跳ねながら流れ、
    ピンクの宝石の飾りに小さな光が弾ける。
    
    [ショット11|10.76〜12.63|今宵も]
    カメラがやや斜めから彼女の顔へ回り込んでいくと、床の近くにイコライザーの棒が一列に並び、
    舞台の足もとの明かりのように、暖かい琥珀色で彼女を下から照らし始める。
    歌い出した彼女の目線が、
    11.15秒にスマホから画面の外の闇へそっとそれ、遠くを見るような目のまま歌い、
    11.89秒に目線がスマホの光へ戻る。
    12.24秒、目をわずかに伏せる。
    
    [ショット12|12.63〜13.39|演目が始まる]
    強い拍の頭で、彼女は行の最後の音を歌いながら、
    そのまま背中から <ソファ> へ倒れ込み、仰向けに寝転がる。
    倒れ込む動きを追ってカメラが真上へ回り込んでいくと、
    長い淡いピンクの髪が座面の上にふわりと舞い上がり、口元の外側を流れて放射状に広がる。
    13.0秒に歌い終えて唇を静かに閉じると、歌声の光の波形がほどけて消え、
    月の光の輪が彼女の頭を囲む位置へ降りてくる。
    
    [ショット13|13.39〜14.12|盛り上がり]
    真上から見下ろす画面の中央で、彼女はスマホを両手で顔の上に掲げ、
    唇を閉じたまま、盛り上がっていく伴奏を聴いている。
    拍が鳴るたびに頭を囲む光の輪の棒が一斉に外へ跳ね、そのたびに輪がひと回りずつ大きく開いていく。
    スマホを持つ手首が拍に合わせて左右に小さく揺れ、
    13.76秒にゆっくり1回まばたきをして、口元がほんの少し緩む。
    
    
    [ショット14|14.12〜14.49|瞳]
    カットが瞳のエクストリームクローズアップに切り替わり、瞳の中に光の輪が小さく映り込んで、
    拍に合わせて跳ねながら回る。まぶたが1回まばたく。
    
    
    [ショット15|14.49〜15.00|開演の直前]
    真上のカメラが彼女の顔へ降りていく途中、彼女はスマホの向こうのカメラへ一瞬だけ目線を送り、
    閉じた唇の端がやわらかく上がる。
    14.86秒の最後の拍で、次のフレーズを歌い出す直前のように小さく息を吸い、
    胸と肩がわずかに上がって、唇のあいだがわずかに開く。
    光の輪はいちばん大きく開ききる寸前で、15秒の時点で次の展開を待っている。

    光

    だいぶ前にSeedance2.0で作成した動画の1シーンです。
    どちらも同じ画像を参照させて生成されています。

    この2つ全く別の質感ですよね。一体何が違うのか。

    それは光の表現です。

    画像
    画像

    使用した画像です。

    画像
    画像


    当時使用したプロンプトです。
    GPTに考えてもらいました。

    
    style:
    anime music video style, ultra high detail, cinematic, 
    intense, high contrast, glossy lighting, deep shadows, 
    volumetric light, rim lighting, audio-reactive visuals, 
    exaggerated motion, slow motion accents
    
    reference:
    use input image as character reference (long-haired male)
    
    environment:
    stylized kitchen or small room cooking space,
    warm base lighting with strong directional highlights,
    deep shadows, strong contrast,
    visible steam, oil reflections, subtle floating particles
    
    characters:
    
    Chef:
    long-haired male, calm but focused,
    performance must follow input audio exactly,
    facial expression: cool, slightly serious, occasional smirk,
    rim light outlines face and hair
    
    ingredients:
    
    Sausage:
    strong specular highlights, oil reflections emphasized
    
    Edamame:
    matte texture with bright salt sparkle highlights
    
    Cheese:
    soft glow, translucent edges when melting
    
    visual_effects (overlay):
    - film grain (subtle)
    - light bloom / glow on highlights
    - lens flare on strong light sources
    - chromatic aberration (very slight)
    - vignette for contrast focus
    - light shafts / volumetric rays through steam
    - reflection enhancement on oil surfaces
    
    audio_reactivity:
    all motion and lighting synced to input audio:
    - beat → shadow shift, highlight flicker
    - high → sparkle, bloom spikes
    - low → heavy shadow movement, contrast pulse
    
    
    timeline:
    
    cut_01:
    wide shot,
    strong contrast lighting, soft volumetric rays visible
    
    cut_02:
    knife CU,
    metal reflects sharp light streaks
    
    cut_03:
    pan CU,
    oil highlights flicker, deep shadow contrast
    
    cut_04:
    mid shot,
    rim light outlines chef during pan flip
    
    cut_05:
    extreme CU,
    oil reflections bloom and flare slightly
    
    cut_06:
    edamame,
    salt sparkles catch light dynamically
    
    cut_07:
    cheese cut,
    edge highlights glow subtly
    
    cut_08:
    cheese stretch,
    translucent glow, light passes through
    
    cut_09:
    face CU,
    half-lit face, strong shadow contrast, rim light edge
    
    cut_10:
    montage,
    light flicker + shadow pulses synced
    
    cut_11:
    plating,
    soft glow + controlled shadows
    
    cut_12:
    final CU,
    steam with volumetric light, bloom peaks, vignette focus

    このように動画生成AI側に光の表現をまかせると、
    かなりそれっぽくなります。

    動画ができあがるまで、どのような画風になるか分からないという短所はあります。

    うまく出来る保証がありません。
    ですがこんな事もできますよ、という事で載せました。


    光や影の表現を指定するのも、結構大事だと思うのです。




     
     
    最近はSunoAIでの楽曲生成に熱心に取り組んでおり、 YouTubeなどに曲を載せていきたいと思っている。 中二病的な呪文めいた歌詞に様々な想いをのせる事が面白いと思っていて、 しかし元々文才無き身ゆえに、少々分かりづらい内容になってはいるが聞いていってくれると嬉しいです。

    あなたへのおすすめ