AI同士に仕事をつないだら、曲と一枚の画像から初めてのMVが完成した
まずは、完成したMVをご覧ください
こんにちは、ナオユキです。
その締めくくりとして、テーマソング「10MBのパッション」のMVを作りました。
僕にとって初めてのMV制作です。
しかも僕自身は、動画編集ソフトを一度も操作していません。
では、どうやって作ったのか。
今回、僕が自分で作ったのは「曲」と「主人公の画像」だけです。
絵コンテ、動画生成プロンプト、編集指示書、字幕制作。
それぞれをAIへ相談し、そのAIが次のAIへ仕事を渡していきました。
気が付けば、一本のMVが完成していました。
今日は、実際にどのように作ったのかをご紹介します。
※この記事はPollo AIのPRを含みます。
実際にPollo AIを使用・検証した内容をもとに執筆しています。
完成後に振り返った、今回の制作リレー
今回の役割分担は、こちらです。
曲・主人公画像
↓
ChatGPT
（絵コンテ）
↓
ChatGPT
（16:9画像）
↓
ChatGPT
（動画生成プロンプト）
↓
Pollo AI
（16本の動画）
↓
Codex
（100作品GIFウォール制作）
↓
ナオユキ
（ブラウザで画面録画）
↓
ChatGPT
（Codexへの編集指示書）
↓
Codex
（MV編集）
↓
ChatGPT
（字幕制作指示書）
↓
Codex
（字幕付きMV完成）制作中は、一工程ずつ進めることで精いっぱいでしたが、完成後に並べてみると、こんなリレーになっていました。
最初にあったのは、曲と一枚の画像だけ
出発点は、テーマソングの「10MBのパッション」と、主人公となるスズのイメージ画像でした。
曲の長さは、約2分52秒。
でも、主人公の画像は一枚だけです。
この一枚から、約3分の物語をどう作るのか。
僕には、MVの絵コンテを描いた経験も、曲に合わせてカットを設計した経験もありません。
そこで最初に、MVの絵コンテをChatGPTへ相談しました。
相談① MVの絵コンテを作ってもらう
僕の相談は、かなりシンプルです。
曲は添付の曲で、イメージキャラは添付です。
絵コンテを作成お願いできますか。
ChatGPTの回答は、曲全体の物語、色の変化、カメラの動き、場面転換まで含む絵コンテでした。
正直、ここまで返ってくるとは思っていませんでした。
僕は曲を渡して、「絵コンテをお願いできますか」と聞いただけです。
今回のMVの物語の軸は、
白いノートから最初の動画が生まれ、5秒の小さな作品が誰かへ届いていく
というものです。
濃紺の雨の夜から始まり、創作が進むにつれて、シアン、紫、マゼンタ、琥珀色の光が増えていく。
最後は、一つの「スキ」が街へ広がり、朝の光へたどり着く。
noteの「スキ動画」の世界観にもぴったりだったので、この物語はそのまま採用しました。
ただ、このままでは動画は作れません。
絵コンテは16:9ではなく、動画生成では構図が崩れやすくなるからです。
そこで次は、この一枚を16枚の横長画像へ分けてもらうことにしました。
【インプット画像】
【生成された絵コンテ画像】
相談② 絵コンテを16:9の画像へ分ける
僕の相談は、こちらです。
この画像を、16:9の一枚ずつの画像にして。
AIは、単純に画像を切り抜くのではなく、足りない左右の景色を自然に補い、動画生成に使える16枚の横長画像を作成してくれました。
これで、
「約3分のMVを作る」
という大きなタスクが、
「この16枚を、一枚ずつ動かす」
という、具体的な作業へ変わりました。
【完成した16枚の画像】
相談③ Pollo AIへ入れるプロンプトも作ってもらう
画像が完成しても、まだ動画にはなりません。
次は、それぞれの画像をどう動かすかが必要です。
僕はChatGPTへ、
16枚の画像それぞれに、動かすプロンプトを作成して。
とお願いしました。
数分待つと16場面それぞれについて、
主人公をどう動かすか
カメラをどう動かすか
光や雨をどう見せるか
顔や手の崩れを避けるために何を禁止するか
次の場面へどうつなぐか
まで書かれた動画生成プロンプトが出来上がりました。
例えば、最初の場面では、
雨の夜の都市。細い雨粒が自然に落ち、中央の暖かく光る一室へ、カメラがゆっくり近づいていく。
という動きを指定。
同時に、
建物の変形、窓の増減、激しい雷、人物の振り向きを避ける。
という注意点も入っています。
僕が動画生成のプロンプトを16本考えたのではありません。
この時点で、人が次のAIへ指示を書くのではなく、絵コンテを考えたAIが、動画生成AIへ渡す依頼書まで作ってくれました。
出来上がった16本のプロンプトを16枚の画像と一緒にPollo AIへ渡しました。
ここから、次の工程へのバトンが渡り始めました。
【生成されたプロンプトの一部】
01 雨の街と一つの灯り
動画プロンプト
> 雨の夜の都市。細い雨粒が画面手前から奥へ自然に落ち、建物の窓や濡れた外壁を伝う。遠景の街灯がわずかに明滅し、中央の暖かく光る一室だけが静かに存在感を増す。カメラはその窓へ非常にゆっくりドリーイン。室内に見える主人公のシルエットはほぼ動かさず、わずかな呼吸だけを感じさせる。深い紺色の静かな導入、映画的、5秒。
まずは、5秒で作ってみることにした
ここは、失敗したところなのですが、ChatGPTから「5秒単位」で作る提案があり、「まずは試してみよう」と、そのまま採用しました。
ところが完成してから気付きます。
5秒×16本なので、全部合わせても約80秒しかありません。
今回の動画では、最後に全員の作品を流したいなと思っていたのですが、作品のウォールが30秒だとしても尺が全然足りない…
「編集AIなら、なんとかしてくれるかも。」
……完全に他力本願でした（笑）。
今振り返ると、ここは最初に尺まで考えておくべきでした。
Pollo AIで、16枚を16本の動画へ
ここで、Pollo AIの出番です。
16枚の画像と、ChatGPTが作った16本のプロンプトを、順番にPollo AIへ入れていきました。
ここで初めて、絵コンテの中にしかなかった物語が動き出し、MV編集へ進める状態になりました。
この工程が、今回、唯一と言っていい僕が実際に手を動かした部分です。
最初に試したのは、Seedance Miniでした。
Seedance Miniでも十分に動きました。
ただ、生成された主人公が少しアニメ寄りになり、最初に用意したイメージから離れているように感じました。
「動いてる。ちゃんと動いてる。でも、ちょっとイメージと違うんだよな……」
最初に見たときの感想は、そんな感じです。
今回はMV全体を通して見る作品だったため、コストよりもキャラクターの統一感を優先し、Seedance 2.5を選びました。
そして、その結果、16本すべて一発生成で再生成はなしです。
細かな違和感はありましたが、今回は完成まで進めることを優先し、再生成は行いませんでした。
動画生成に使ったのは490クレジットでした。
Seedance 2.5：30クレジット × 16本 ＝ 480クレジット
Seedance mini（テスト）：10クレジット
合計：490クレジット。
この490クレジットで、約3分のMVを構成する16本の映像素材を用意できました。
※クレジット数は記事執筆時点のものです。使用モデルや設定によって変わる場合があります。
具体な生成手順としては、今回の生成は、
Seedance2.5／5s／480p／コスト30で生成しました。
一度生成後は、「同じような動画を生成」を選択し、同じ設定で入力画像とプロンプトを書き換えながら進めています。
Pollo AIは並列での生成実施が可能なため、一つの完成を待たずに、次の画像とプロンプトを入力できたのも作業効率の面で嬉しい点でした。
ここで初めて、「編集できる素材」がそろいました。
100作品が動く「ありがとう」のアプリを作る
今回、MVの最後に残したいものがありました。
コンテストへ応募してくださった100作品です。
結果発表だけで終わらせず、参加してくださった皆さんへの「ありがとう」として、それぞれの作品をMVの中にも残したい。
そのためには、100作品が一つの画面で動く映像素材が必要でした。
普通なら、100作品を動画の中へ並べるだけでも結構大変です。
今回は100作品が動くアプリをCodexで作ることにしました。
ただ、Codexにいきなりなげるのではなく、今までやりとりしていたChatGPTにCodexへの依頼書を作成してもらいました。
実際にChatGPTが作成した依頼書がこちらです。
今回のMVで最後に100個のGIF動画をPCの1画面上で12～15のGIFを同時に見えるようにして全動画を並べて、一気に動くようなアプリを作りたい。
そのためのCodexへの指示書を作成して。
するとCodexは、複数のGIFが同時に動き、画面が自動でゆっくり下へ進むGIFウォールのアプリを制作してくれました。
僕が行ったのは、完成したアプリをブラウザで開き、PCで画面録画することです。
録画には、いつもお世話になっているキョウスケ先生のCapture Appを使いました。
こうして、約30秒の「全員のスキ」動画が出来上がりました。
これで、16本のPollo AI動画と17本目のMV素材が完成です。
実際に100作品が一斉に動く画面を見ると、今回の夏の陣を振り返る景色のように見えました。
相談④ 今度は、Codexへの編集指示書を作ってもらう
16本の５秒動画と30秒の作品動画が完成しました。
でも、音楽は約2分52秒あるため、単純につなげても尺が足りません。
そこで、ChatGPTへ相談。
16カットの5秒動画と、最後に全員のスキ動画をスクロールする30秒動画を作りました。
Codexに指示してMVを作成するので、指示文を提示してください。
ChatGPTは、僕ではなくCodexが理解できる形で編集仕様書をまとめてくれました。
そこには、
・素材確認
・尺調整
・速度変更
・最後の同期
など、編集全体の設計がまとめられていました。
僕は、その指示書と17本の素材をCodexへ渡しました。
Codexが、16本を一本のMVへ編集する
今回は動画編集ソフトを僕が開く代わりに、Codexへ編集指示書を渡しました。
Codexは、いきなり完成版を書き出したわけではありません。
まず、音楽と17本の映像素材を確認しました。
17本の素材だけでは、約2分52秒の楽曲には尺が足りません。
そこでCodexが、素材をどう配置し、どこで長さを調整するかまで含めた編集設計を行いました。
僕が「お願いします」と伝えるだけで、Codexは確認用プレビューを作成。
作成された映像を確認しましたが、細かいずれ等はありましたが、全体を通してMVとして完成されていましたので、修正指示はせずにOKとしました。
僕自身は、動画編集ソフトのタイムラインを一度も操作していません。
そして、僕の最終OKとともに、Codexは最終版としての1920×1080、24fps、約2分52秒のMVを完成してくれました。
歌詞字幕も、ChatGPTからCodexへ
MVが完成したあと、歌詞字幕も追加しました。
ここでも、まずChatGPTへ相談し、Codexへ渡す字幕制作の指示を作りました。
その指示をCodexへ渡し、字幕のタイミング解析、字幕ファイルの作成、映像への焼き込みまでお願いしました。
僕が歌詞の表示時間を設定したわけではありません。
僕は正式な歌詞と希望を渡し、出来上がったプレビューを確認しただけで全部AIが編集してくれたのです。
AIへ相談し、判断し、次へつなぐ
最初にあったのは、一曲と一枚の画像だけでした。
そこから相談を重ねるたびに、AIが次のAIへ渡す仕事を整理し、また次のAIが形にしていく。
僕がやっていたのは、すべてを自分で作ることではなく、「相談する」「判断する」「次へつなぐ」ことでした。
動画制作を始めたいけれど、絵コンテも編集も分からない。
そんな人でも、一つのAIだけですべてを解決しようとせず、それぞれの得意分野をつないでいけば、一本の作品へたどり着けるかもしれません。
今回のMVは、そんな作り方で生まれた、僕にとって初めての作品です。
AI同士へ仕事をつないでいった先で、一曲と一枚の画像は、僕にとって初めてのMVになりました。
もしこの記事を読んで、
「自分もMVを作ってみたい」
と思った方がいたら、ちょうど参加できる企画があります。
ハロウィーンMV企画参加者募集中です🎃
現在、タクさんの方でハロウィーンMV企画を開催しています。
Pollo AI協賛 ハロウィンMV企画
「変でもいい、響けばいい。」番外編
基本は15〜60秒くらいのMV・音楽動画ですが、フルで作りたい方はフルでもOKだそうです。
Pollo AIさん協賛で、参加者には500クレジットが配布されます。
みなさん是非参加してみてください🙌
企画詳細はこちら👇
僕も、もちろん参加予定で申し込み済みです！
楽しみにしていてください。
#生成AI #AI活用 #動画生成AI #生成AI動画 #動画制作 #ChatGPT #PolloAI #Codex #MV制作 #最近すきな動画 #スキ動画 #ｎｏｔｅスキ動画コンテスト #アカリウム #CCC#ChatGPTCreativeClub
いいなと思ったら応援しよう！
もしこの記事が少しでも役に立ったり、楽しんでいただけたりしたら、チップをいただけるととても嬉しいです！
いただいたチップは、今後のより良いコンテンツ制作のための書籍代📚とnote購入🗒️、他の方へのチップ代💰に使わせていただきます。
いつも応援ありがとうございます！