メインコンテンツへスキップ
見出し画像

16本の動画生成をRenoise+CodexでMV制作を自動化できるか?|AI×MV制作実験室

    AI×MV制作実験室|Renoise編 1/3

    ※この記事はRenoiseのPR企画として、制作に使用するクレジットの提供を受けています。企画内容・制作方法・検証結果については、僕自身の判断でまとめています。

    こんにちは。ナオユキです。

    以前、「スキ動画コンテスト」の最後を飾るために、約3分のMVを一本作りました。

    絵コンテを用意し、主人公の画像を作り、16本の短い動画を一つずつ生成する。

    そして、それを編集ソフトでつないで一本のMVにする。

    完成したときは嬉しかったのですが、同時に一つ思ったことがあります。


    この16本、次は僕が一つずつ生成しなくても作れるんじゃないか?


    画像


    そこで今回試してみるのが、RenoiseとCodexを組み合わせたMV制作です。

    Renoiseさんから制作に使うクレジットをご提供いただいたので、機能を紹介するだけではなく、実際に作品を作るところまで試してみることにしました。

    テーマは、

    「AIにどこまでMV制作を任せられるのか?」

    です。

    先に、今回完成したMVを見てください。


    ただ、最初からこの形になったわけではありません。生成した動画には思わぬ問題もあり、修正を重ねています。

    Renoiseでの準備から、Codexに任せた制作、その後の低コスト化への挑戦まで。 この過程を全3回で紹介します。

    第1回:Renoiseの機能を試し、Codexへの接続を確認する
    第2回:Codexの導入から、16本の動画を使ったMV制作まで
    第3回:500クレジット縛りで、MV制作に再挑戦する

    今回は第1回。まず、制作を任せるために何を準備したのかを見ていきます。



    Renoiseとは?

    Renoiseは、複数の画像・動画生成モデルを使えるほか、AIへの制作相談やCodexとの連携もできるサービスです。

    【Renoiseの画像生成/動画生成モデル】

    画像
    ▲ Seedance 2.5など、複数の生成モデルから選べます


    僕が気になったのは、モデルの数よりも、ブラウザで一つずつ動画を作る作業を、もっとまとめられないかということでした。

    そこで今回、RenoiseとCodexを組み合わせて試してみます。

    Renoiseはこちら

    画像
    ▲ Renoiseの公式サイトはこちら
    Seedance 2.5など、複数の生成モデルを利用できます



    Renoise Agentに「作りたいもの」を相談する

    画像


    Renoiseには、作りたい映像をチャットで相談できる「Renoise Agent」があります。
    今回は、利用できるモデルや、生成前に決められる条件について聞いてみました。

    画像
    Renoiseの動画モデルについても詳しく回答してくれます(無料)


    Agentとの会話自体ではクレジットを消費しません。
    生成する段階では、モデル・解像度・秒数・必要クレジットが表示され、内容を確認してから実行できます。

    【実際のエージェントでの生成画面(一部抜粋)】

    画像
    生成前に、生成モデルと解像度、秒数と必要クレジットが表示されます


    クレジットを使う前に、まず相談できる。ここは今回、助かったところです。


    スキルを眺めていたら、気になるものを発見


    Renoiseのスキルを眺めていると、僕としては素通りできないものがありました。


    画像
    【実際のRenoiseのスキル画面】


    画面上には、「JOJO風」という表記。

    ……これは試すしかない。


    実は僕も過去に自分のキャラクターで、濃い劇画コミック調の作品を作ったことがあります。

    ならば今回は、

    「お手並み拝見といきましょうか」

    ということで、当時使った自分のキャラクターイラストとプロフィール、場所は、わかりのぽんさんの物語に登場する天音町のイラストを渡してみました。

    Agentからは、縦長か横長か、王道の守護存在召喚か自由な物語か、という選択肢が返ってきます。

    僕が選んだのは横長16:9の王道ルート。

    生成前には、モデルと必要クレジットも表示されました。

    Seedance 2.0|16:9|480p|15秒|150クレジット

    ※円換算額は契約プラン、購入方法、為替によって異なります。

    内容を確認してOK。
    数分待つと、15秒の動画が生成されました。


    ……これ、すごい。

    もとのキャラクターの特徴をかなり維持しているうえに、セリフもプロフィールの情報を拾ってくれています。陰影の強い、濃い劇画調の映像になりました。

    ただ、ここで一つ気になりました。

    もとの絵自体が劇画調だから、うまくいっただけでは?

    普通のアニメ調でも同じように作れるのか。そこで、今回のMVの主人公・スズでも試してみました。


    筆がササーッと走って、描いたものから何かが立ち上がってくる。
    このあたりの演出は、けっこう好きです。

    画面にも勢いがあります。

    ただ、現れた守護存在は、僕が思い描いていたものとは違う黒い人型。

    そして擬音は、「シュルッ」「ドドッ」…

    最後は、「ズバャン」


    ……ズバャン。

    ここで独自性を出してきました。
    これはこれで面白いが、もう少し奇妙さが欲しい。

    そこで次は、「人型ではなく異形に」「墨や描線から生まれた姿に」「陰影を強く」と条件を追加しました。


    そして再生成されたのがこちら。


    今度は、人型ではない異形の守護存在になりました。

    こちらの方が好みに近い。

    ただし、今回は比較のために2回生成しています。
    再生成すれば、そのぶんクレジットも使います。

    普段の制作なら、「何を出したいか」だけでなく、「何を出したくないか」も生成前に伝える。

    この実験は、Agentで先に条件を詰める意味を考えるきっかけにもなりました。


    Canvasなら、素材を見ながら作れる


    Renoiseには「Canvas」という、参考画像や生成した素材を一つの画面に並べて扱える作業スペースもあります。

    たとえば、
    文章でイメージを伝える → 画像を作る → その画像を動画にする
    と、素材を見ながら次の生成へつなげていけます。


    画像
    Canvasの画面

    画像から動画へ、素材同士のつながりを画面上で追える。
    チャットだけで進めるより、制作の流れを把握しやすいと感じました。

    ただし、Canvasだけで16本の動画を整理し、音源や字幕まで合わせてMVを完成させるわけではありません。

    そこから先の制作を任せるために、今回使ったのがCodexです。


    RenoiseをCodexから使ってみる

    画像

    今回、一番試してみたかったところです。

    Renoiseは、公式プラグインを通してCodexからも利用できます。

    Codexが制作進行。Renoiseが動画生成担当。

    今回触った機能を整理すると、Agentは生成前の相談、Canvasは素材を見ながらの制作、Codexは複数の作業や後工程との連携という役割でした。

    僕が試したかったのは、その中でもCodexを使って、16本の生成作業をまとめて進めることです。

    僕が前回一つずつ行っていた動画生成を、この組み合わせに任せられないかと考えました。

    実際にCodexからRenoiseへの接続も確認できました。

    画像
    ▲ 接続確認完了

    では、この状態から16本の動画を生成し、一本のMVにまとめることはできるのか。

    導入の手順と実際の制作結果は、次回まとめて紹介します。


    次回、16本の動画生成をCodexへ任せる

    ここからが本番です。

    前回のMVでは、僕自身が一つずつ生成していた16本の動画。

    今回は同じ絵コンテと主人公画像を使い、生成の指示から素材管理、一本のMVへの組み立てまでCodexへ依頼しました。

    では、実際に任せてみて、何が変わったのか。

    AIに作業を任せることと、作品の完成を任せきることは同じなのか。

    次回は、初回版と改善版を比べながら、うまくいったことも、思いどおりにいかなかったことも紹介します。

    さらに第3回では、使えるクレジットを500に制限して、もう一度MV制作に挑戦します。


    Renoiseを試してみたい方へ


    今回使用したRenoiseはこちらです。

    ▼ Renoiseを試してみる

    画像

    専用リンク経由でサブスクリプションを30%OFFで利用できるキャンペーンが案内されています。

    適用条件や実施状況は、リンク先で確認してください。


    最後までお読みいただきありがとうございました。

    画像
    画像
    マガジン作りました
    画像
    スキしたら庭を育ててください

    #Renoise #生成AI #AI動画 #動画生成AI #Codex #MV制作 #AI ×MV制作実験室  #AI動画 #動画生成AI #MV制作 #やってみた #AI活用 #映像制作 #最近の学び


     
     
    まだ知らない『面白い』への案内人。人・作品・AIの魅力を見つけ、物語と知識に変えて届けるコンシェルジュです。毎週土曜は漫画ソムリエ。スキ動画コンテストほか、いろいろ実験中。

    あなたへのおすすめ