
16枚の絵コンテから3分MVへ。Renoise AI × Codexの制作ワークフロー検証|AI×MV制作実験室【PR】
AI×MV制作実験室|Renoise AI編 2/3
※この記事はRenoise AIのPR企画として、制作に使用するクレジットの提供を受けています。企画内容・制作方法・検証結果については、僕自身の判断でまとめています。
こんにちは。ナオユキです。
前回は、AI制作プラットフォーム「Renoise AI」の機能を紹介し、公式プラグインとCLIを使って、Codexから動画生成を依頼できるところまで確認しました。
Renoise AIは、画像・動画・音声など複数の生成AIを、一つの環境から利用できるAI制作プラットフォームです。
モデルごとにサービスを行き来せず制作できるのが特徴です。
Web上のAgentとCanvasを使って制作できるほか、公式プラグインとCLIを導入すれば、CodexからRenoise AIの生成モデルへ制作を依頼できます。
つまり、企画や制作の進行はCodexに任せながら、実際の動画生成はRenoise AIへ依頼できるというわけです。
今回検証するのは、まさにその制作フローです。
Codexに制作工程を整理してもらい、実際の動画生成をRenoise AIへ依頼し、生成された素材を一本のMVへまとめる。
そんな制作ワークフローを思いついたきっかけは、前回の検証でした。
Renoise AIとの接続を確認したとき、最初に思ったことがあります。
これ、前に作ったMVの素材を全部渡したら、
自動で作ってくれるんじゃないか?
以前「スキ動画コンテスト」に向けて制作した『10MBのパッション』には、すでに次の素材がありました。
主人公画像
16枚の絵コンテ
音源
歌詞
前回は、5秒の動画を一本ずつ生成し、Codexを使って編集してMVにしています。
では今回は、素材と作品の方向性を渡し、動画生成から編集、書き出しまでを一つの流れで進めたらどうなるのか。
それが、今回の実験です。
今回の役割分担は、次のようになりました。
Renoise AI:生成モデルの提供、生成条件と必要クレジットの確認、動画素材の生成
Codex:資料整理、シーン構成、プロンプト作成、生成依頼、素材整理、編集、字幕、書き出し
僕:作品の方向性を決め、生成内容と費用を確認し、修正を判断する
Codexだけで映像を生成したのではありません。
Codexが制作工程を組み立て、その指示をRenoise AIが実際の動画素材として生成する形です。
もし本当に約3分のMVまで完成できるなら、MV制作の進め方が変わるかもしれません。
まずは、完成版を見てください
完成した『10MBのパッション』MV
▲ Renoise AI × Codexで制作した『10MBのパッション』完成版
白いノートから始まった小さな創作が、5秒の動画になり、誰かへ届き、やがて街へ広がっていく。
16枚の絵コンテで考えた物語を残しながら、約3分のMVにまとめました。
ただし、最初からこの形になったわけではありません。
最初に作ったMVには、参照画像から意図しない要素が引き継がれたり、テーマの見せ方が曖昧になったり、歌詞の調整が必要になったりと、いくつかの問題がありました。
そこから設計条件を見直し、動画素材を作り直して、この完成版になっています。
今回は、完成結果だけではなく、その過程もそのまま紹介します。
とりあえず、持っている資料を全部渡してみた

Codexへ渡したのは、主人公画像、16枚の絵コンテ、音源、歌詞です。
さらに、絵コンテごとに想定していた動きやカメラワークも、設計資料として共有しました。
依頼の中心は、次のような内容です。
添付した絵コンテ、動画生成プロンプト、音源、歌詞をもとに、約3分間の楽曲全体を一本の映画のようなMVとして制作してください。
このMVでは「小さな創作が、誰かへ届いていく物語」を描きます。
16枚の絵コンテをそのまま16本の5秒動画として再現する必要はありません。
曲に合わせて尺や構成を調整し、一本の自然な映像作品へ再構成してください。
主人公は添付画像を基準とし、顔、髪型、衣装、画風、年齢、雰囲気を全編で維持してください。
完全に一言だけで丸投げしたわけではありません。
「小さな創作が、誰かへ届いていく物語」という方向性と、雨、白いノート、一本の線、光、夜明けといった世界観は伝えています。
一方で、約3分の曲を何本の動画へ分けるのか、どこで場面を切り替えるのか、生成素材をどう並べるのか。詳細なシーン構成や生成プランは、CodexとRenoise AIを組み合わせた制作フローへ委ねました。
まずRenoise AIとCodexで作ってもらう。
出来上がった映像を見て、僕が修正を判断する。
今回は、この順番で試しました。

Codexは、16枚の絵コンテを12シーンへ組み直した

前回のMVでは、5秒の動画を16本生成し、編集して約3分のMVに仕上げました。
今回は、Codexが16枚の絵コンテを12シーンへ整理し、Renoise AIで利用できるSeedance 2.0 MiniとFastを使った、約3分のMV生成プランを提案しました。
1本あたり約14〜15秒、全12本。
生成前の見積もりは1,132クレジットでした。

内容と費用を確認し、「この構成なら良さそう」と判断して生成を承認しました。
Seedanceには、どんなモデルがある?
Seedanceは、ByteDanceが開発した動画生成モデルです。
Renoise AIでは、目的に応じて複数のSeedanceモデルを選べます。
主な4モデルの特徴と、10秒動画を生成する場合のクレジットをまとめると、次のようになります。

(2026年10月9日時点、割引なし)
上の数値は、Renoise AIで「10秒動画生成」を行なう場合の値です。
※モデル価格やキャンペーンは変更される可能性があります。
実際に生成するときは、Renoise AI上に表示される必要クレジットを確認してください。
今、一番最新のSeedance 2.5は、最大30秒、最大50枚の参照画像をインプットできるハイパフォーマンスモデルです。
今回のMV制作では、30秒一発の動画というよりは、10数秒の動画を組み合わせて、コストを抑えて作りたかったため、Seedance 2.0 MiniとSeedance 2.0 Fastを組み合わせて使うこととしました。
詳細内訳は以下の通りで、メインとなるシーンはSeedance 2.0 Miniを使用し、 人物のアップや印象的なカットなど、 品質を重視したい場面ではFastを使用しました。
Seedance 2.0 Mini:8本 合計115秒 676クレジット
Seedance 2.0 Fast:4本 合計 57秒 456クレジット
合計:12本・172秒・1,132クレジット
なぜSeedanceをRenoise AI経由で使ったのか
今回Renoise AIを使った理由は、動画生成から制作管理までを、できるだけ同じ流れの中で進めたかったからです。
Renoise AIでは、Seedance 2.0 MiniやFastなどのモデルを画面上で選び、そのまま生成条件を指定できます。
さらにRenoise AIはCodexと連携可能なため、
Codexで制作を進める → Renoiseへ動画生成を依頼する → 生成した素材をそのまま編集へ使う
という流れが、一つのUI内で進められました。
もう一つ助かったのが、生成前に必要クレジットを確認できることです。
使用モデル、動画の長さ、解像度、必要クレジットが表示され、内容を確認してから生成を実行できます。
最初に完成したMV
12本の生成が終わると、Codexは動画を取得して順番に整理し、音源へ配置しました。
そして書き出されたのが、この初回版です。
最初に見た感想は、
「おお、ちゃんとMVになってる。」
でした。
雨の街、白いノート、光の線、制作中の小さな動画。
16枚の絵コンテで考えていた世界観が、約3分の映像としてつながっています。
生成した動画を並べただけではなく、音源と合わせて一本のMP4まで書き出せたことには驚きました。
ただし、このまま完成とは言えませんでした。
初回版で分かった、三つの問題


初回版で起きたことは、大きく三つに整理できます。
1.参照画像の不要な要素が引き継がれた

元々のキャラ画像に入っていたのが採用された
この原因は、参考画像として渡した主人公画像には、録音用のマイクが大きく写っていたためです。

僕は顔や髪型の参考として渡したつもりでしたが、動画生成AIにとっては、マイクも画像を構成する重要な要素です。
その結果、歌を披露する場面ではないにもかかわらず、創作机の周囲にマイクや録音機材が繰り返し現れました。
2.最初のテーマと生成条件が十分に具体化されていなかった

これは、最初の指示文が悪かった💦
夜空の星をモチーフとして指定した結果、「スキ」を届ける物語よりも、星を届ける演出が強くなりました。
また、ノートへ線を描く場面では、手が突然画面へ入ってきます。

「線を描く」という結果だけでなく、「ノートを見る」「ペンを取る」「紙を押さえる」「線を描く」という動作の順番まで指定する必要がありました。
3.字幕とタイミングは編集段階で調整が必要だった
歌詞の表示時刻が歌唱と合わず、字幕も大きすぎて映像を隠していました。

これは動画素材そのものではなく、正式歌詞と時刻データを使い、編集工程で直すべき問題です。
初回版の問題の多くは、Renoise AIが生成できなかったというより、参照画像や最初の設計条件が曖昧だったことに起因していました。
特に、参照画像に写っていたマイクをAIが重要な要素として引き継いだ点は、生成前の設計が重要だと分かる例でした。
一本のMVにはなっている。
でも、このまま完成とは言いにくい。
惜しい。
あと一歩です。
だから、具体的な修正指示を出した

初回版を見て、修正したい内容をCodexへ伝え直しました。
1. 左上の黒い表示を削除する
2. 「星を届ける」から「ハート=スキを届ける」へ統一する
3. 既存の歌詞表示を削除し、正式歌詞と指定時刻で作り直す
4. マイク、マイクアーム、ポップガード、録音機材を除去する
5. ノートを見る、ペンを取る、紙を押さえる、線を描く、という自然な動作へ直す
ここで大事だったのは、動画生成で直すものと、編集で直すものを分けたことです。
主人公、小物、手の動き、ハートのモチーフは、映像そのものに入っています。これは動画素材を見直す必要があります。
一方、左上の黒い表示、歌詞の時刻、字幕の位置や文字サイズは、生成後の編集で修正できます。
今回は修正内容が複数のカットに及んだため、部分的な差し替えよりも全体の統一感を優先し、共通条件を見直して12本を生成し直しました。
一回直しても、完成ではなかった
動画を直す。
字幕を直す。
タイミングを合わせる。
文字サイズを調整する。
少し直して書き出し、また最初から見直す。
その作業を繰り返し、最終的に採用したのがV5です。
ただし、改善版の動画12本を4回生成し直したわけではありません。動画素材を再生成したあとの書き出しを、次の4段階で調整しました。
V2:改善版の動画素材を使ってMVを再構成
V3:正式歌詞と表示時刻を反映
V4:字幕の位置、字体、縁取りを調整
V5:大きすぎた字幕を小さくし、最終デザインへ調整
動画生成後も、映像として見直し、人が判断する工程は必要でした。
改善後のMV
初回版にあった左上の黒い表示と、作品のコンセプトに合わなかった録音用マイクはなくなりました。
歌詞も画面下部へ移り、映像を見ながら読みやすくなっています。
ノートの場面では、主人公がページを見て、ペンを持ち、紙を押さえてから線を描く流れに変わりました。
すべてが完全に思いどおりになったわけではありませんが、生成し直す部分、編集で直す部分、作品として許容する部分を分けながら完成へ近づけました。
動画生成に、何クレジット使った?
初回版では、12本の動画を生成しました。
Seedance 2.0 Mini:8本
Seedance 2.0 Fast:4本
1本あたり:約14〜15秒
総生成尺:172秒
消費クレジット:1,132クレジット
改善版では、共通条件を見直したうえで12本を生成し直し、1,023クレジットを使用しました。

初回版と改善版を合わせて24本の動画素材を生成し、約3分のMVを2パターン検証した結果、動画生成に使用したクレジットは合計2,155でした。
最終版だけを効率よく作る場合は、参照画像、不要な要素、字幕タイムライン、各シーンの動きを生成前に整理することで、再生成を大きく減らせると感じました。
今回はRenoise AIより提供いただいたクレジットを使い、初回版から改善版まで検証できました。
Renoise AIさん、ありがとうございます。
Renoise AIの料金プランは?
クレジット数だけでは制作規模を想像しにくいので、記事執筆時点のRenoise AIの料金プランを示します。

料金や対象条件は変更される可能性があります。最新情報はRenoise AI公式の料金ページで確認してください。
一番大事だったのは、生成より設計だった

今回一番学んだのは、
AI動画は「生成の上手さ」ではなく、
「設計の上手さ」で完成度が決まる。
ということでした。
複数の構図を一枚へ詰め込まず、動画化する場面ごとに参照画像を分ける
それぞれの画像から、どのような動きへ発展させるかを決める
主人公の顔、髪、衣装、世界観を共通条件として固定する
出してよい小物だけでなく、出してはいけない小物も指定する
歌詞と表示時刻のタイムラインを先に作る
動画生成で作るものと、編集で追加するものを分ける
再生成に使える本数とクレジット上限を決める
そこが曖昧だと、あとで何本も作り直すことになります。
今回クレジットが増えた最大の理由は、改善版で動画12本を作り直したことでした。
失敗したからこそ、次に削れるコストも見えてきました。
Renoise AIとCodexを連携すると、制作工程はどう変わるのか
Renoise AIは、複数の動画生成モデルを利用できる制作基盤として、生成条件、必要クレジット、実行前の確認、動画素材の生成を担当しました。
CodexはRenoise AI公式プラグインとCLIを通じて、その生成機能をMV制作工程へ組み込みました。
曲と資料を確認して構成を整理する
動画生成用のプロンプトを作る
モデル、秒数、画面比率、必要クレジットを提示する
人の承認後にRenoise AIへ生成を依頼する
完成した動画を取得し、分かる名前で整理する
音源へ並べ、長さを調整する
正式歌詞の字幕データを作る
FFmpegを編集ツールとして動かし、音源、映像、字幕を合成する
MP4を書き出し、問題箇所を確認する
FFmpegが自動的にMVを考えたわけではありません。
どの素材をどこへ置き、何秒使い、字幕をいつ表示するかをCodexが組み立て、FFmpegを編集の道具として動かしています。
便利だったのは、Codexだけでも、動画生成モデルだけでもありません。
Renoise AIの生成環境をCodexから利用し、企画から完成ファイルまでの工程をつなげられたことでした。
Renoise AIが生成環境を提供し、Codexが制作工程を整理し、人が作品として判断する。
これが、今回試した制作スタイルでした。
変わったのは、人の判断ではなく、人が手を動かす場所でした。
補足:CodexとRenoise AIをどう接続したのか
今回の制作では、Renoise AI公式プラグインとRenoise AI CLIを使い、Codexから生成を依頼できるようにしました。
最初にCodexへ、公式プラグインの導入を依頼します。
Install plugin from the repo https://github.com/ArcoCodes/renoise-plugins-official

接続確認をすると、最初はRenoise AI CLIが入っていないことが分かりました。
そこで追加インストールを許可し、ブラウザでRenoise AIへログインして認証します。
認証後、CodexからアカウントAPI、モデルAPIへ接続できることを確認しました。
いきなりMVを生成するのは不安だったので、最初は短いテストを行っています。
RenoiseでSeedance 2.5を使って、「猫が歩く5秒動画」を生成してください。
するとCodexは、勝手に生成を始めず、プロンプト、モデル、5秒、720P、16:9、必要クレジットを提示し、実行してよいか確認します。

僕が承認すると、Renoise AIで動画生成が始まり、猫が歩く5秒動画が完成しました。

このテストで、
Codexへ依頼する → 内容と費用を確認する → 人が承認する → Renoiseで生成する
という流れを確認できました。
プラグインやCLIのバージョン、認証方法は更新される可能性があります。導入時はRenoise公式のCLI案内も確認してください。
次は、500クレジットで作れるか?
ここまでやって、次の疑問が生まれました。
では、最初から綿密に計画した場合、
500クレジット以内で、3分のMVは作れるのだろうか?
ただし、同じ曲と同じ素材で低コスト版を作り直すのは面白くありません。
『10MBのパッション』を作ったとき、テーマソング候補は2曲ありました。
静かな余韻を残すスズ。
明るく全力で駆け抜けるノア。
以前の記事では、2曲を聴き比べてもらい、読者投票でテーマソングを選びました。
接戦の末に選ばれたのはスズ。
ノアは惜しくも敗れ、これまでMVになっていません。
そこで次回は、あのときMVにできなかったノア版『10MBのパッション』を作ります。
静止画を先に作る
本当に動きが必要な場面だけを動画にする
共通条件と禁止要素を生成前に決める
使用できるクレジットは500まで
2,155クレジットを使って二つの版を検証した今回。
次は、その4分の1以下でどこまでできるのか。
失敗から学べたなら、ここまで減らせるはずです。
次回、実際に試します。
Renoise AIは、こんな人に向いている
複数の動画生成モデルを一つの環境で使いたい人
生成前に必要クレジットを確認してから実行したい人
絵コンテや既存素材から長尺動画を制作したい人
CodexやClaude Codeと連携して、生成作業を自動化したい人
プロンプト作成、生成、素材整理を一つの流れで進めたい人
Renoise AIを試してみたい方へ
Renoise AIは、今回のように、
複数の生成モデルを使い分けたい
CodexやClaude Codeから動画生成を依頼したい
生成前にモデル、条件、必要クレジットを確認したい
そんな人には使いやすい制作環境だと感じました。
複数の生成AIを行き来せず、生成前にモデル、条件、必要クレジットを確認しながら制作したい方は、以下の専用リンクからRenoise AIの詳細を確認できます。
Web上ではAgent と Canvasによる制作ができ、公式プラグインとCLIを導入すれば、今回のようにCodexから動画生成を依頼することもできます。
記事執筆時点では、年間プランが通常価格から30%OFFで案内されています。
最新の料金と適用条件はリンク先で確認してください。

最後までお読みいただき、ありがとうございました。
次回は、500クレジット縛りでノア版『10MBのパッション』制作にチャレンジします。


#RenoiseAI #生成AI #AI動画 #Codex #MV制作 #AI活用 #映像制作 #PR #動画生成AI #AI ×MV制作実験室 #AI動画 #やってみた #AI活用 #映像制作 #最近の学び