見出し画像

D'zGAL Music|Flow MusicとFlowツールでインスタリール向け3分リリックビデオ

Flow Musicと自作のFlowツールで、3分の曲と歌詞と、縦長10秒動画2本(イントロ/エンディング用、リピート用)を生成後、歌詞表示タイミングを設定し、インスタ・リール向けのMP4動画を出力するWebアプリを紹介します。

★ 最初はインスタ動画を埋め込んでいましたが、読み込みが遅くなかなか表示されないので、YouTubeショート動画に差し替えました。インスタ動画は文末近くの作例をご覧ください。


Flow Musicで曲と歌詞を生成

曲のモチーフ

今回は、2000年代によく聴いていた「Do As Infinity」のポップ・ロック調の曲をイメージしてプロンプトの元ネタを書き、GeminiにFlow Music向けの英語のプロンプトを生成してもらいました。

★ 「Reborn」してくれて、地味に嬉しいかも🦆・・・💦

★ 熊本のVANちゃんを応援しよう!

作例

Flow Musicで生成した曲と歌詞は以下です。

2000s J-Rock, J-Pop, energetic female vocals, powerful husky tone, aggressive slap bass, expressive lead guitar, emotional driving rock
[Intro]
[Verse]
宇宙――そこは最後のフロンティア。
誰も足を踏み入れたことのない未知なる世界へ、
新たな生命と文明を求めて、僕らは立ち向かう。
[Chorus]
満たされるな、貪欲であれ
賢く収まるな、愚か者であれ
恐れを振り払い、境界線を突き破れ!
[Interlude]
[Bridge]
闇の静寂に呑み込まれ、息が止まる
誰の声も届かない、果てしない孤独の淵で――
それでも心は、まだ燃えている。
[Final Chorus]
満たされるな、貪欲であれ
賢く収まるな、愚か者であれ
恐れを振り払い、境界線を突き破れ!
[Outro]
[End - 3:00]

Flowツールで10秒動画を生成

10秒(Genini Omni)縦長(9:16 1080p)動画を、Flowで生成した参照素材画像から簡単に生成するために、Flowツール「D'zGAL Music 10秒動画クリエーター」を作成してみました。(Omni 1.1 Flashにバージョンアップ済み)

「プロジェクトで試す」をクリック

★ Flowにまだログインしていない場合は以下の画面になるので、「Flowにログイン」をクリックしてGoogleアカウントでログイン後、上記画面に戻って「プロジェクトで試す」をクリックしてください。

Flowにログイン

プロジェクトを選んで「開く」をクリック。

プロジェクトを開く
D'zGAL 10秒動画クリエーター 初期画面

とりあえず、デフォールトのままの設定で、参照素材画像をアップロードし、セリフとプロンプトを入力します。

画像とセリフとプロンプト

参照素材画像の生成(Flow画像)

左メニューから「キャラクター」をクリックし、顔と服装の画像や声、パーソナリティーを設定します。

(参考)Asyの顔と全身画像の例

私の場合は、自作のWebアプリ「D'zGAL Studio v2」のEdit画面でプリセット3Dアバターの「Asy」を選んで、アクターのシーンショットを撮影して元絵を作成しました。(Pixlr Editor で編集しキャラクターにアップロード)

D'zGAL Studio v2 > Edit > 表情設定 > 詳細調整モード
D'zGAL Studio v2 > Edit > ポーズ調整 > シーンショット(2:3)

★ 「I(アイ)ポーズ」にするには、先ず「Myz Female V2 wait」を選んで最初のフレーム位置にしてから、「Asy Female V2 run」に切り替えます。

以下は、すでに設定済みのスクリーンショットなので、これを参考にして顔や服装の画像と、声やパーソナリティーなどを設定してください。

Flowプロジェクト「Asy」> キャラクター

Asy」をクリック。

顔と声とパーソナリティーの設定
服装の設定

★ 顔を消しているのは、AIが顔の画像を認識する時に、解像度が低く複数ある服装側の顔に引っ張られて、高解像度の顔画像を参照する優先度が低くなることを防ぐためです。

以下のように、Flowの画像編集(Nano Banana 2/Pro)で、プロンプトにより簡単に服装の変更ができます。この場合はProがオススメです。

「Flow」の画像編集機能は、生成した画像やアップロードした画像の一部分を自然言語(テキスト)や投げ縄(Lasso)ツールで直感的に修正・追加・削除できる、ワンストップのインペインティング/アウトペインティング機能が使えるので、単体のGeminiで画像を編集するより便利です。

服装を変更後(のっぺらぼう版)

★「のっぺらぼう」版は、髪型と服装がセットなので、顔立ちだけを変える場合に便利です。

参照画像とプロンプト入力を設定

・参照素材画像

Flowのキャラクターをプロンプトに追加すれば、人物の一貫性を保ったままで、背景の画像もプロンプトに追加することで、人物と背景を合成した参照素材になるアップロード画像をプロンプトで生成できます。

★ アップロードした参照素材画像からは、AIが構図やスタイル、人物像などの概念的な情報を読み取るので、プロンプトと多少整合が取れていなくてもエラーにはなりません。

今回使用した参照素材画像

・セリフ・歌詞

「さあ、行くよ」
「私に付いてこれるかな?」
「競争だよ?」

・映像のプロンプト

Asyがハーレーに跨って、こちらを向きながら日本語で喋りかける。スロットルを回してエンジンを吹かせる。

動画を生成する

動画を生成する

動画を生成する」をクリックし、数分ほど待ちます。

動画を生成中
生成が完了し自動再生中

動画を保存」をクリックして、動画を保存します。

作例

今回は、インスタグラムのリールへの投稿用として縦長10秒動画を2本(イントロ/エンディング用、リピート用)生成しました。

リピート動画

セリフは空欄にしています。

リピート動画用のプロンプトは以下です。

Asyがハーレーに跨って、サイバーパンクな高速道路を疾走している。最初は普通の表情でバイクを走らせているが、途中で何かに驚いた表情になり、そのうちにホッとした安堵の表情に変わり、普通の表情に戻る。リピート動画なので、開始フレームと終了フレームはできるだけ繋がるようにしてください。

★ なぜかBGMの音楽が入ってしまったのは想定外ですが、D'zGAL Musicのデフォールト設定では、動画の音声がオフなので、リピート中は音楽のみが聴こえます。(オンにすると、動画に含まれている音も同時に再生されます)

D'zGAL Music を使う

Webアプリなので、以下をクリックすると、ブラウザーですぐに使い始められます。ブックマーク(お気に入り)に登録しておくことをオススメします。

★ この記事を書いた時点でのバージョンは「Ver.0.2.0」で、まだプロトタイプの段階なので完成度は低いですが、改良を加えつつ、動作や使い勝手の検証を進めます。現状ではデスクトップ専用です。

スマホなどのモバイル対応(レスポンシブWebデザイン)は今のところ行っていません。モバイルでは、現状ではリリックビデオの書き出しができません

使い方ガイド

D'zGAL Music スタート画面(使い方ガイド)

開くと、左側に使い方のガイドが表示されるので、最初はご一読ください。

★ ガイド右下の「リリックビデオの制作を開始」ボタンをクリックすると、詳しい使い方が順番に表示されます。すぐに制作を開始する場合は、その左にある「閉じる」ボタンをクリックし、素材ファイルの指定から開始します。

MP4の書き出し

インスタグラムのリールへの投稿を前提とした、縦長(9:16 1080p)動画として最適化されたMP4(デフォールト設定では約100MB)を書き出します。

書き出しを開始
書き出し中

★ 書き出し時間は、曲の長さ(3分)だけかかります。書き出しが終われば、ダウンロード先を選ぶ画面がポップアップするので、フォルダーを指定して保存します。

ダウンロードしたファイルは、インスタグラムのリールに投稿することに最適化された縦長(1080p 9:16)のMP4(デフォールトの設定だと100MB前後のファイルサイズ)になります。

作例(インスタグラム リール投稿)

インスタグラム(リール)にMP4を投稿する途中で、縦横比を縦長(9:16)に設定変更してください。

★ インスタグラムのリールへの投稿は3分まで許容されますが、3分(以上)だと視聴数が減るので、今回はインスタグラムの編集画面で、最後の部分をトリミングして、2:57秒に短縮しています。

まとめ

Flow MusicとFlowツールで、3分の曲と歌詞と、縦長10秒動画2本(イントロ/エンディング用、リピート用)を生成後、歌詞表示タイミングを設定し、インスタ・リール向けのMP4動画を出力するWebアプリを紹介しています。

まだ開発の途中段階なので完成度は低いですが、今後使いながら改善・改良をしていきます。

Flowの月間クレジット(1000クレジット)の残りが200クレジットを切ったので、消費クレジットを次回のチャージまで節約するために、次回以降は3DCGによる動画生成AI(Autodesk Flow Studio)にチャレンジしてみたいと思います。

参考リンク



いいなと思ったら応援しよう!