静止画のキャラが歌い出す！？Tad AI「AI MV」で異形さんをリップシンク＆ストーリーMVにしてみた🎶

【PR】本記事は、Tad AI様提供によるPR創作記事です。

また、この度、わたくし夏目の「異形さん」が別のAIさんへ出張です👜

今回の出張先は音楽生成特化AI、その名も「Tad AI」。

前回はわたくしの音楽AI生成デビューを飾った作品作りをしました(*´ω｀)

今回は…？
なんと、Tad AIに「AI MV」が登場！
「リップシンクMV」「ストーリーMV」「カバー曲MV」という3つのモードが用意されているのだ👀✨
音楽生成を得意とするTad AIが、ついに音楽と映像を組み合わせた「MV」制作までやってきた！

今回はその中で「リップシンクMV」「ストーリーMV」を体験させてもらったよ(*´ω｀)

もう最初にいっておくわ(*´ω｀)
ヤバいわよ？(*´Д｀)✨（語彙力おいでくださいませ）

さぁ、じゃぁどれだけヤバイかのご紹介をさせてもらうわ✨👄

🎵Tad.aiとは？

楽器も弾けない、楽譜も読めない、音楽の知識ゼロ。

音符がおたまじゃくしのそこのあなた！！
それでも大丈夫！！✨

音楽ジャンルを選んで、テキストを打ち込むだけで、AIが曲を作ってくれるよ！

Tad AIには、音楽制作をはじめ、声や動画に関するさまざまなAI機能が用意されているんだ✨
おおまかにどんな機能があるか説明するね(*´ω｀)

① AI音楽生成（メイン機能！）

「夜っぽくて切ない曲」「ダークで幻想的なエレクトロ」など、作りたい音楽の雰囲気を文章で伝えるだけ。
歌声の入った楽曲から、BGMとして使えるインスト曲まで、AIが自動で生成してくれる。

②AIカバー生成
音源を用意して、歌声のイメージを指定することで、AIによるカバー音源を生成できる。
自分では歌えないような曲や、違った声の雰囲気でのアレンジを試せるのも面白いところ。

➂テキスト読み上げ

文章を入力するだけで、AIがナレーション音声を生成。
多言語にも対応しているので、動画のナレーションやキャラクターのセリフなど、映像制作にも活用できる(*´Д｀)
過去にあるわたくしのダークナレーション動画記事はこの機能を使用したんだ(*´ω｀)

④ボーカル除去

すでにある曲から、ボーカルと伴奏を分離できる機能だ。
たとえばボーカル入りの曲をTad AIに読み込ませると、AIが音源を分析して、歌声を取り除いた伴奏だけの音源を作ることができる。
さらに、ボーカル側を取り出すことも可能。
カラオケ音源を作ったり、リミックスやカバー制作などに活用できそうだね。

さぁ、ここから本記事の機能だ(*´ω｀)

⑤リップシンクMV👄

そして今回、私が試したのがこちら！

音楽とキャラクターの画像を組み合わせて、歌に合わせてキャラクターの口が動くリップシンク動画を制作できる！

静止画だった「異形さん」が、ちゃんと歌っているように動き出す。

⑥ ストーリーMV🎦

さらに今回は、リップシンクだけではなく、音楽に合わせてキャラクターが演技をするストーリーMVにも挑戦したよ(*´ω｀)

ただ歌わせるだけではなく、キャラクターの動きや場面の展開を加えることで、1曲の中にひとつの物語を作ることができる。

今回は同じ「異形さん」たちを使って、リップシンクMVとストーリーMVでは、どんな違いが生まれるのか？

実際に作って比較してみたぞ(*´Д｀)！🎬✨
さぁ、どんな感じで生成するのか一緒に見てみよう！？👀✨

※「カバー曲ＭＶ」は今回触れませんので、是非気になった方は使ってみてね👀✨

⌛構想タイム

ここは実際に生成する前の「前準備」と、分かったことを明記するね(*´ω｀)
これのおかげで、「異形さん」画像を準備できたので、やはり事前調べは重要だよね(*´ω｀)

⌚AI MVは最大3分まで

まずはね、「何がどこまでできるのか」という試作運用が必要なのね(*´ω｀)
本番に取り掛かる前に、触って確かめることにしたの。
実際にはみんなもクレジットが消費されるわけだから、失敗したくないよね？

えっと、何々？
まずは「音源のアップロード」だね(*´ω｀)

ここで、MP3/WAV/M4A/AACファイル（最大20MB）って明記がある。
わたくしの経験では、3分～3分40秒ほどの曲をWAVで保存すると20MBを超えてしまったのね。
一方、MP3にすると容量を抑えられた。
ファイルサイズを抑えたい場合は、圧縮形式のMP3などが使いやすそうだね👀

M4A（AAC）は、音楽や音声を保存するためのファイル形式らしい。
スマートフォンなどでもよく使われてるんだって(*´Д｀)
わたくしはスマホで音楽聞かないから、こういう知識はあんまりないのだけれど、そんなわたくしでもTad AI使えるから大丈夫よ(*´ω｀)✨ﾆﾏﾆﾏ

それで音楽を入れてみたのね(*´ω｀)

すると、MVにする尺が決まっているの。

選択範囲：180秒

あれ？入れた曲全部をMVにするわけじゃあないんだ👀

そう、今回の画面ではMVにする選択範囲が180秒、つまり3分までとなっていた。
この記事では、この時点で確認できた仕様として「MVは3分まで」として紹介するね👀✨

※記事内の料金・クレジット数・仕様は執筆時点の情報です。最新情報は公式サイトをご確認くださいね。

🎨「画像」のアップロードも様々

あのね、MVにする画像アップロードにも違いがあったの。
これは、「リップシンクMV」の画像アップロード表記。

ここには「シンガーの正面写真」「背景・シーン画像」の２種がある。
そう、前者は「リップシンク」をAIが当てるキャラということなんだ。
「背景・シーン画像」は、MVの舞台となる情景を作るための画像なんだね。
さらに「シーンの描写」も入力できるので、ここで世界観や演出の方向性を伝えられるようだ👀✨

次は、「ストーリーMV」の画像アップロード表記。

リップシンクを当てるキャラが必要ない分、「背景・シーン画像」１本化というわけだね(*´ω｀)

ふむふむ(*´Д｀)
「背景・シーン画像」って聞くと、「誰かを登場させちゃいけないのかな？」なんて、一瞬不安に思わない？(*´Д｀)

でもでもさ、ＭＶってキャラがいてなんぼじゃない？（夏目個人の見解です笑🤣）

背景だけ？？
ノンノン(*´Д｀)

異形さんを軽く投入してみたらすごいことになったので、次の「ストーリーＭＶ」本番でお会いしましょ💖👄

🌹MV構成

まず、2分14秒のオリジナル楽曲「みえないもの」を用意した。

この2分弱の音楽を1分弱ずつ、
前半：リップシンクMV
後半：ストーリーMV
で分けて構成してみることにした！

そして、最後には「おまけ」も準備✨
では、実際のTad AI×夏目 龍頭の作品を楽しんでいって(*´Д｀)💖

👄リップシンクＭＶ

(*👁️Д👁️)What!?

生成の裏側はこんな感じ。

画像には「シンガー」の異形さん（真正面）と「背景・シーン画像」としてダークファンタジーの世界を取り入れてみた。

この「シーンの描写」というのが、動画のプロンプトだね。
そして、動画のサイズ、「アスペクト比」。
「解像度」。
それに「高画質モード」と「字幕」もある。
今回の作品では字幕は合わないと思ったので、使用しておりません。

でもここまで動画生成のように選べます(*´ω｀)✨

※「この生成は537クレジットかかります」という表示は、3分フルのMVを作った場合の目安。
今回は1分だったので、消費は200クレジット弱で済んだよ(*´ω｀)
詳細・最新の料金体系はリンク🔗の公式サイトをご確認ください✨

Tad AIは下記画像のように、左で生成画面、右側が生成作品のライブラリになる構成なのね(*´ω｀)

リップシンクの詳細を見てみよっか(*´Д｀)
右のマイライブラリから、生成した動画を選択する。

おおおん👀✨

左側がなるほど、「ストーリーボード」になってるんだ👀

ストーリーボードを１つ１つクリックすると、勿論動画が再生されるよ👀

はい、これを全部Tad AIが自動でやってくれてます(*´ω｀)💦
え？そういうシーン描写のプロンプトを書いて指示したからだろうって？
わたくし、MVド素人なので「あーしろ、こーしろ」なんて細かな演出指示はできません🤣
今回は、「この世界観で、歌い手を魅せてください」くらいのざっくりしたシーン描写にしてみた。

だから、Tad AIのこのＭＶ生成に開いた口がふさがりませんでした(*´Д｀)

待って？
リップシンクでこの威力！？(*´Д｀)💦
ストーリーＭＶはどうなるの！？(*´Д｀)💦ﾌﾞﾙﾌﾞﾙ

🎦ストーリーＭＶ

◉_◉・・・・・。

※人って、本当に驚くと数十秒思考停止するのよ。

ええええええっ！？👀なに、これ、え！？💦✨
落ち着け、もちつけ夏目！！ヒッヒフー(*´Д｀)💨

えへ(*´ω｀)💖
「背景・シーン画像」に5人の異形レディを投入しちった💖

しかも、あの、画像って、キャラを魅せたいから「正面」系なのよね？
なのに、見た？
１人、こちらに背中を向けて振り返るっていう、これ動画生成で難しい技を平気でやってたの(´;ω;｀)✨
ちなみに、「背中を向けて振り返って」なんて指示はしていない。
(*´ω｀)ヒィッ！！

プロンプト指示としてざっくり言うと、彼女達を生きているように世界を創造して欲しい、という感じ。

それをTad AIが…(´;ω;｀)こんな素敵に生かしてくれた…(´;ω;｀)✨

さりげなく、みんなリップシンクしてるの見えた？
お口パクパクしてくれてるのよ！(´;ω;｀)✨

こんな「魅せ方」あるの！？✨
あぁ、これが「ＭＶ」なんだなって実感した…(´;ω;｀)✨

さぁ、これら２つのMVを編集して繋げたフル版はこちら👇

🎦Tad AI×夏目 龍頭オリジナルAI MV「みえないもの」フル

リップシンクＭＶ＋ストーリーＭＶ合作

さぁ、夏目の暴走は止まらない！
これらで理解した夏目は、こんなショート動画を作成してみたのだ！

🍭【おまけ】あちょちょいちょい、きみにぶちゅー💋ショート動画

変えたのは音楽と画像、そしてアスペクト比を縦にしたよ(*´ω｀)

ｱｰｯ💖
すいません、わたくし、こういうメルヘンだけど意味わからん不気味キュートが好きなんです🤤✨

あっ、歌詞も見ます？

お分かり頂けますか？
動画で「歌詞」を拾って内容を生成してるってことが分かったんですよ👄

え？シーン描写のプロンプトですか？(*´ω｀)
「キモカワ」「シュールで不気味」ッスかね(*´ω｀)✨

でも、欲が湧いてしまって💦
最後「ぶちゅー👄」して欲しいなと思って、修正、しましたどうぞ💖

あれ？
動画生成＋編集のもう魔の30秒が、こんなに簡単にＭＶとして生成してしまう時代が来てしまったのですか？(*´ω｀)

このような意味の分からない造形の夏目「異形さん」まで、元画像からは想像できない動きをしながら、自然にぬるぬる動いております。

ということは、ロボットなり美少女なり実写なり、それはもう美しくＭＶにされることはもう目に浮かびますね…(*´ω｀)

音楽を作るところから、その音楽を魅せるMVまで✨
「音楽を作った、その先」まで一気に遊べるのが、今回わたくしがTad AIのAI MVで一番面白いと感じたところでした(*´ω｀)✨

🎶ここまで読んでくれてありがとう

最初は、静止画を歌わせる機能なんだと思っていました、えぇ(*´ω｀)
実写の写真なら上手く動くとか。
わたくしの画像のような異形さんは生きてるように歌わせてもらえないよね…、なんて心のどこかでは思ってたのは事実(*´ω｀)

でも実際に生成してみたら、全然…違った。

一枚の画像から、カメラが動き、表情が変わり、歌い、振り返る。
ストーリーMVでは、背景に置いた異形さんたちまで、それぞれの存在を持って動き出した。

「画像を動かした」のではなく、そこにいたものを「MVの中で生かした」。

そんな感覚だったんだ(´;ω;｀)✨

わたくしはMV制作の知識がほとんどありません。
だからこそ、細かな演出を組み立てられなくても、音楽と画像と「こんな世界を見せたい」という想像を渡すだけで、ここまで映像として返ってきたことにとても驚いた。

そして今回、一番嬉しかったのは。

「異形さん」が、ただの一枚絵ではなくなったこと。

歌う異形さん。
世界を歩く異形さん。
背中を向け、こちらを振り返る異形さん。

そこには、わたくしが描いた画像には存在しなかった「時間」がありました。

音楽が生まれた。
そして、その音楽の中で異形さんが生き始めた(´;ω;｀)

これが、Tad AIが作る「MV」なのかもしれません。

今回は「リップシンクMV」と「ストーリーMV」を体験しましたが、いかがでしたでしょうか？

みなさんの愛するキャラが想像以上に歌って踊れるMV AIがここにあるよ！

実際にAI MV生成のコストって大きいんだけど、それでもこれだけの映像が「文章を打つだけ」で出てくるのを見たら、わたくしは全然安いと思っちゃった(*´Д｀)

次はどんな世界で歌ってもらおうかな。

ここまで読んでくれてありがとう(*´Д｀)✨

それでは、また次の音楽でお会いしましょう🎵Bye！！💖🐲

🔽「シュールな異形さん」シリーズはこちら🌟