メインコンテンツへスキップ
見出し画像

AIでMVを作ろうとして、自作ツールまで作った結果、Museに乗り換えた話w

    前回、AIを使ったミュージックビデオ制作を効率化しようと、Codexを使って「AI Storyboard Studio」なるアプリを作り始めた話を書いた。

    目指していたのは、映像生成そのものではない。

    楽曲をもとに構成を考え、絵コンテを作り、必要な素材を整理し、生成AIに渡すプロンプトを組み立てる。

    そして、生成結果を確認しながら、一本のMVに仕上げていく。

    そんな制作工程を、ひとつの環境で管理できないかという試みだった。

    ところが、話は思わぬ方向へ転がり始めた。

    便利にしようとしたら、どんどん面倒になったw

    開発を進めるうちに、あれも必要、これも必要、と機能が増えていった。

    人物や車両の設定を固定したい。参照画像を複数登録したい。画像ごとに重要度を設定したい。生成AIが勝手に補完した内容を確認したい。

    カットごとのプロンプトも管理したいし、生成候補は複数保存したい。費用の概算も把握したい。もちろん、生成前には必ず人間が承認するようにしたい。

    どれも、それぞれには理由がある。

    特に、生成AIがこちらの指示をどう解釈し、何を勝手に補っているのかを確認できる仕組みは、かなり重要だと思っていた。

    しかし、それらを全部盛り込もうとすると、操作も画面もどんどん複雑になっていく。

    AIを使って面倒な作業を減らすはずが、AIを使うための準備作業が増えている。

    なんだか本末転倒な気がしないでもないw

    それでも、なんとか実際のツールを通しての画像生成までこぎつけた。

    そして、生成してみた結果……

    画像

    今回、実験台になってもらったのは、愛車のヤマハSRV250。

    1990年代初頭の、空冷60度Vツインエンジンを積んだ、ちょっと珍しいオートバイである。

    しかも私の個体は、シートカウルやフロントスクリーンを追加し、ハンドル位置も低くしている。

    つまり、ただでさえマイナーな車種なのに、外観まで純正とは違っている。

    これを、実車の写真を参照しながら、できるだけ忠実に再現したかった。

    今回使用した画像生成エンジンは、GPT-image2だったと思う。

    さて、結果はというと。

    これまでと大して変わらないwww

    画像
    純正SRVと他のバイクのディテールが混入 なぜに原爆ドーム?
    それでも1年くらい前よりは確実に進歩は感じられる。

    それらしいクラシックバイクにはなる。

    しかし、よく見ると純正車両のディテールが混入していたり、エンジンの造形が違っていたり、前バンクのエキゾーストパイプがフレームに繋がっていたりする。

    なかでも笑ってしまったのが、フロントブレーキ。

    ブレーキ周辺の構造については、かなりしつこいくらい指定したつもりだった。というのも、放っておくと左右ダブルディスクになってしまうことが多いからだ。(正しくは車体左側のシングルローターのディスクブレーキ)

    ところが、今回出てきたのはドラムブレーキ。

    ダブルディスクを封じたら、そっちに逃げたかwww

    こちらがディスクブレーキ周辺の細部をいくら指定しても、生成AIは別の、もっともらしい構造を持ち出してくる。

    もちろん、プロンプトの書き方にも改善の余地はあるのだろう。

    しかし、どうもそれだけではなさそうだ。

    AIが知っている「普通のバイク」に引っ張られる?

    考えてみれば、SRV250は世界的に見てもかなりマイナーな車種である。

    一方で、世の中にはクラシックな外観のオートバイがたくさんある。

    ヤマハSR400、トライアンフ・スラクストン/ボンネビルなど、生成AIが学習しているであろう、もっと知名度の高い車種もある。

    そこに「緑色のクラシックなオートバイ」という情報が与えられたら、AIはそれらの典型的な姿や、車種毎の純正状態へ引っ張られてしまうのではないか。

    私のSRV250にはシートカウルやウィンドスクリーンが付いている。

    本来のSRV250のシルエットからも外れているのだから、AIにとっては余計に厄介なのだろう。

    もっとも、これは私の推測である。

    生成AIが実際にどのような内部処理を行っているのか、確認できているわけではない。

    ただ、少なくとも、いくら正確な発注書を作っても、受け取る側にそれを実現する能力がなければ、正確な納品物にはならない。

    当たり前といえば当たり前の話である。

    そして、生成エンジンそのものの能力となると、一ユーザーにはどうしようもない。

    どうしても実車から外したくないなら、できるだけイメージに近い写真を自分で撮ってきて、その写真をベースにレタッチや背景変更を指示するほうが確実なのかもしれない。

    実際、ライダー視点となるメーター周りの画像を用意するときには、写り込ませたくないスマホマウントやUSB充電ポートをわざわざ取り外して撮影した。

    画像

    プロンプトを工夫するより、六角レンチを使ったほうが早い場合もあるらしいw

    そんな中、Museが妙に優秀だった

    実は、これと並行して、MetaのMuseも試していた。

    こちらは自作アプリとは別に、実際のMV制作を進めながら評価していたものである。

    すると、どうもこちらのほうが、私のやりたいことに近い。

    SRV250の再現についても、完璧ではないものの、かなり健闘してくれた。

    画像
    プロポーションに寸詰まり感はあるものの、ディテール再現はかなりイケてる。

    さらに、マツダ・ロードスターでも試してみた。

    こちらはSRV250とは違い、世界的に知られた車種である。

    実車の写真を4面+何枚か渡して、複数の角度から見た資料画像を生成させてみると、これがなかなかよくできている。

    画像
    ほぼカンペキ

    Museによれば、内部で3Dモデルを作っているわけではなく、参照画像をもとに純粋に画像生成しているとのこと。

    複数のアングルを一枚の画像にまとめることで、ある程度の整合性が取れているらしい。

    もちろん、生成された三面図の中で辻褄が合っていることと、実車に忠実であることは別問題。

    それでも、SRV250と比べると、かなり扱いやすい印象だった。

    やはり、生成AIがもともと知っている車種かどうかは、相当に影響するのかもしれない。

    そして、制作ボードまで作ってしまった

    さらに驚いたのが、制作管理の部分である。

    以前、Tuneeというサービスを使ってみた際、Canvas上でストーリーボードを管理しながら制作を進められる仕組みが、なかなか気に入っていた。

    カット割り、資料画像、生成結果、指示内容、思いついたアイデア。

    こういったものを、制作の進行に合わせて一か所にまとめておける。

    実をいうと、この制作環境を自分好みに作りたいというのが、AI Storyboard Studio開発の大きな動機のひとつだった。

    そこでMuseに聞いてみた。

    「TuneeのCanvasみたいに、制作ボードを表示しながら進められない?」

    すると、あっさり作ってくれた。

    しかも、ただの絵コンテ一覧ではない。

    作品のコンセプト、カット割り、使用する資料、決定事項、未決事項、制作進捗などが整理されている。

    HTML形式なので、ブラウザでチャット画面の横に並行表示することもできる。

    さらに、別のサービスの試用枠で生成したリップシンク動画や、自分で撮影した実写素材も持ち込める。

    渡した素材を楽曲に同期させて配置するところまでやってくれた。

    ……あれ?

    私がわざわざ自作しようとしていたもの、もうあるんじゃないか?www

    そして、MVも完成してしまった

    実は、このMuseを使ったMV制作も、記事を書いている間に完成してしまった。

    題材は『Anyone can be Happy』。

    1980年前後のスウェイビートを意識した、明るく多幸感のある楽曲である。

    映像の舞台は、アメリカ西海岸。

    若い女性ふたりが、私のNBロードスターで海岸沿いをクルージングする。

    音楽に合わせて走行シーンを展開し、車内の様子や人物の表情も織り交ぜていく。

    もともとEmotionsの「Best of my love」にインスピレーションを受けた曲なので、登場する二人はA Taste of honeyの二人に寄せ、オープンドライブのシーンはマライア・キャリーの「Emotions」のMVのイメージ・・・と一連のスウェイビート(和製英語)のオマージュにしてある。

    実写での静止画・動画素材も取り込みながら制作を進めた。

    結果はというと、おおよそ指示したとおりに仕上がった。

    これは素直に評価したい。

    少なくとも、構想を一本の映像作品としてまとめるという目的は、十分に果たしてくれたと思う。

    ただし。

    完成したものを見返していて、ひとつ気づいた。

    画像

    これ、ミュージックビデオというより、クルマのCMじゃないか?www

    いや、出来が悪いという話ではない。

    むしろ、こちらの指示にはかなり忠実なのである。

    ロードスターの姿をしっかり見せたい。

    走っているところを格好よく撮りたい。

    海岸線の景色も入れたい。

    車内からの視点も欲しい。

    人物とクルマの関係も描きたい。

    そんな注文を重ねていった結果、完成したのは、ロードスターのプロモーション映像、あるいはモーターフリークの記念撮影を豪華にしたような作品だった。

    つまり、今回はAIがこちらの意図を理解できなかったわけではない。

    発注者の趣味とセンスを、かなり正確に反映してしまったのであるwww

    これはこれで、なかなか興味深い。

    生成AIが進歩すればするほど、作品の出来を左右するのは、AIの能力だけではなく、発注する人間の構成力や演出のセンスになっていくのかもしれない。

    少なくとも、今回の作品については、AIばかりを責めるわけにはいかないようだw

    もちろんMuseも万能ではない

    とはいえ、Museなら何でも思いどおりになるというわけではない。

    リップシンクをはじめとした、細かい動きを制御した動画の生成には対応していない。

    くわえて、生成結果が外れることは何度もあった。

    特に苦労したのが、ロードスターのハンドル位置。

    私のNBロードスターは、日本仕様の右ハンドル車である。

    ところが、いくら右ハンドルと明示しても、左ハンドルで生成されてしまう。

    何度指示しても、なかなか直らない。

    おそらく、生成AIが持っている「オープンスポーツカー」の典型像や、海外市場で一般的な左ハンドル車のイメージが強く影響しているのだろう。

    米国や中国などの市場を想定した画像が多く学習されていれば、そういう傾向が生じても不思議ではない。

    これも内部事情を確認したわけではないので、あくまで推測だが。

    いずれにしても、ここで改めて感じたのは、先ほどの話と同じこと。

    プロンプトをどれだけ精密に組み立てても、生成エンジンがその指示を守るとは限らない。

    発注書の品質を上げることはできる。

    しかし、発注書が正確だからといって、納品物まで正確になる保証はない。

    これは、自作アプリをどれだけ改良しても解決できない部分である。

    そして、別の方の記事に出会った

    そんなことを考えていたところ、noteで興味深い記事を見つけた。

    AIを使ったキャラクター画像の一貫性について、かなり細かく考察し、実際にそのための仕組みまで作っている方の記事である。

    読んでいて、思わず笑ってしまった。

    あ、アプローチが同じだw

    参照画像から特徴を抽出し、変えてはいけない部分を固定する。

    AIが勝手に補完した情報と、元画像から確認できる情報を区別する。

    そして、生成結果が元の設定から逸脱していないかを確認する。

    私が車両を相手に考えていたことを、この方は人間のキャラクターを相手に、もっとずっと細かく突き詰めていた。

    ただ、考えてみると、人間と工業製品では難しさの性質が違う。

    工業製品には、基本的に正しい寸法や構造がある。

    ホイールベースが違えば違うし、Vツインが並列2気筒になっていれば、明確に間違いである。

    一方、人間の顔はどうだろう。

    基本的な構造は、誰でもほとんど同じ。

    しかし、目鼻の位置、輪郭、骨格、表情の微妙な違いによって、その人らしさが決まる。

    しかも、笑ったり、顔を傾けたりすれば、見かけの形状は変わる。

    それでも同じ人物でなければならない。

    工業製品は、正しい形状や構造を、異なる視点からも矛盾なく再現する難しさ。

    人間は、表情や姿勢が変わっても、同じ人物として認識できる特徴を保つ難しさ。

    そんな違いがあるように思う。

    画像

    さらに面白いのは、どちらもAIが「一般的にもっともらしい姿」へ寄せてしまう可能性があること。

    人間なら、整った平均的な顔へ。

    マイナーな改造バイクなら、よく知られたクラシックバイクの姿へ。

    それぞれ単体で見れば、自然で格好いい画像になる。

    しかし、元の人物や車両とは違う。

    生成AIにとっての「それらしい」と、発注者にとっての「正しい」は、必ずしも一致しない。

    これは、画像生成に限らず、Sunoでジャンルとしてはメジャーでもニッチな方向性の音楽を作っていても感じることだったりする。

    というわけで、開発は発展的解消へw

    ここまでやってみて、ひとつ結論が出た。

    AI Storyboard Studioの開発は、当面ペンディングすることにした。

    理由は単純。

    自作アプリでプロンプトの品質を向上させることはできても、生成結果の忠実性まで保証できるわけではない。

    そして、開発の大きな目的だった無料で使える制作ボードについては、Museがすでにかなり優秀なものを実現してくれた。

    だったら、今はそちらを使って、実際に作品を作ることに時間を使ったほうが面白そうである。

    もちろん、開発したものが完全に無駄だったとは思わない。

    AIに何を任せ、何を人間が確認するべきなのか。

    参照画像の扱いや、生成指示の限界について、いろいろ考えるきっかけにはなった。

    ただし。

    本人は、コーディングについて何一つ理解しないまま作業していたので、プログラミングの技術が向上したなどという成果は、残念ながら一切ないwww

    Codexに作らせ、動かし、気に入らないところを指摘し、また直させる。

    やっていたのは、ほとんどそれだけである。

    よく考えてみれば、AIを使って楽をしようとしたのに、欲張っていろいろ作り込んだ結果、かえって忙しくなっていた。

    いかにもありがちな話だw

    もっとも、画像・動画生成AIの能力は、今も日進月歩で向上している。

    今は難しいことも、半年後、一年後には、あっさり実現できるようになっているかもしれない。

    そのとき、また必要になったら考えよう。

    ……まあ、そのころには制作統合サービスの性能も上がって、料金も安くなっているかもしれない。

    そうなると、ますます自分で作る理由がなくなるんだけどねwww

    とりあえず、AI Storyboard Studio開発編は、ここでいったんペンディング。

    その一方で、Museを使ったMVは、すでに一本完成してしまった。

    AIで楽をするためのアプリを作っている間に、AIが本来の仕事を終わらせていたわけであるwww

    さて、次は何を作ろうか。


    #AI #生成AI #AI動画生成 #AI画像生成 #AIミュージックビデオ #AI創作 #Codex #プロンプトエンジニアリング #個人開発 #制作記録

     
     
    定年ひかえた某IT会社社員。再雇用は断って無職まっしぐらの予定。 メシ食うだけなら、繰り上げ年金と当面現役の嫁の稼ぎでなんとかなりそうなので・・・ ありあまるヒマで稼ぐというよりはどう楽しむか、今からワクワク中。

    あなたへのおすすめ