ありふれたAI美女に動画生成AIを利用して変化をもたせる話①【ローカルだけの特権】
はじめに
リアルなAI美女画像を生成する事は、簡単に誰でもできる時代になりましたが、プロンプトコントロールだけでは限界があるので、どれも似たような画像や構図になりがちです。
もちろん明確に表現したいイメージがあるのであれば、ComfyUIやKrita-ai-diffusionのAIレタッチを利用すれば良いと思いますが、AIガチャでランダムな変化を楽しむのも、生成AIの楽しみの一つだと思います。
そこで、動画をつくるための動画生成AIではなくて、静止画のための生成動画AI活用法(というか遊び)を紹介したいと思います。
ありふれたAI美女
モデル写真のようなAI画像は簡単に生成できます。むしろ、プロ写真でない表現の方が難しくなっています。

変化を加える
そこで、編集AIを利用して変顔効果を入れます。

変顔が欲しいわけではなく、変化の方向を与えるためです。
次に、これら二枚の画像を元にして動画を生成します。
動画を生成する
動画生成AIにはFLF(First Last Frame)という手法があり、動画の始状態と終状態を指定すれば、それらをつなげた動画を生成してくれます。

※ 下記事で紹介しているLTX2.3ワークフローです
解像度はFull-HD程度ですが、53フレームなので3分程度で終わります。(RTX 5060ti 16GB)

生成された動画から好きな一コマを選びます。

10フレーム目程度なのでほとんど変化はありませんが、動画生成AIを利用すると、AI効果が薄れ、物理的により自然になることが多いです。光や動きの一貫性が整理され均されます。
もちろん、1枚の画像だけで動画を生成しても良いですが、FLF生成した方が崩れずに綺麗になります。特に量子化の強いモデルほど崩れやすくなります。
高画質化(アップスケール)する
しかし、動画AIを利用すると、物理的に自然になる一方で、劣化したり、新たなアーティファクトが入る事があります。

そのまま高画質化すると、アーティファクトも強調してしまいます。

SeedVR2アップスケール
動画キャプチャは1920x1280解像度ですが、640x360程度の解像度に落としてから4Kアップスケールします。


他の例



プロンプトでこの表情は出ません
背景の物理もより一貫性が再構成され、リアルになっています。
まとめ
この手法は、高解像度の動画である必要がなく、動きも少ないので、数十フレーム動画を生成できれば事足ります。SeedVR2も動画アップスケールは大変ですが、静止画ならVRAM 8GBで問題ありません。
VRAM 8GBや12GBで生成できるギリギリの解像度、フレーム数で動画生成後、高画質化します。
それほど生成時間も必要なく、動画ガチャも可能なので、ありふれたAI美女画像では満足できない場合に有効な手法だと思います。
ストーリー性のある動画生成をローカル環境で実現しようとすると大変ですが、静止画目的のための手段の一つとして動画生成を利用すると、ローカルでしか実現できない事は多いので重宝すると思います。
以下、関連する記事の【PR】です。
