見出し画像

【RTX5060ti】LTX2.3を使ってみた話③【FLF】

はじめに

前回のつづきです。

今回はLTX2.3(ローカル生成)の限界を試してみました。

LTX2.3は、数秒程度のシンプルな動画なら、クラウド生成AIの動画とコンパラです。

※ ↑前回の記事に添付したワークフローとサンプルファイルの実行結果です。

しかし、ストーリー性のある複雑な動画は、簡単ではないようです。

FMLF(First-Middle-Last Frame)

comfyui_ttp_toolsetカスタムノードを利用する事で、middleフレームを数珠繋ぎできます。

comfyui_ttp_toolset
いくらでも繋げます
シーンと差し込む時間を割合で指定します

色々試してみましたが、トップの商用サービスには届きません。ただし、”簡単に”出来ないだけで、時間をかけてシーン毎に手動調整をするのであれば、ほぼ何でもできると思いますが。

RTX 3060 12GBで動作させる

12GB VRAMで動作させた場合です。

最も小さなモデルを利用する

口パク程度ならそれなりの画質になりましたが、動きの大きいものは難しそうです。画像の細部が潰れるので、解像度も無理矢理上げる必要があります。(サンプル動画はRTX 3060で15分程度)

まとめ

(LTX2もそうでしたが)LTXはコントロールする手法が多いのですが、ローカルで利用できる小型distilledモデルで、かつ画質の品質を保ったまま、現実的な時間で複雑な動画生成はまだまだ難しいようです。

それでも、ハイエンドでないローカル環境において、高画質な音声付き動画を生成できる事は本当に凄いと思います。

以下、関連する記事の【PR】です。


いいなと思ったら応援しよう!