LTX-2.3を試してみた。自分が使うとしたら、単純長尺/口パク/アップスケーラの３点かなと思った（LTX-2.3/Wan2.2/SVI 2.0 Pro/Irodori-TTS/Z-Image）

LTXが2.3になったということで使ってみた

イスラエル企業のオープンな動画生成AI。LTX-2の時はイマイチな動画しか生成できなくてあきらめてたんですが、LTX-2.3になってすごく良くなったとの話を聞いて試してみました。
当然ながら長所と短所がありまして、結論としては、Wan2.2から完全に乗り換えるほどではないけど、長所は部分的に使っていくだけの価値があった、という感じ。以下の話は、基本的にはComfyUIのテンプレートをそのまま使ってみた感想になります。
（この記事を下書きして以降に LTX Director を試し始めたので、Directorについては別記事にする予定）

長所１：大画像で長尺なのに生成が速い

何と言っても、大きな画像で長尺の動画を生成できて、しかも高速であること（対比はWan2.2）。Wan2.2が、長辺720ptの5秒動画生成が基本なのに対して、1152ptの15秒動画とかでも普通に生成できました（16G-VRAMのGPU）。生成スピードは、Wan2.2の720pt/5秒と同じ時間で、LTX-2.3の1152pt/5秒が生成できるぐらいの感覚です。しかも、Wan2.2と違い、音声つきで生成可能。
逆に短所としては、プロンプトが難しい（意図どおりにいかない）、i2vで顔が変わりやすい、日本語はイマイチ…てな感じ。単純な動きはできるんですが、それ以上となるとまだ掴み切れてません。モデルは、ltx-2.3-22b-distilled-1.1 とか、GGUFとか、10Eros_v1-fp8mixedとか３つぐらい使ってみたんですが、本家本元を使えばまた違うかもしれませんが…。
Geminiにプロンプトを作らせようともしましたが、一発で使えるものを出してはくれませんでした。

長所２：口パク動画がスムーズ

口パク動画の作成に関しては、Wan2.2 s2vよりも出来がいい感じがします。Wan2.2 s2vは日本語の口パクがイマイチに感じたんですが、LTX2.3 ia2vは日本語でも割と自然でした。ただ、ltx-2.3-22b-distilled-1.1 だと、口が大胆に動いて、しかも顔が変わってしまいます。何か設定をいじる必要があるのか、英語をしゃべる時は口の動きが激しいせいなのか…。顔だけでいえば、10Eros_v1-fp8mixed を使えば変わりませんでした。これはNSFWモデルで、動きはdistilledより悪いですが顔の一貫性はこっちのほうがよい感じです。
あと、ID-Loraを使うワークフローもあって、これはアバター的なことが出来るもの。画像と参照音声を入れて、プロンプトにセリフを書くと、参照音声の声でプロンプトのセリフを画像がしゃべる動画を生成してくれるんですが、これが日本語に難がある感じです。日本語で書いたり、ローマ字で書いたりしたんですが、間違えて発音する可能性も高くて、あまり使えなかったです。

長所３：アップスケーラーが高品質かつ高速

LTX-2.3を使って動画をアップスケールするワークフローがあるんですが、それが普通のシンプルなアップスケール（ESRGAN）よりも高品質で高速でした。これも使っていこうと思います。ただ、そのまま画像アップスケールしてるわけじゃないようなので、徐々にアニメ化するモーフィング動画をこれでアップスケールしてみたら、モーフィング要素が抑えられてしまってました。

とりあえず、いくつか試した動画の典型的なサンプルをまとめて動画にしました。

ローカルで使えるIrodori-TTS

今回の ia2v に使用しているセリフ音声は「Irodori-TTS」でも生成しています。これは、ローカルPCにインストールできる音声合成AIで、参照音声を入力してボイスクローンしたりもできるし、ある程度の感情指定もできるようになっています。日本語に特化していることもあり v3 になって十分な性能になったと言えると思います。まだ、読み間違ったりしますが、無限に無料で生成しなおすことができるのは便利です。

我が家のPCのGPU（NVIDIA GTX1080）で使おうと思ったのですが、古すぎて cudaが対応してないようで動きませんでした。Python側をダウングレードしたりすれば動くようなことを言われましたが、ひとまずCPUで使用していて、困るほど遅くないのでこれでいいかなとも思ってます。