Wan2.2 S2V と Wan2.1 InfiniteTalk のリップシンク動画の比較
Wan 2.2 S2V のリップシンクの精度や動画の生成能力がもうひとつな感じがするので、Wan 2.1 InfiniteTalk I2V / V2Vで生成したリップシンク動画と比べてみました。
比較したのは下記の三種類の方法で生成したリップシンク動画です。
Wan 2.2 S2V のみで生成した動画
Wan 2.1 InfiniteTalk I2V のみで生成した動画
Wan 2.2 I2V で生成した動画を Wan 2.1 InfiniteTalk V2V で再生成してリップシンクした動画
ワークフロー
Wan 2.2 S2V と Wan 2.2 I2V については公式のワークフローをそのまま使用しました。
Wan 2.1 InfiniteTalk I2V については、WanVideoWrapper についているテンプレートのワークフローをそのまま使いました。
Wan 2.1 InfiniteTalk V2V についても同様に WanVideoWrapper についているテンプレートのワークフローをそのまま使いました。
wav2vec2 についてもデフォルトで指定されているモデルをそのまま使っています。つまり Wan 2.1 InfiniteTalk では Tencent の中国語のモデルを、Wan 2.2 S2V では英語のモデルを使っています。
テスト
音声は、単純にしゃべっただけの音声（英語と日本語）と、歌の音声（英語と日本語）の二種類で試しました。
I2V / S2V の最初のフレームに同じ画像を与えて、音声も同じものを与えてそれぞれ生成させています。V2V については、I2V で生成した動画と音声を与えています。
英語の音声は Gemini を使用して作成しています。日本語の音声は VoiceVox の四国めたんの声を使って生成しています。歌は SUNO V4.5 で作成しました。
I2V / V2V / S2V のいずれのモデルでも、生成に使用するプロンプトも同じにしています。
しゃべるだけの動画
最初に英語でしゃべり、次に日本語でしゃべります。結果は以下の動画の通りです。
明らかに Wan 2.2 S2V のリップシンク性能は、他二つより良くないです。
S2V が少しカクカクして見えるのは、S2V が 16 fps で生成されるのに対して、InfiniteTalk では 25 fps で生成されることが大きな要因ではあるのですが、それを差し引いても Wan 2.2 S2V の動きはややぎこちない感じがします。
ただ人物の動きの大きさや滑らかさについては、ステップ数短縮の LoRA の影響がそこそこあるようなので、パラメータ調整をすることで改善できる可能性はあります。
Wan 2.2 I2V + Infinite V2V と Infinite I2V とのリップシンク精度の比較については、この動画では大きな差がないように見えます。
歌う動画
音声に20秒の長さの英語の歌、日本語の歌をそれぞれ入れて生成させた動画が以下になります。
この比較では、Wan 2.2 I2V + Infinite が最もよくリップシンクできています。英語の歌の後半は若干 Infinite 単独のほうが良い部分もありますが、全体としてみると Wan 2.2 I2V + Infinite がよさそうです。後半の日本語の歌は、明らかに Wan 2.2 I2V + Infinite が良いです。
後半の歌については、プロンプトで「singing a song and walking」のように書いているにもかかわらず、Wan 2.2 I2V + Infinite 以外の動画は歩いてくれませんでした。どうも、S2V や Intinite 単独では、人物以外の動きがかなり抑制される傾向があります。
結論
歌ってない音声（しゃべっているだけの音声）の場合で、人物や背景の大きな動きを求めない場合は、今のところ Wan 2.2 S2V よりも Wan 2.1 IntiniteTalk を使うほうがよさそうです。
歌わせたい場合や、人物・背景の動きを大きくしたい場合は、Wan 2.2 I2V で元となる動画を作っておいて、Wan 2.1 IntiniteTalk でリップシンクするとよさそうです（時間は倍かかりますが）。
注意：アニメ調ではない（リアル写真風の）動画についても同様かは分かりません。
