【ControlNetが解禁✨】Wan2.1-Funの新機能を徹底解説💖「Reward LoRA、InP、HPS、MPS」など、様々な疑問に全て答えます💡

どうも皆さん！「このパスワード、忘れるわけない」と自信満々で設定した3日後、見事に忘れて「パスワードを忘れた方はこちら」のお世話になる、記憶のメカニズムに興味津々、 葉加瀬あい（ハカセアイ） です！

動画生成AI「Wan2.1」に待望の新機能「Wan-Fun」が登場！

今回はすごいニュースが飛び込んできましたよ！
なんと、動画生成AI「 Wan2.1 」に、待望の アニメーションコントロール機能「Wan-Fun」 が登場したんです！　　

これは本当に画期的で⋯！ついに「Wan2.1」にも、まるでControlNetのような機能が実装されたんですね！
その クオリティが凄まじい と、今、大きな話題になっているんです！　　

記事の内容を動画でみたい方は、こちらからどうぞ！

 https://note.com/ai_hakase/n/ndc16e617d86d

みなさんは、「AIで動画を作ってみたけど、キャラクターの動きが不自然だったり、背景がコロコロ変わってしまったり…」「もっと自分のイメージ通りに、滑らかなアニメーション動画を作りたい！」そんな風に感じたことはありませんか？

ご安心ください！今回ご紹介する「Wan-Fun」を使えば、皆さんのその悩みを解決できるかもしれません。この画期的な機能は、テキストや画像から動画を生成するだけでなく、驚くほど簡単に、そして思い通りにアニメーションをコントロールすることを可能にするんです！

今回のポイント3つ

ということで今回お話しする内容はこんな感じです！

• ① 基本的な使い方から驚きの機能まで！Wan-Funの概要と、動画の最初と最後のフレームを指定するだけでAIが自然な中間モーションを生成する「Start/End frames予測」を徹底解説！

• ② ControlNetやReward LoRAって何がすごいの？これらを活用して、狙い通りの動きや高品質な動画を作り出す具体的なテクニックを大公開！軽量版と高性能版の選び方もご紹介！

• ③ 他のAIモデルとの比較でわかるWan-Funの実力と安定性！さらに、動画の一部分を自然に修正・補完できる便利なInP機能の活用術も伝授します！

そして、私の 最新のトレンド AI を記事と動画でご紹介する Noteメンバーシップ あいらぼ（Ai-Lab） では、現在400人以上の入門者さんがいて、公式LINEとNoteの連携や質問対応なども行っています。

https://note.com/search?context=note&q=from%3A%40ai_hakase&sort=new

ちなみに、そのサポート品質も高める目的で参加人数を制限しておりますので、興味のある方は人数が埋まらないうちに こちらのリンク から入門して、今日から生活や仕事に活せるAI情報をGETしちゃってください😽✨

それでは、本日もよろしくお願いします！

ということでですね！この「Wan-Fun」、テキストや画像から動画を生成できるのはもちろんのこと、軌跡を追従したり、追加学習によって動画の品質を向上させたりと、本当にすごい機能が搭載されているみたいです！　　

「Wan-Fun」の注目機能：「Start/End frames予測」

しかも、Wan-Funは単なるControlNetのような機能だけではないんです！

https://github.com/raindrop313/ComfyUI-WanVideoStartEndFrames

例えば、こんな驚きの機能も搭載されています！

それは…「 Start/End frames予測 」機能です！

詳しい技術情報は、こちらのGitHubページでも公開されているようです！

なんと！動画の「 始まりの画像 」と「 終わりの画像 」を指定するだけで良いんです！　　

その間の移り変わりをAIが賢く予測してくれて、とっても自然な動画を生成してくれるんです！すごいですよね！　　

ControlNetってどんな技術？基本を分かりやすく解説！

ここで、「ControlNetって、そもそも何⋯？」と思われた方もいらっしゃるかもしれません！
簡単にご説明します！

ControlNetというのは、画像や動画を生成するAIに対して、「こういうポーズにしてほしいな！」「この輪郭線に沿って動かしてほしい！」といった具合に、より 細かく具体的な指示 を出すための技術なんです！

簡単に言うと、 たった1枚の画像 と、 動きの指示 を与えるだけで、その画像がまるで生きているかのように、指示通りに動く動画を生成できてしまうんです！驚きですよね！

ControlNetの仕組み：「プリプロセッサ」の役割

そして、その「動きの指示」には、「 プリプロセッサ 」と呼ばれる技術が使われています。
これは、動画の動きや形を指定するための、いわば" 設計図 "のようなもの。この設計図にも実は様々な種類があって、それぞれ得意な役割があるんです！

プリプロセッサの種類とWan2.1 ControlNetの特徴

このプリプロセッサには、具体的にはCanny、Depth、OpenPoseなど、色々な種類があって、それぞれで動きの形を指定したりできるんです！

そして、今回注目している Wan2.1 のControlNetでは、それがモデルごとに分かれているという特徴があります。使いたいControlNetに応じてモデルを切り替えて使用する…そんなイメージです！これについては、後ほど詳しく解説します。

さらに、実は最近、この Wan2.1 のControlNetの性能をぐっと引き上げて、 とってもキレイに出力 してくれる技術が登場しているんです！

例えるなら、お料理でシェフがハンバーグにかける、あの 特製デミグラスソース みたいな感じでしょうか⋯！いつものWan2.1の動画生成に、それを プラスするだけ で、生成結果が 劇的に改善 されるものがあるんです！なので、そちらも併せてご紹介していきたいと思います！

Wan2.1-Fun の2つのバージョン

さて、まず前提として、先ほども少し触れましたが、「Wan2.1-Fun」には、色々なモデルのプリプロセッサがあります。
そして、それらすべてに共通して、大きく分けて 主に2つのバージョン が用意されているんです！

軽量版：13億パラメータモデル

まずはパラメータ数が 13億 の 軽量版 モデルです！
なんと、処理時間が 2分以内 で完了することもあるそうなんです⋯！

高性能版：140億パラメータモデル

そしてもう一つが、パラメータ数 140億 を誇る 高性能版 モデルです！💪
こちらは、より 高品質 で、 滑らかな動画生成 が期待できるモデルとなっています！

※ちなみに、「パラメータ数」（この B は Billion 、つまり 10億 のことなんです！）というのは、AIモデルの 規模を示す指標 のようなものなんです。
一般的に、この数字が大きいほど、より 複雑でリッチな表現 が可能になる傾向があります。
ただ、その分、計算するための パワー 、つまりPCのスペックなども必要になってくるんですね！

VRAM要件

それと、VRAM要件の場合についてもお話しします！

• Wan2.1-Fun-14B の場合：

• VRAM : 最低でも24GB が必要になります。（NVIDIA RTX 3090やA100などが目安ですね）。
  量子化 （例えばFP8など）という技術を使えば、 16GB でも動作させることは可能ですが、 品質や速度に影響が出る可能性 があります⋯！

• 推奨 : より快適に使うなら、 40GB以上 （A100 40GBやH100など）が推奨されています！

各プリプロセッサとReward LoRAについて

ということで、ここからは、先ほどお話ししたControlNetの 各プリプロセッサの詳細 や、 Reward LoRA について、さらに詳しくご説明していきます！