初心者がAIとお喋りながらComfyUIと動画生成を理解した気分になった話
Claude(AI)--Sonnet 4.6-- との単なる思いつきの対話をそのままNOTE記事にまとめました。
※音声入力で話しかけています
まず結論から(AIによるまとめ)
🎬 やりたいこと
実写画像を動画にしたい(Image to Video)
🖥️ 環境
AUTOMATIC1111 インストール済み
ComfyUI + Manager インストール済み
GPU:RTX 5070 laptop 12GB
🛠️ 使うもの
ComfyUI → 操作画面
LTX 2.3 → 動画生成のベースモデル(必須)
Sulphur-2 → LTX 2.3ベースの実写特化モデル
Wan2.1 I2V → こちらも実写動画生成の有力候補
📌 次にやること
Claude Codeにこう伝える:
「ComfyUIにLTX 2.3とSulphur-2をI2Vで使えるようにセットアップして。GPUはRTX 5070 laptop 12GB」
💡 覚えたこと
ComfyUIはSD・Flux・LTX・Wan全部使える万能キッチン
ワークフロー=レシピ。基本パラメーターをいじるだけでOK
Sulphur-2はLoRAではなくLTX 2.3の改造モデル
以下は、実際にどのようなやりとりを行ったかを赤裸々に公開します。
分かった風に思い付きで話している私と、それっぽく回答しているAIの対話記録になりますので、話が噛み合っていない部分もあるかと思います。
なお、音声入力のみで対話を行っていますので、お見苦しい点はご勘弁ください。
初心者が静止画から動画を生成したくAIに質問してみた
🙋 ComfyUIって何者?LTXって何者?Sulphur-2って何者?簡単に教えて。
🤖 3つを簡単に説明します
ComfyUI とは?
動画・画像AIを動かすための「操作画面」です。レゴみたいにブロックをつなげて処理の流れを作る感じ。AUTOMATIC1111より自由度が高い上級者向けUIです。中身のAIモデル自体は別途入れる必要があります。
LTX 2.3 とは?
動画を生成するAIモデル本体です。Lightricksというイスラエルの会社が作った動画生成エンジンで、軽くて速いのが特徴。「素材」みたいなものです。
Sulphur-2 とは?
LTX 2.3をベースにした改造版モデルです。コミュニティ(一般の開発者たち)がLTX 2.3をファインチューン(追加学習)して、より実写・人物に特化させたものです。
料理で例えると:
| 項目 | 内容 |
| :--- | :--- |
| ComfyUI | キッチン・調理器具 |
| LTX 2.3 | 素材・食材 |
| Sulphur-2 | その食材を加工した特製品 |
つまり「ComfyUIというキッチンで、Sulphur-2という食材を使って動画を作る」イメージです!
🙋 ComfyUIが一応インストールはしていて、マネージャーみたいのもインストールしてあるんだけど、Sulphur-2っていうのは単独で動くの?LTXをまず入れないと駄目なのか教えて。
🤖 単独では動きません! LTXが必要です。
必要なものの順番:
① LTX 2.3のベースモデル(必須)→ これがないとSulphur-2は動かない
② Sulphur-2のモデルファイル → LTX 2.3の上に乗っかる形
③ テキストエンコーダー(Gemma 3)→ プロンプトを理解するためのモデル
④ VAE → 動画を出力するためのパーツ
Claude Codeにそのまま言えばOKです:「ComfyUIにLTX 2.3とSulphur-2をI2Vで使えるようにセットアップして。ComfyUIはもう入ってる。GPUはRTX 5070 laptop 12GB」
ファイルサイズの目安:
| ファイル | サイズ |
| :--- | :--- |
| LTX 2.3本体 | 約22GB |
| Gemma 3(テキスト) | 約8GB |
| Sulphur-2 | 約18GB |
⚠️ 合計でかなり大きいのでストレージに余裕があるか確認を!
🙋 Sulphur-2ってLoRAみたいなものなのかな?
🤖 いい着眼点です!ちょっと違います。
LoRAは元のモデルはそのままで、小さい追加ファイルをかぶせてスタイルを変える感じ。数十〜数百MBと軽い。
Sulphur-2はLTX 2.3を丸ごと追加学習して別モデルとして作り直したもの。なので18GBと重い。
| 比較項目 | LoRA | Sulphur-2 |
| :--- | :--- | :--- |
| 仕組み | 服を着替える | 別人に生まれ変わる |
| ファイルサイズ | 数十〜数百MB(軽い) | 約18GB(重い) |
| 元のモデル | そのまま保持 | 丸ごと追加学習 |
ただし!実はSulphur-2にはLoRA版も存在します。
フルモデル版(18GB)→ 完全な別モデル
LoRA版(軽い)→ LTX 2.3本体に乗せて使う
VRAMが厳しい場合はLoRA版で試すのもアリです。ただし公式は「フルモデルとLoRAを同時に使うな」と言っています。
🙋 なるほどね。じゃあLTXは必須なのね。それって他の拡張モデルみたいなのも一緒の乗りですかね。
🤖 そうです、まったく同じ乗りです!
SD系全体で共通の構造:
| ベースモデル | 上に乗るもの(拡張・改造) |
| :--- | :--- |
| SD 1.5 | 各種LoRA、Dreamboothモデル |
| SDXL | PonyXL、AnimagineXLなど |
| Flux | Flux系LoRA |
| LTX 2.3 | Sulphur-2 |
AUTOMATIC1111でもベースのチェックポイントを選んでからLoRAを追加しますよね?あれとまったく同じ考え方です!
🙋 Fluxっていうのはどういうもの?なんかよく聞くんだけど。
🤖 画像生成AIのベースモデルです。
作ったのはBlack Forest Labsというドイツの会社。もともとStable Diffusionを作ったチームが独立して作りました。
| 特徴 | SD / SDXL | Flux |
| :--- | :--- | :--- |
| 登場 | 2022〜2023年 | 2024年 |
| 画質 | 良い | かなり上 |
| テキスト理解 | 苦手 | 得意 |
| 重さ | 比較的軽い | 重い |
| VRAM | 6GB〜 | 12GB〜 |
特に文字を画像に入れるのが初めてまともにできるようになったモデルとして話題になりました。
Fluxの種類:
Flux.1 Dev → 高品質・非商用
Flux.1 Schnell → 軽くて速い
Flux.1 Pro → 商用・有料API
Fluxは静止画専用です。動画はLTXやWanの領域ですね。今のところ画像生成ならFlux、動画生成ならLTX / Wanという棲み分けになってます!
🙋 Fluxは静止画か。Stable Diffusionとはまた違うんだよね。
🤖 そうです、別物です!
関係性でいうと:
Stable Diffusion → Stability AIが作ったモデル
Flux → Black Forest Labsが作ったモデル
全く別の会社の別のモデルです。
ただし"兄弟"みたいな関係で、もともとSD(Stable Diffusion)を作ったコアチームがStability AIを離れて新会社を作り、そこで作ったのがFluxです。なので思想や技術的なDNAは似てるんですが、別物です。
Stable Diffusion(2022)→ 開発チームが独立 → Flux(2024)← 進化版的な位置づけ
AUTOMATIC1111でもFluxは一応動きますが、ComfyUIの方が相性がいいと言われてます!
🙋 ComfyUIは逆にStableとFlux、両方使えるの?
🤖 はい、全部動きます!
ComfyUIが対応してるもの:
SD 1.5 / SDXL / Flux / LTX 2.3 / Wan 2.1・2.2 / CogVideoX などなど…
モデルを切り替えるだけでSD系もFluxも同じ画面で使えます。
AUTOMATIC1111だとFluxは少し無理やり感がありますが、ComfyUIは最初からどのモデルでも使える設計になっています。
つまりComfyUIは特定のモデルに縛られない万能なキッチンなので、新しいモデルが出てもだいたい対応できるのが一番の強みです!
🙋 ってことはLTXもStableとかFluxと同列であって、動画対応しているのがLTXみたいな感じかな。
🤖 まさにその理解で正解です!
| モデル | 用途 |
| :--- | :--- |
| SD 1.5 / SDXL | 静止画 |
| Flux | 静止画(高品質) |
| LTX 2.3 | 動画 |
| Wan 2.1 | 動画 |
| CogVideoX | 動画 |
全部同列のベースモデルで、ComfyUIというキッチンで全部扱える。その中で動画に対応してるのがLTXやWanというわけです。完璧な理解です!
🙋 それでワークフローっていうのがまたよく出てくるんだけど、それがまず必要なのかな?
🤖 ComfyUIの「レシピ」みたいなものです。
ComfyUIはブロックをつなげて処理を作る仕組みなので、どのブロックをどう繋ぐかを自分で組む必要があります。それが結構難しいので、誰かが作った繋ぎ方のテンプレートを読み込んで使う、それがワークフローです。
実際の流れ:
ワークフロー(JSONファイル)を入手 → ComfyUIにドラッグ&ドロップ → モデルを指定して実行
初心者は絶対あった方がいいです。 ゼロから自分でブロックを組むのはかなり大変なので、Sulphur-2やLTXの公式GitHubやCivitaiに専用ワークフローが配布されてるのでそれを使えばOKです。
つまり順番はこうです:
ComfyUI ✅(入ってる)
モデルファイルを入れる
ワークフローを読み込む
実行!
🙋 ワークフロー、Claude Codeが作ってくれたりしないの?
🤖 理論上は作れます!ただ現実的には…
ワークフローはJSONファイルなんですが、ComfyUIのノードIDや接続情報が非常に複雑で、ちょっとでも間違うと動かないんです。既存の動くワークフローを改造するのは得意ですが、ゼロから正確に作るのはかなりリスクがあります。
現実的なおすすめ:
既存のワークフローを持ってきてClaude Codeに渡すのが一番確実です。
Sulphur-2の公式ワークフロー(GitHub or HuggingFace)→ ダウンロード → Claude Codeに「これを自分の環境に合わせて修正して」
ワークフローの入手先:
Sulphur-2公式 → HuggingFaceのリポジトリに同梱
Civitai → 色々な人が公開
RunComfy → 専門サイト
公式が配布してるワークフローをそのまま使うのが一番楽です!Claude Codeはそのセットアップや微調整を手伝わせるのがベストですね。
🙋 ワークフローをもう少し詳細に説明してほしいんだけど、簡単に。
🤖 ComfyUIを開くと画面に箱がいっぱい並んでて線でつながってる感じです。
[画像を読み込む] → [AIで処理] → [動画を出力]
この箱ひとつひとつが「ノード」で、線でつないで流れを作ります。
箱の例:
「画像を読み込む箱」
「モデルを選ぶ箱」
「動きを指定する箱」
「動画を保存する箱」
この箱と線の組み合わせ全体をまるごと保存したファイルがワークフロー(JSON)です。誰かが作った組み合わせをそのまま読み込めば、自分で箱を並べなくていい。
料理
箱(ノード)
包丁・フライパン・鍋
線のつながり
調理の順番
ワークフロー
レシピ全体
🙋 ワークフローは基本あまりいじる必要がなくて、フロー自体はそこにその箱の中にいろいろパラメーターみたいなのが設定されてて、そこをいじればいい。AUTOMATIC1111のWebUIでいろいろパラメーターいじれると思うんだけど、そういうのをワークフローで行うみたいなイメージかな。
🤖 まさにその理解で完璧です!
| 項目 | AUTOMATIC1111 | ComfyUI |
| :--- | :--- | :--- |
| 設定方法 | WebUIの画面でパラメーター設定 | ワークフローの箱の中でパラメーター設定 |
| 共通項目 | ステップ数、CFGなど | 同じものが箱の中にある |
| モデル選択 | モデル選択プルダウン | 箱の中でモデル選択 |
| 解像度 | 解像度設定スライダー | 箱の中で解像度設定 |
AUTOMATIC1111では画面のスライダーや数字をいじってたものが、ComfyUIでは箱の中の数字をいじる感じです。やってることは全く同じです!
ワークフロー自体はおっしゃる通り基本触らなくていいです。誰かが作った流れをそのまま使って、箱の中の数字だけ自分好みに変える。それだけです。
🙋 ワークフローでどういったカスタマイズが可能なのかな。一般的な例でいいんだけど。
🤖 よくある例:
品質・速度系:
ステップ数(多いほど高品質・遅い)
CFG(プロンプトへの忠実度)
解像度
動画系(LTX・Wan):
動画の長さ(秒数)
フレームレート(fps)
動きの強さ
モデル系:
使うモデルの切り替え
LoRAの追加・強度調整
AUTOMATIC1111と違う点として、ComfyUIは箱を追加・削除することで機能自体を増やせます。例えばアップスケーラーの箱を追加→自動で高解像度化、LoRAの箱を追加→スタイル変更など。
最初はステップ数と動画の長さくらいしかいじらないと思います。慣れてきたら少しずつ箱を追加する感じで全然OKです。
🙋 ワークフローのフロー自体を変えるってわけじゃなくて、やっぱりパラメーターをいじるみたいなのがメインなのかな。
🤖 はい、最初はそれがメインです!
段階的にこんな感じ:
初心者のうち → パラメーターをいじるだけでOK。ステップ数、解像度、動画の長さなど
慣れてきたら → 箱を追加してみる。例えばアップスケーラーを足すとか
上級者 → フロー自体を組み替える。完全オリジナルのワークフローを作る
有名なワークフローってかなりよく出来てるので、フロー自体を変える必要がほぼないんです。AUTOMATIC1111でも結局パラメーターしかいじらないですよね?それと同じです。
🙋 そのワークフロー自体もComfyUIで編集できたりするのかな?
🤖 はい、できます!
ComfyUIの画面上で直接できます:
箱を追加・削除
線をつなぎ直す
箱の順番を変える
全部マウスで画面上でそのままできます。
| 項目 | Excel | ComfyUI |
| :--- | :--- | :--- |
| パラメーター変更 | セルの数字を変える | 箱の数字を変える |
| フロー変更 | 数式を組み替える | 箱と線を組み替える |
ただしフローをいじるのは沼です(笑)最初は絶対触らない方がいいです。パラメーターだけいじってれば十分いい動画が作れます!
🙋 沼が楽しいんでしょう。その箱っていうかできることはどっかから選択するみたいな感じなのかな?
🤖 そうです!メニューから選ぶ感じです。
画面上で右クリックするとメニューが出てきて、追加したい箱を検索して選ぶだけです。
画面上で右クリック → 検索ボックスが出る → 「upscale」とか「lora」と入力 → 該当の箱が出てくる → クリックで追加
標準で入ってるものだけでも数百種類あります。さらにManagerから追加の箱(カスタムノード)をインストールできます。
インストール済みのManagerで新しい箱のセットを追加できます。例えばLTX用の箱、Wan用の箱など、モデルごとに専用の箱があって、Managerから一発で入れられます!
🙋 なるほど理解できたかも。まあ、やってることはStable DiffusionのWebUIと変わんないけどそれがワークフロー化されているだけでUIがまた別になってるだけだよね。オッケーです。
🤖 完璧な理解です!!
まとめると:
やってること → 同じ
UIの見た目 → 違う
自由度 → ComfyUIの方が高い
それだけです!あとはもうやってみるだけですね😄
🙋 ありがとう、分かりやすい説明でした。ざっくりすぎだけど(笑)
🤖 ありがとうございます!ざっくりの方が最初は絶対いいですよ!細かいことはやりながら覚える方が早いので😄막히たらまた聞いてください!
※このNOTE記事はClaude(Anthropic)との対話をそのまま整形したものです。
