【神絵の救済②】Fluxの顔崩れはSDXLで自分好みに上書きしろ！｜Face Detailer｜ クロスモデル顔面錬成術｜ComfyUI｜キャラ固定｜LoRA

【概要】Flux.1で生成した際の、遠景の顔崩れや特有のリアル寄りの顔は、SDXLのFace DetailerとLoRAを組み合わせた「クロスモデル顔面錬成」で確実に修正。設定次第ではキャラ固定できる。本記事では、16GB環境でのVRAM（作業机の広さ）溢れを防ぐため、Fluxでのベース生成とSDXLでの顔修正を「別タブで分割する」安全なワークフローと、Face Detailerを用いた自動美顔フィルターの構築手順を解説する。

【1】Fluxの顔、なんか「濃く」ないですか？

えすた：「Flux.1が描く人体や背景の圧倒的な造形美には惚れ惚れするんだけど……どうも顔がバタ臭いというか、アニメ顔になりきらないんだよな。遠景になると顔が崩れがちだし、そもそもプロンプトだけじゃキャラ固定が甘い」

秘書ちゃん：「だからといって、Flux専用LoRAを自作しようとして、Radeon環境による砂嵐バグを踏み抜き、24時間もの時間を溶かしてから、泣く泣く撤退したのは、記憶に新しいですわね」

えすた：「……💧」 （詳しい内容は以下の記事で）

超強力なモデル「Flux.1」は、空間や人体の骨格を描写する能力において過去のモデルを完全に凌駕している。しかし、アニメ調の可愛い顔への「キャラ固定」や、遠景での顔の描き込みにおいては、まだ扱いづらい部分があるのが現実だ。

以前Flux用LoRAの学習に挑んだ時は、限界を超えた瞬間に砂嵐画像を生成した。タスクマネージャーを眺めながら、24時間溶かしたという事実だけが静かに残った。

その徒労からしばらく経って、Radeon使いとしての「最適解（ハック）」に辿り着いた。

【2】逆転の発想：最強のキメラ「クロスモデル錬成」

以前SDXLの手や指、目などの細部をInpaintで修正したのと逆の発想だ。

えすた：「Fluxのアニメ顔が完璧じゃないなら、得意なところだけを繋ぎ合わせればいい——それがRadeon環境における答えだ」

秘書ちゃん：「NVIDIAは関係ないですものね」

えすた：「……💧」

人体・背景の構成 → Flux.1の圧倒的な描写力に全権委任。
顔の固定（キャラ付け）・アニメ表現 → 技術が成熟し、専用LoRAが安定して動く「SDXL」に丸投げして上書き（すげ替え）する。

この「適材適所の分業制」こそが、現在のRadeonローカル環境で思い描いたキャラクターイラストを生み出す『クロスモデル顔面錬成術』である。

【3】Face Detailerの真価：「自動美顔フィルター」としての運用

この顔のすげ替えに必須となるのが、ComfyUIのカスタムノード「Face Detailer」だ。これは単なる部分修正（Inpaint）ツールではない。生成の最終工程に組み込む「自動美顔フィルター」として機能する。

■ Face Detailerの仕組み

① 検出（Detect） 読み込んだベース画像から、顔の領域を自動的に検出してマスク（選択範囲）を作成する。

② 再生成（Denoise） 検出された顔の領域だけを、指定したプロンプトやLoRAを使って描き直す。

ベース画像がFluxで描かれたリアル寄りの顔であっても、Face Detailerに「SDXLのモデル」と「お気に入りのアニメ顔LoRA」を接続し、Denoise（書き換え強度）を0.35〜0.45程度に設定して流し込めば、一瞬にして見慣れた「いつもの顔」へと強制的に上書きされる。

えすた：「Denoiseを上げすぎると顔の骨格ごと別人になるから、0.45あたりが現状の上限ラインだな」

秘書ちゃん：「その通りですわ。あくまで"色と質感の上書き"であって、骨格を守る意識でパラメータを設定する。これがFlux側で作り込んだ構図を壊さない鉄則です」

【4】VRAM絶対防衛線：「ワークフロー分割方式」と無限顔ガチャ

えすた：「ただ、ComfyUIの同じキャンパスにFluxとSDXLのモデルを両方乗せたら、VRAM（作業机）が一瞬でパンクしてOOM（メモリ不足エラー）でシステムダウンするかオフロードで激重になるだろう」

秘書ちゃん：「当然ですわ。作業工程を物理的に分割する、それが私たちの絶対防衛線ですの」

限りあるVRAM内でFluxとSDXLを同時稼働させるのは、作業机に乗り切らない荷物を無理やり積み上げるようなものだ。解決策は明快——工程を物理的に切り離す。

■ ワークフロー分割方式（2ステップ）

STEP 1：ベース生成（Fluxタブ） Fluxのワークフローで人体・背景を含む全体構図を生成し、一度PCに保存する。この時点ではSDXLは一切起動しない。

STEP 2：顔面錬成（SDXLタブ） 別タブで開いた「SDXL専用のFace Detailerワークフロー」の Load Image ノードに、先ほどの画像を読み込ませて顔だけを修正する。好みのSDXLモデルを使用して顔ガチャを回そう。LoRAも組み込めば、ほぼキャラ固定が可能になる。

■ 無限顔ガチャの正体

秘書ちゃん：「えすたさん、このi2i方式の本当の強みを読者さんに教えてあげてください」

えすた：「Fluxで生成した画像を一度読み込んでしまえば、あとはFace DetailerのSeedを変えて実行するだけ。全身の重い生成処理はFlux側のタブでとっくに終わっているから、顔の部分だけ僅かな時間で何度でも回せる。これが『無限顔ガチャ』だ」

秘書ちゃん：「Fluxで理想の構図を出したなら、あとはSDXLに顔だけをひたすらガチャらせればいいんですね」

【5】SDXLのパラメータ鉄則

Face Detailer経由でSDXLを動かす際、サンプラーとスケジューラーはモデルに合わせた設定が必須だ。Fluxの設定をそのまま流用すると、生成結果がノイズまみれになる。モデル解説は以下のマガジンで確認してほしい。

ここを間違えると顔が崩壊する。CFGはFluxの1.0に引きずられてそのまま設定してしまいがちだから特に注意だ。

【6】古い武器と新しい武器の融合

最新のAIモデルが出たからといって、古いモデルが不要になるわけではない。

Flux.1専用LoRAの学習に24時間を費やし、砂嵐バグに阻まれた末に辿り着いた答えは、「最新（Flux）だけで全てを解決しようとするからVRAMがパンクする」という、シンプルな事実だった。

成熟した技術（SDXL）の長所とハイブリッドさせること——これが、限られた環境での真の戦い方だ。ワークフローや設定に関しては以下の記事で解説する。

サポートしていただいた方には心より感謝を。いただいた分は次のRadeon検証用パーツ代か、深夜の栄養ドリンク代に全額突っ込む。

AI副業への挑戦、PCの買い替えやアップグレードを考えているなら、下の記事も参考にしてほしい。

プロンプト作成を簡単にするノード👇️