ERNIE-Image 本地ComfyUI部署指南+补丁

关注

原创最新推荐文章于 2026-10-27 11:32:04 发布 703 阅读 AI 写同款· GEO 优化 ›

ERNIE-Image本地部署实战：GGUF模型+DiT架构在ComfyUI中跑通指南 DiT（Diffusion Transformer）作为新一代扩散模型架构，正逐步替代传统U-Net结构，其核心优势在于全局语义建模能力与提示词关系理解鲁棒性；ERNIE-Image正是基于DiT的典型代表，但需依赖GGUF格式模型、LLM Runtime推理后端及专用解码器，与Stable Diffusion工作流存在根本性兼容断层；技术价值体现在轻量化部署、跨平台支持与Q4量化显存优化，适用于消费级GPU上的AI绘画本地化生产；本文聚焦ComfyUI环境下的三重适配——GGUF加载协议扩展、DiT隐空间阅读详情

> 一句话总结：让百度最强文生图模型 ERNIE-Image 在你的 ComfyUI 里跑起来，支持 FP16 原生 + GGUF 量化双模式，附赠 3 个即用工作流。

📌 前言

ERNIE-Image 是百度推出的文生图大模型，在中文理解和图像质量上都有不错的表现。但官方并没有提供 ComfyUI 的支持，社区里也没有现成的节点。

所以我写了一个**兼容补丁**，让 ERNIE-Image 可以无缝接入 ComfyUI 生态。

GitHub 仓库：网页链接 GitHub - enixz/ernie-comfyui-patch ·GitHub

## 🎯 核心特性

| 特性 | 说明 |

|------|------|

| 双模式支持 | FP16 原生精度 + GGUF 量化，显存不够也能跑 |

| 权重映射 | 自动处理 `language_model` 前缀映射，无需手动改权重 |

| Tokenizer 兼容 | 缺失 tekken 数据时自动 fallback，不报错 |

| 官方工作流 | 附带 3 个即用工作流：官方示例 / GGUF 量化 / 中文测试 |

| 即插即用 | 通过 ComfyUI Manager 一键安装 |

## 🖥️ 系统要求

- GPU：NVIDIA 显卡（建议 8GB+ 显存）

- 系统：Windows 10/11 / Linux / macOS（M 系列需转译）

- ComfyUI：v0.2.x 及以上版本

- Python：3.8+

---

## 📦 安装方法

### 方法一：ComfyUI Manager 一键安装（推荐）

1. 打开 ComfyUI，点击右侧 Manager 按钮

2. 进入 Custom Nodes Manager

3. 搜索 `ERNIE-Image` 或 `ernie-comfyui-patch`

4. 点击 Install，重启 ComfyUI

### 方法二：手动安装

```bash

cd ComfyUI/custom_nodes

git clone 网页链接

```

然后重启 ComfyUI 即可。

## 🔧 模型准备

### 1. 下载 ERNIE-Image 模型

从 Hugging Face 下载官方模型：

```bash

# 安装 huggingface-cli

pip install huggingface-hub

# 下载模型（约 10GB+）

huggingface-cli download baidu/ERNIE-Image --local-dir ./models/ERNIE-Image

```

### 2. 模型文件放置

将下载的模型文件放入 ComfyUI 的模型目录：

```

ComfyUI/

├── models/

│ ├── checkpoints/

│ │ └── ernie-image-fp16.safetensors ← 主模型

│ └── clip/

│ └── ernie-image-clip.safetensors ← CLIP 模型

```

---

## 🚀 使用教程

### 加载工作流

仓库里带了 3 个工作流，在 `workflows/` 目录：

| 工作流 | 用途 |

|--------|------|

| `ernie_official.json` | 官方示例，测试基础功能 |

| `ernie_gguf.json` | GGUF 量化模式，低显存友好 |

| `ernie_chinese_test.json` | 中文提示词测试 |

加载方法：ComfyUI 界面 → Load → 选择 `.json` 文件

### 节点说明

补丁主要修改了以下节点：

- CLIPLoader：新增 `ernie` 模型类型选项

- CheckpointLoaderSimple：支持 ERNIE 权重格式

- KSampler：兼容 ERNIE 的采样参数

### 提示词写法

ERNIE-Image 对中文提示词支持很好：

```

正向提示词：

一只橘猫坐在窗台上，阳光透过窗户，温暖的午后，高清细节，8k

反向提示词：

模糊，低质量，变形，多余的手指

```

---

## 📊 性能对比

|------|---------|---------|---------|

| FP16 原生 | ~12GB | 快 | 高质量出图 |

| GGUF Q4 | ~6GB | 中等 | 显存紧张 |

| GGUF Q8 | ~8GB | 较快 | 平衡质量与速度 |

测试环境：RTX 4090 24GB，512x512 分辨率，30 步

---

## 🛠️ 常见问题

### Q1：加载模型时报错 "Missing key: language_model.xxx"

原因：权重键名前缀不匹配

解决：补丁已自动处理映射，确保使用的是最新版本

### Q2：Tokenizer 报错 "tekken data not found"

原因：缺少 tokenizer 配置文件

解决：补丁已添加 fallback 逻辑，或手动下载 `tokenizer.json`

### Q3：生成图片全是噪点

原因：VAE 未正确加载

解决：检查 `models/vae/` 目录是否有对应的 VAE 文件

### Q4：ComfyUI Manager 搜不到这个节点

原因：可能还未合并到官方列表

解决：先用手动安装方式，或等我提交 PR

---

## 📝 更新日志

### v1.0.0（2024-05-01）

- ✨ 初始版本发布

- ✅ 支持 FP16 + GGUF 双模式

- ✅ 添加 3 个官方工作流

- ✅ 通过 ComfyUI Manager 可安装

---

## 🤝 参与贡献

欢迎提交 Issue 和 PR！

- 发现 Bug？→ [GitHub Issues](网页链接)

- 想加功能？→ Fork 后提交 PR

- 有问题？→ 在评论区留言

---

## 📎 相关链接

- GitHub 仓库：网页链接

- ERNIE-Image 官方：https://huggingface.co/baidu/ERNIE-Image

- ComfyUI 官方：网页链接

- ComfyUI Manager：网页链接

---

## 💡 结语

ERNIE-Image 在中文场景下表现不错，特别是对中国文化元素的理解比 SD 系列更准。如果你经常生成国风、汉服、中式建筑等内容，值得一试。

如果这篇教程帮到了你，**给个三连支持一下** 👍 有问题评论区见！

标签：#ComfyUI #ERNIE #AI绘画 #文生图 #百度 #开源项目 #教程

话题

#IT疑难杂症诊疗室

标签

#AI作画 #AIGC #python #百度 #人工智能

ERNIE-Image本地部署：24G显存实测可跑的完整技术路径多模态大模型文生图能力持续增强，但本地部署常受限于显存瓶颈与黑盒封装。ERNIE-Image作为国产主流多模态扩散模型，其端到端推理对GPU资源提出严苛要求；而BF16精度适配、ComfyUI节点化调试、VAE轻量解码等关键技术，共同构成了低门槛落地的核心支撑。本文聚焦‘24G显存可跑’这一工程现实目标，解析显存占用规律、精度选择依据与三层防御优化策略，覆盖从环境搭建、模型加载、采样控制到质量验证的全链路实践，为中文prompt优先的本地AI创作者提供可复现、可降级、可监控的部署范式。阅读详情

ERNIE-Image 本地ComfyUI部署指南+补丁

GitHub 仓库：网页链接​ GitHub - enixz/ernie-comfyui-patch ·GitHub

相关推荐

GitHub 仓库：网页链接 GitHub - enixz/ernie-comfyui-patch ·GitHub