ComfyUI：下一代Stable Diffusion图形界面工具

桌面运维 2023-09-08 张二河 手机阅读

ComfyUI简介

ComfyUI的定义和主要功能

ComfyUI是一个开源的基于图形界面Workflow可视化引擎,用于Stable Diffusion。

它提供一个用户友好的图形界面,可以将多个Stable Diffusion模型及其Hypernetwork组合成一个完整的工作流(Workflow),实现自动化的图像生成和优化。

ComfyUI的主要功能包括:

  • 基于节点的图形界面构建Workflow
  • 支持Stable Diffusion 1.x和2.x版本
  • 支持各种模型的组合,如Upscaler、Denooiser等
  • 提供Workflow的保存、加载功能
  • 一键从PNG生成完整Workflow
  • 运行时优化,只重新执行修改过的部分

ComfyUI的原理

ComfyUI基于一个图形节点编辑器,通过拖拽各种节点到画布上,连接节点之间的关系,就可以构建一个结束到端的Workflow。

每个节点代表一个Stable Diffusion相关的模型或功能,节点之间通过连线传递图片信息。最终构成一个图像生成到处理的工作流程。

例如,一个简单的上采样Workflow可以包括:

  • Text prompt节点 – 输入文字提示
  • SD node – Stable Diffusion生成图片
  • ESRGAN node – 使用ESRGAN上采样图片

当Workflow构建完成后,ComfyUI会在后台通过调用各个模型的API,按照流程顺序执行每个节点,实现自动化的结果输出。

另外,ComfyUI内置了一些优化功能,可以跳过不必要的重复计算,提高流程执行效率。

Stable Diffusion介绍

Stable Diffusion是一个基于Transformer的 GAN 模型,于2022年发布,可以生成高质量的图像。

它的特点包括:

  • 基于CLIP(图像-文本模型)进行训练,可以利用自然语言进行conditional generation
  • 训练代价低,训练数据只需400万张非授权图片
  • 生成质量高,可以生成高分辨率图片
  • 支持图像修复、图像扩增、文本到图像等多种功能
  • 支持基于滑块控制生成内容

Stable Diffusion已经成为目前最强大的开源生成模型之一,拥有庞大的用户群体。ComfyUI就是构建在Stable Diffusion之上的Workflow工具。

ComfyUI的目标和应用场景

ComfyUI的目标是提供一个用户友好、功能强大的Stable Diffusion工作流可视化和构建工具。

它主要应用于:

  • 创意工作者 – 设计师、艺术家等创作图像
  • AI研究人员 – 试验各种模型组合
  • 图像处理工作者 – 将流程自动化

通过ComfyUI构建Workflow,可以大大提高工作效率,将多个模型组合使用,获取更优质的生成结果。

同时,ComfyUI本身也在不断更新迭代,开发者活跃,已成为Stable Diffusion领域的重要开源项目之一。