博主头像

什么是AI模型？ComfyUI新手教程第14章

外来客 • 2026-10-15 03:56:32

分享
𝕏 f ◉
声明：本文为对公开内容的摘要整理， 未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议； 观点与版权归原作者及原平台所有。 如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

（原标题：What are AI models? ComfyUI for beginners, chapter 14）

🧠 扩散模型与硬件需求

  • 核心引擎：扩散模型（Diffusion Model）是 ComfyUI 中图像和视频生成的核心，负责将随机噪声转化为符合提示词的连贯内容。
  • 文件体积：早期模型约为 6GB，现代模型通常为 10–20GB，部分可达 40GB 以上。
  • 硬件限制：运行时需将模型完全加载至显卡显存（VRAM）。若 VRAM 不足，数据会溢出至系统内存（RAM），导致速度显著下降或无法运行。因此，GPU 的 VRAM 容量是本地 ComfyUI 性能的关键指标。

🎭 LoRA 与定制化生成

  • 功能定义：LoRA（Low Rank Adaptation）是一种轻量级模型，用于修改扩散模型的行为，使其具备特定特征或风格，而非独立生成图像。
  • 应用场景：适用于训练特定人物面部、艺术风格、产品设计、角色或服装等。例如，通过训练个人照片的 LoRA，可让 AI 准确生成该人物的不同姿态和光照效果。
  • 优势：文件体积小，便于用户收集并快速切换多种定制模型以扩展 AI 的创作能力。

📝 CLIP 与文本语义转换

  • 作用机制：CLIP（Contrastive Language Image Pre-Training）负责将人类语言提示词转换为数值表示（潜空间信号），供扩散模型理解。
  • 匹配重要性：不同扩散模型需搭配特定的 CLIP 模型。使用不匹配的 CLIP 会导致语义丢失、生成错误或直接报错，如同聘请了说错语言的翻译。
  • 存储路径：下载的 CLIP 模型应放置于 ComfyUI 安装目录下的 `models/clip` 文件夹中。

🖼️ VAE 与像素空间解码

  • 双向转换：VAE（Variational Autoencoder）负责在潜空间（Latent Space，AI 处理的抽象压缩数据）和像素空间（Pixel Space，可见的 RGB 图像）之间进行转换。
  • 工作流程：在图生图任务中，VAE 将输入图像编码为潜空间数据；生成结束后，VAE 将结果解码为高分辨率可见图像。
  • 质量影响：匹配的 VAE 能确保色彩准确和细节清晰（如文字锐度）。使用错误或不匹配 VAE 可能导致报错或难以诊断的输出质量问题。需存放于 `models/vae` 文件夹。

🏗️ ControlNet 与结构控制

  • 核心功能：ControlNet 允许用户通过提供结构化参考信息来控制图像的构图、姿态和布局，弥补纯文本提示在精确空间控制上的不足。
  • 处理流程：原始图像经预处理器提取特定信息（如深度图、Canny 边缘、OpenPose 骨架），生成简化结构图后输入 ControlNet 模型，引导扩散模型保持参考图的结构性特征。
  • 适用场景：支持姿态模仿、空间布局保留、轮廓保持及线稿渲染等。部分新模型已内置此类控制功能，但在 ComfyUI 中单独加载 ControlNet 提供了更高的灵活性。

📈 模型生态与演进趋势

  • 发展脉络：开源图像生成始于 2023 年的 Stable Diffusion 1.5，随后 SDXL 在 2024 年成为主流。当前领域已超越传统 Stable Diffusion，涌现出 Wan、Flux、Zimage 等新模型。
  • 市场现状：不同模型在速度、质量、视频生成能力及 LoRA 支持度上各有侧重。许可协议从完全开源到闭源（如 Gemini, Nano Banana）不等。
  • 学习建议：由于新模型迭代极快，重点应放在理解 ComfyUI 中各组件（扩散模型、LoRA、CLIP、VAE、ControlNet）的协作机制上，以便快速适应未来技术更新。

博主头像 👤 同一博主

查看该博主全部 20 篇

🧭 类似博主

0 条评论

发表评论

请先 登录 后参与讨论。