Stable Diffusion模型对比及使用

发表于 | 分类于
Stable Diffusion模型对比及使用

前言

主要分为四类：Checkpoint、LoRA、Textual Inversion、Hypernetwork，分别对应 4 种不同的训练方式。

  1. Checkpoint：通过 Dreambooth 训练方式得到的大模型， 特点是出图效果好，但由于训练的是一个完整的新模型，所以训练速度普遍较慢，生成模型文件较大，一般几个 G，文件格式为 safetensors 或 ckpt。

  2. LoRA：一种轻量化的模型微调训练方法，是在原有大模型的基础上，对该模型进行微调，用于输出固定特征的人或事物。

    特点是对于特定风格特征的出图效果好，训练速度快，模型文件小，一般几十到一百多 MB，需要搭配大模型使用。

  3. Textual Inversion：一种使用文本提示来训练模型的方法，可以简单理解为一组打包的提示词，用于生成固定特征的人或事物。

    特点是对于特定风格特征的出图效果好，模型文件非常小，一般几十 K，但是训练速度较慢，需要搭配大模型使用。

  4. Hypernetwork：类似 LoRA，但模型效果不如 LoRA，需要搭配大模型使用。

模型推荐：

Checkpoint > LoRA > Textual Inversion > Hypernetwork

通常情况 Checkpoint 模型搭配 LoRA 或 Textual Inversion 模型使用，可以获得更好的出图效果。

补充：还有一类 VAE 模型，简单理解它的作用就是提升图像色彩效果，让画面看上去不会那么灰蒙蒙，此外对图像细节进行细微调整。

模型对比

模型名称 安装目录 训练方法 常见大小 使用方法 特点
Checkpoint \models\Stable Diffusion Dreambooth 几GB WebUI顶部设置栏直接切换 最重要的主模型，效果最好，常用于控制画风，但文件体积较大，不够灵活
Embedding \embeddings Textual Inversion 几十KB 提示词框中输入触发关键词 最轻量级的模型，适合控制人物角色，但控图能力有限
LoRA \models\Lora LoRA 约150MB 提示词框中输入 <lora:filename:multiplier> 目前最热门的扩展模型，体积小且控图效果好，常用于固定角角色特征
HyperNetworks \models\hypernetwork Hypernetwork 几十MB 提示词框中输入 <hypenet:filename:multiplier> 类似低配版LoRa模型，因训练难度较高逐渐被淘汰，多用于控制画风
VAE \models\VAE / 约300MB WebUI顶部设置栏直接切换 作为外置模型来弥补主模型的VAE功能，多用于辅助出灰图的主模型

网站推荐

解析图片

https://spell.novelai.dev/

提示词

https://tags.novelai.dev/

展示网站

https://www.aigodlike.com/

我们可以把图片下载后通过解析图片的网站查看提示词。

模型下载

https://www.liblib.art/

IP DESIGN | 3D可爱化模型

https://www.liblib.art/modelinfo/2beae39bf23edd20675436f88cbf0942

模型文件

对于Checkpoint类型的：

ckpt 和 safetensors 格式的都放在Stable Diffusion\models\Stable-diffusion目录下即可。

safetensors需要升级WebUI版本才支持。

WebUI与ComfyUI

WebUI与ComfyUI，两者本质上都源自Stable Diffusion，但在实际应用上，它们各自展现出了独特的形态。

如果以台式电脑为喻，WebUI就如同一台功能齐全、易于使用的一体机，而ComfyUI则更类似于一台可以根据个人需求进行自由组装的电脑。

这两者都是第三方开发的工具，旨在为用户提供更为便捷的图像生成体验。

其中，ComfyUI目前已经得到了官方的认可。

WebUI易用，但ComfyUI无疑是值得你深入学习和掌握的工具。

通过不断学习和实践，你将能够充分利用ComfyUI的优势，实现更加高效、精准的图像生成。

WebUI

image-20240521163300370

ComfyUI

使用工作流的方式生成图片。

image-20240521163418787

提示词语法

所有提示词中的符号均为英文字符。

分割

不同的提示词之间使用,分割。

越靠前的提示词权重越高。

权重

image-20240521181209052

示例

1
2
3
4
5
(word:1.5)//将括号内的提示词权重设置为1.5
(word:0.25)//将括号内的提示词权重设置为0.25
(word)//将括号内的提示词权重设置为1.1
((word))//将括号内的提示词权重设置为1.21（= 1.1 * 1.1）
[word]//将括号内的提示词权重为0.9

Prompt editing语法

此提示词语法可以先绘制前面的提示词内容，然后再绘制后面的提示词内容。其基本语法为：

1
[from:to:when]

举例说明：

[male:female:0.6] 代表前60%采样步数画male（男人），后40%步画female（女人）。

基本上会生成既有男性特性又有女性特征的图片。

交替词语法

此提示词语法代表每隔一步换一个提示词交替绘制，此语法可以绘制出各种融合怪四不像，很有意思！

举个例子：

1
[cat|dog]

此语法代表cat和dog交替绘制，最后能生成似猫又似狗的动物。

img

可组合扩散Composable Diffusion

此语法使用大写 AND ，以使两者权重保持一致。

这里要说明一下，默认的提示词编写是使用逗号分隔的，那种写法是有先后顺序区别的，靠前的提示词权重比较高。

这里使用AND语法可以让多个提示词权重保持一致。

1
a cat AND a dog

效果
img

另外此语法支持指定权重值：默认权重值为 1，也可以指定每个提示词的权重，比如：

1
a cat :1.0 AND a dog :3.0

效果

img

常用提示词

正向提示词

1
masterpiece, best quality, movie stills, 1girl, solo,flowing hair, (glowing dress),nice hands, perfect hands, colorful pleated skirt,reg light, running in the flowers, dreamy scenes, exquisite facial features, extremely beautiful face, clear details, soft lighting background, light particles,

解释：

  1. masterpiece（杰作）
  2. best quality（最佳质量）
  3. movie stills（电影剧照）。
  4. 1girl（一个女孩）
  5. solo（独自）
  6. flowing hair（飘逸的头发）
  7. (glowing dress)（发光的裙子）
  8. nice hands/perfect hands（漂亮的手/完美的手）
  9. colorful pleated skirt（彩色褶皱裙）
  10. reg light（柔和的光线）
  11. running in the flowers（在花丛中奔跑）
  12. dreamy scenes（梦幻场景）
  13. exquisite facial features（精致的面部特征）
  14. extremely beautiful face（极其美丽的面容）
  15. clear details（清晰的细节）
  16. soft lighting background（柔和的光线背景）
  17. light particles（光粒子)

反向提示词

1
EasyNegative,NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,watermark,

解释：

  • EasyNegative 目前使用率极高的一款负面提示词 embedding 模型，可以有效提升画面的精细度，避免模糊、灰色调、面部扭曲等情况，适合动漫风大模型。

    下载地址：

    https://www.liblib.art/modelinfo/458a14b2267d32c4dde4c186f4724364

  • nsfw Not Safe For Work,不适合上班时候看,反过来就是适合上班看的。

效果展示

IP DESIGN | 3D可爱化模型

效果

img

正向提示词

1
masterpiece,high quality,a girl,Fantasy character in elaborate costume,holding a staff,pink hair,butterfly accessories,golden crown,holding a magical staff,detailed gown with iridescent fabrics,rendered illustration,vibrant colors,bokeh effect,fantasy style,anthropomorphism,attack,enchanting,blurry_foreground,detailed embroidery,3d render,cg,magical ambiance,fairy tale,animal,butterfly,fantastic scenes,outdoors,in the forest,feitian,fly up,sky,cloud,flower,wide_shot,stars in the eyes,messy floating hair,colored inner hair,Starry sky adorns hair,(lots of big colorful Bubble),(pearl),(Galaxy),depth of field,butterfly_wings,

反向提示词

1
(worst quality:2),(low quality:2),(normal quality:2),lowres,watermark,