值得推荐：一文讲清楚Stable Diffusion中Lora与大模型的区别（转载）

一文讲清楚Stable Diffusion中Lora与大模型的区别（转载）

原文链接：https://zhuanlan.zhihu.com/p/683019139

当我们没有使用 lora 生成出来的图，可以观察出人脸等等并不好看，甚至还有可能生成很奇怪的图，这是因为我们没有使用对应的 lora。

Lora

Lora：是一个模型，前面讲的大模型他也是一个模型

Lora 与大模型的区别：

1）大模型占用的内存会非常大，都是1GB 以上的，那是因为大模型又成百上千张图片训练出来的，学习的东西会非常的多，模型里面记录的数据也就会非常的多，基于他学过的东西，让我们输入关键词就对生成出对应的图片，如果是模型没有学习过的东西，那么无论输入什么关键词他都是生成不了对应的图片的，假入我们输入汉服，然后输入汉服这个关键词，他是生成不了汉服的，这个时候就可以使用Lora 去帮助我们生成，Lora 可以对大模型信息的补充，训练一个 Lora 模型只需要二三十张照片，时间比较短，对应的内存存储也就比较少，对照片控制的更加精准。

使用 Lora 与没使用 Lora 的区别​，如图：

总结：可以从上面图中很明显的观察出使用了 Lora 的效果更加好，Lora 模型不仅可以对衣服的信息进行补充，还可以对人脸、动作、画风都进行控制，比如上面我们生成出来的图都是特别的好看，此时我们就可以给他加上美女人脸的 lora。

使用美女 Lora 的效果：

注意：下载下来的 Lora 存放的位置也要正确，存放位置：F:\ai\sd\sd-webui-aki-v4.4\sd-webui-aki-v4.4\models\Lora （取决于 SD 存在于哪个盘符），下载下来存放好之后要在 SD 的 web-ui 界面找到 Lora 的位置点击刷新按钮，就可以看到我们下载并好的 Lora 了，如图：

Lora 如何使用：

1）当我们下载并存放好位置之后直接点击对应的 Lora 就可以看到我们的提示词的窗口就会自动加入 Lora 的关键词，如图：

2）当使用 Lora 的时候要注意对应的 Lora 有没有触发词，有的话必须加上对应的触发词，否则 Lora 加了也是不会有作用的，如图​：

3）并不是所有的 Lora 都是需要触发词的，有的要，也有的不要，那么我们如何知道对应的 Lora 有没有触发词了，当你在下载对应的 Lora 模型的时候，如果需要触发词，作者都会标记好对应的触发词的这个时候如果需要你直接加上就好，如图：

4）那我们下载的 Lora 模型那么多，不可能每次要使用的时候都去查看对应的触发词和推荐的权重把，答案当然是不用的，这里有个小技巧，如图：

5）当你添加多个 Lora 的时候，Lora 与 Lora 之间也要用英文状态下的逗号分隔开，Lora 与关键词之间也是需要使用英文状态下的逗号分隔开的，这里也推荐几个常用的真人 Lora 搭配大模型麦橘写实或者极氪写实的效果会很好，如图：

6）注意：Lora 设置的权重不一样，出来的人脸也会不一样，Lora 也不要混用太多，不是越多越好，不然模型之间会相互污染，出来的照片也会变得很奇怪。具体可以慢慢去配置尝试不同的权重，然后生成对应好看的图。

随机数种子：

当你想生成一模一样的图片，就算你配置的大模型、关键词、参数配置都一样，也不一样能生成一模一样的图片，因为之间还差了一个随机数种子，因为 SD 生成的照片是不断去噪的过程，这个随机数种子就控制噪点图的形状。

当你把迭代步数设置为 1 步的时候，每次点击生成第一步生成的噪点图的形状都是不一样的，当你生成图片下面的 Seed 就是对应的随机数种子，当你把随机数种子设置为一样的时候他控制的形状就是一样的

当大模型、关键词、参数配置、随机数种子一样的时候，我们才能生成一张差不多一样的图片。

C 站：

C 站（https://civitai.com/）是一个非常出名的模型网站，需要适当的网络访问，如图：

如果没有合适的网络 C 站访问不了，也可以使用这个网站也可以的：https://www.liblib.ai/

转载请保留原文链接：http://blog.hzzx3d.com/2882.html