Stable Diffusion图像处理基础应用
SD-WebUi的安装
1、将sd-webui-aki-4.8解 压
2、将ControlNet打开后将里面的内容全选,放到 sd-webui-aki/sd-webui-aki/models/ControlNet/内
3、在sd-webui-aki主目录下有个"A绘世启动器应用程序"
4、第一次运行需要下载一些依赖的文件,得多等会。
SD-WebUi的运行方式和图片资源下载
1、它默认是在电脑的浏览器中运行的,https://127.0.0.1:7860
2、SD在出图时获取模型相关网站,可以出图的模型推荐下载:liblib 它是国内模型下载最多的模型网站,并且可以为我们提供作品的出图灵感;例如生成这张图所用了哪些正向提示词,反向提示词,出用了什么模型及模型参数等信息。
3、 一个永久免费的模型参考网站, Promlib ,可以看到各种各样的关键词,将这些关键词放到SD内它能产生怎样的效果,在用提示词的时候就明白怎样表达了。
4、这是一个全球下载最多的网站civit
模型的安装位置
1、它在"绘世启动器内"在"模型管理"—-选择SD模型—-打开文件夹—–找到下载好的模型添加即可【将其它网站下载好的模型剪切过来】。
2、添加完模型以后,点击绘世启动器—-控制台——右上角的终止进程再点击一键启动。这样才能成功启动自己添加的模型;
- 正向提示词:需要所生成的画面出现什么,就在此处输入,一定要是英文和英文标点,如生成4k 8k可以输入在正向提示词内, girl AND cat生成猫女;
- 反向提示词:需要所生成的画面不需要出现什么,就在此处输入一定要是英文和英文标点,如 模糊,;
如下图所示生成一个没有花的女孩子在花园
- 采样方法:是在图片优化过程中采用的策略,不同的采样方法在图像的质量、速度、计算资源上是有区别的。
- 调度类型:可以选Karras
- 迭代步数:默认值是20表示生成一部份停下来检查,再画一部分再停下来检查,这样重复20次,值越大质量越好但消耗时间也越多;
- 高分辨率修复:一般默认即可;
- 宽度、高度可以理解为图像的分辨率;
- 单批数量:如为2则一次生成两个图片;
- 提示词引导数:这个值越大,AI受其影响就越大,SD就更加依赖我们的提示词。
图生图的基础用法
上传一张图片就可以通过SD来改变图片中的元素,
图生图最重要的一个参数重绘幅度:平时在使用图生图时不宜过低,过低会导致整体画面崩塌,建议在0.3~0.7之间;
例如:
要生成一个跟梵高的星空类似的图片,就可以把梵高的星空图上传上来。当把提示词设为像素画,像素风,将参数重绘设成0.7出来的图像就有很大的变经了。
涂鸦功能的应用
可以上传一些比较潦草或者还停在草稿阶段的作品,如本例是提示词:蓝天,白云,小屋,草原,河流,生成的效果。
局部重绘
如果是修改图片中的一部分而不是整张修改,就可以用到它,本例是一个熊猫抱竹,改成抱香蕉;提示词:大熊猫,拿着香蕉’;重绘幅度0.7
涂鸦重绘
选中加载的图片按S键进行放大,再调色板上选择颜色进行绘制,再按S保存,将蒙版边缘模糊度调推荐为12,重绘幅度0.7,
上传重绘蒙版
提示词:一个漂亮的女孩,穿着水手服,站在河边;上传一个图片和这个图片的蒙板;重绘幅度:0.5;注:蒙板可以用PS来制作 ;
从生成的图中可以发现,只有人物的本身发生了改变,而背景都没有发生改变。
高分辨率修复
文生图——–高分辨率修复
- 放大算法:R-ESRGAN 4X+是比较适合真实图片修复的;R-ESRGAN 4X+ Anime6B就比较适合修复动漫类型的图片
- 高分迭代步数:默认0就可以了。
- 重绘幅度:0.3~0.7 【是比较重要的参数,对生成图像的变化较大】
- 放大倍数:是指对图片的宽度和高度的放大,如512*512,放大2倍就是1024*1024,对图片要求再高只能让图片更大才能存放更多的细节;
自动生成的图片人物面部或手部的崩坏修复
利用了ADetailer这个插件进行修复,生成的图片,手或面部有崩的情况,可以选中图片的seed值,再启用ADetailer进行调整。
如果通过以上还达不到效果,则可以在DS中的图生图功能;把这个图片复制下来贴到PS中,选择一个矩形如,128*128, 并将选中的部分贴到DS的图生图中。
此时将像素加大,如变成512*512; 重绘幅度0.4左右【这一步很重要】,ADetailer选中手部修复,在提示词中写,手里拿着手机或不写提示词;处理完后再将这个处理完的局部图片贴到PS中进行合并;这种方法也是比较常见的;
Lora的安装及使用
在生成图片的时候有些非常小众的细分领域,如果要生成这些元素的话,大模型并没有针对于这些元素去做到过多深入的训练,这个时候就需要Lora来补这方面的知识。
本例以安装一个Dunhuang模型到LoRA模型为例
下载完以后将这个文件剪贴到Lora的文件夹下。
1、将原图中的参数复制到DS中,在不使用LoRA的情况下生成的图片,不是我们想要的。
2、打开Lora模型——找到上一步下载的dunhuang模型,点一下就会在提示词中多出一个条目词,将其权重改为0.8即可。
3、对生成的图片进行高分辨率修复,上面部分已分绍。
WD1.4标签器
标签器:可以通过上传一张图片,自动生成提示词;
2、然后再将生成的提示词生贴到文生图中生成一张风格类似的图片。
3、阈值是一个进度条,数值越小的话,对这张图片的反推时描述的就越精细,
4、附加标签和排除标签:分别表示在生成的提示词中添加一个标签和去除一个标签;
技巧:
每次操作SD时都要输入提示词,再操作就没有了,此时可以通过保存预设的提示词,下次使用时,直接选择这个文件就可以直接使用了,不再需要输入提示词了。
ControlNet模型
1、ControlNet是一个用于控制出图内容的可选插件的模型,将模型放在model/ControlNet里。如下图所示,就可以生成硬边缘效果;
输入提示词:a girl,red hair,black clothes,selfie,
产生的效果
ControlNet应用示例:可以通过线稿来生成实物图像
如下图所示添加好线稿,并关掉预处理,点击步骤5的运行,同步宽和高。提示词:一部商业用的相机,金属材质,高端大气
生成效果
ControlNet应用示例:OpenPose姿态,通过姿态和提示词来生成新的相同姿势的图片。
ControlNet应用示例:
通过提示词:一艘小船搁浅在沙漠,沙漠,仙人掌,太阳;
将深度图同步以后,输入上面的提示词,就可以生成一张新的图片了。