Stable Diffusion图像处理基础应用

Stable Diffusion基础应用


SD-WebUi的安装

1、将sd-webui-aki-4.8解 压

2、将ControlNet打开后将里面的内容全选,放到 sd-webui-aki/sd-webui-aki/models/ControlNet/内

3、在sd-webui-aki主目录下有个"A绘世启动器应用程序"

4、第一次运行需要下载一些依赖的文件,得多等会。

SD-WebUi的运行方式和图片资源下载

1、它默认是在电脑的浏览器中运行的,https://127.0.0.1:7860

2、SD在出图时获取模型相关网站,可以出图的模型推荐下载:liblib 它是国内模型下载最多的模型网站,并且可以为我们提供作品的出图灵感;例如生成这张图所用了哪些正向提示词,反向提示词,出用了什么模型及模型参数等信息。

3、 一个永久免费的模型参考网站, Promlib ,可以看到各种各样的关键词,将这些关键词放到SD内它能产生怎样的效果,在用提示词的时候就明白怎样表达了。

4、这是一个全球下载最多的网站civit

模型的安装位置

1、它在"绘世启动器内"在"模型管理"—-选择SD模型—-打开文件夹—–找到下载好的模型添加即可【将其它网站下载好的模型剪切过来】。

2、添加完模型以后,点击绘世启动器—-控制台——右上角的终止进程再点击一键启动。这样才能成功启动自己添加的模型;

  • 正向提示词:需要所生成的画面出现什么,就在此处输入,一定要是英文和英文标点,如生成4k 8k可以输入在正向提示词内, girl AND cat生成猫女;
  • 反向提示词:需要所生成的画面不需要出现什么,就在此处输入一定要是英文和英文标点,如 模糊,;

如下图所示生成一个没有花的女孩子在花园

  • 采样方法:是在图片优化过程中采用的策略,不同的采样方法在图像的质量、速度、计算资源上是有区别的。
  • 调度类型:可以选Karras
  • 迭代步数:默认值是20表示生成一部份停下来检查,再画一部分再停下来检查,这样重复20次,值越大质量越好但消耗时间也越多;
  • 高分辨率修复:一般默认即可;
  • 宽度、高度可以理解为图像的分辨率;
  • 单批数量:如为2则一次生成两个图片;
  • 提示词引导数:这个值越大,AI受其影响就越大,SD就更加依赖我们的提示词。

图生图的基础用法

上传一张图片就可以通过SD来改变图片中的元素,

图生图最重要的一个参数重绘幅度:平时在使用图生图时不宜过低,过低会导致整体画面崩塌,建议在0.3~0.7之间;

例如:

要生成一个跟梵高的星空类似的图片,就可以把梵高的星空图上传上来。当把提示词设为像素画,像素风,将参数重绘设成0.7出来的图像就有很大的变经了。

涂鸦功能的应用

可以上传一些比较潦草或者还停在草稿阶段的作品,如本例是提示词:蓝天,白云,小屋,草原,河流,生成的效果。

局部重绘

如果是修改图片中的一部分而不是整张修改,就可以用到它,本例是一个熊猫抱竹,改成抱香蕉;提示词:大熊猫,拿着香蕉’;重绘幅度0.7

涂鸦重绘

选中加载的图片按S键进行放大,再调色板上选择颜色进行绘制,再按S保存,将蒙版边缘模糊度调推荐为12,重绘幅度0.7,

上传重绘蒙版

提示词:一个漂亮的女孩,穿着水手服,站在河边;上传一个图片和这个图片的蒙板;重绘幅度:0.5;注:蒙板可以用PS来制作 ;

从生成的图中可以发现,只有人物的本身发生了改变,而背景都没有发生改变。

高分辨率修复

文生图——–高分辨率修复

  • 放大算法:R-ESRGAN 4X+是比较适合真实图片修复的;R-ESRGAN 4X+ Anime6B就比较适合修复动漫类型的图片
  • 高分迭代步数:默认0就可以了。
  • 重绘幅度:0.3~0.7 【是比较重要的参数,对生成图像的变化较大】
  • 放大倍数:是指对图片的宽度和高度的放大,如512*512,放大2倍就是1024*1024,对图片要求再高只能让图片更大才能存放更多的细节;

自动生成的图片人物面部或手部的崩坏修复

利用了ADetailer这个插件进行修复,生成的图片,手或面部有崩的情况,可以选中图片的seed值,再启用ADetailer进行调整。

如果通过以上还达不到效果,则可以在DS中的图生图功能;把这个图片复制下来贴到PS中,选择一个矩形如,128*128, 并将选中的部分贴到DS的图生图中。

此时将像素加大,如变成512*512; 重绘幅度0.4左右【这一步很重要】,ADetailer选中手部修复,在提示词中写,手里拿着手机或不写提示词;处理完后再将这个处理完的局部图片贴到PS中进行合并;这种方法也是比较常见的;

Lora的安装及使用

在生成图片的时候有些非常小众的细分领域,如果要生成这些元素的话,大模型并没有针对于这些元素去做到过多深入的训练,这个时候就需要Lora来补这方面的知识。

本例以安装一个Dunhuang模型到LoRA模型为例

下载完以后将这个文件剪贴到Lora的文件夹下。

1、将原图中的参数复制到DS中,在不使用LoRA的情况下生成的图片,不是我们想要的。

2、打开Lora模型——找到上一步下载的dunhuang模型,点一下就会在提示词中多出一个条目词,将其权重改为0.8即可。

3、对生成的图片进行高分辨率修复,上面部分已分绍。

WD1.4标签器

标签器:可以通过上传一张图片,自动生成提示词;

2、然后再将生成的提示词生贴到文生图中生成一张风格类似的图片。

3、阈值是一个进度条,数值越小的话,对这张图片的反推时描述的就越精细,

4、附加标签排除标签:分别表示在生成的提示词中添加一个标签和去除一个标签;

技巧

每次操作SD时都要输入提示词,再操作就没有了,此时可以通过保存预设的提示词,下次使用时,直接选择这个文件就可以直接使用了,不再需要输入提示词了。

ControlNet模型

1、ControlNet是一个用于控制出图内容的可选插件的模型,将模型放在model/ControlNet里。如下图所示,就可以生成硬边缘效果;

输入提示词:a girl,red hair,black clothes,selfie,产生的效果

ControlNet应用示例:可以通过线稿来生成实物图像

如下图所示添加好线稿,并关掉预处理,点击步骤5的运行,同步宽和高。提示词:一部商业用的相机,金属材质,高端大气

生成效果


  • ControlNet应用示例:OpenPose姿态,通过姿态和提示词来生成新的相同姿势的图片。

ControlNet应用示例:

通过提示词:一艘小船搁浅在沙漠,沙漠,仙人掌,太阳;

将深度图同步以后,输入上面的提示词,就可以生成一张新的图片了。

第二部分

转载请注明出处:  https://www.cntworld.cn
智能工控 » Stable Diffusion图像处理基础应用

发表回复

提供最优质的资源集合

立即查看 了解详情