ControlNet 为 Stable Diffusion 带来强大控制能力,拓展绘画应用场景。
以下结合示例,介绍几个主要的预处理器的功能特点。
1.Ca
nny 边缘检测
Canny 边缘检测可以识别出图像内对象的边缘轮廓,常用于生成线稿。操作方法:启用ControlNet,上传图片,选择预处理器Canny与对应模型 control_canny,预览预处理结果。
可以用“预处理器分辨率”来控制输出线条的精细度,其数值越大,精度越高,反之越粗糙,默认值为512像素。
来对比一下512像素和1024像素的线稿,分辨率提高后,细节减少,但更加精准;也可以辅助高低阈值来设置线条、控制线条复杂度,并进行调节。
预览线稿后,就可以根据对应的线稿,加上提示词,来生成图片了。
2.M-LSD 直线检测
M-LSD 直线检测预处理器对于线条和棱角具有非常好的细节处理能力,尤其适合建筑和家具设计,可以通过给定的线条图或者参考效果图,按照提示词进行建筑外观、室内以及家具的效果设计。
在获取线条后。可以给定一个提示词,从而得到效果图。
3.PiDiNet 边缘检测
PiDiNet与Canny和Hed 同属边缘检测预处理器,其对色差较大处优先处理,所以给出的线条会更加清晰,但是细节相对较少,比较适合某些商品,例如衣服、鞋子、电路板等的设计。
4.Scribble 涂鸦
Scribble 涂鸦预处理器是根据线图、草图或者手绘涂鸦来绘制图片的。对于需要大量设计灵感,但是又不想在前期花大量时间的用户,或者缺乏美术功底的用户来说,可以采用这种方式。
用户在使用Scribble 涂鸦预处理器时,既可以利用参考图像获取线条图,也可以在空白画布上直接涂鸦线条。
下面使用参考图作为示例,来看一下Scribble 涂鸦的绘画能力。
选择 Scribble 涂鸦预处理器与对应的模型,使用预览预处理结果,得到线条图。
启用ControlNet,按需要提供正反提示词,并生成图像。