ControlNet 为 Stable Diffusion 带来强大控制能力,拓展绘画应用场景。

以下结合示例,介绍几个主要的预处理器的功能特点。


1.Ca

ControlNet 预处理器详解

nny 边缘检测

Canny 边缘检测可以识别出图像内对象的边缘轮廓,常用于生成线稿。操作方法:启用ControlNet,上传图片,选择预处理器Canny与对应模型 control_canny,预览预处理结果。

可以用“预处理器分辨率”来控制输出线条的精细度,其数值越大,精度越高,反之越粗糙,默认值为512像素。

来对比一下512像素和1024像素的线稿,分辨率提高后,细节减少,但更加精准;也可以辅助高低阈值来设置线条、控制线条复杂度,并进行调节。

预览线稿后,就可以根据对应的线稿,加上提示词,来生成图片了。

2.M-LSD 直线检测

M-LSD 直线检测预处理器对于线条和棱角具有非常好的细节处理能力,尤其适合建筑和家具设计,可以通过给定的线条图或者参考效果图,按照提示词进行建筑外观、室内以及家具的效果设计。

在获取线条后。可以给定一个提示词,从而得到效果图。

3.PiDiNet 边缘检测

PiDiNet与Canny和Hed 同属边缘检测预处理器,其对色差较大处优先处理,所以给出的线条会更加清晰,但是细节相对较少,比较适合某些商品,例如衣服、鞋子、电路板等的设计。

4.Scribble 涂鸦

Scribble 涂鸦预处理器是根据线图、草图或者手绘涂鸦来绘制图片的。对于需要大量设计灵感,但是又不想在前期花大量时间的用户,或者缺乏美术功底的用户来说,可以采用这种方式。

用户在使用Scribble 涂鸦预处理器时,既可以利用参考图像获取线条图,也可以在空白画布上直接涂鸦线条。

下面使用参考图作为示例,来看一下Scribble 涂鸦的绘画能力。

选择 Scribble 涂鸦预处理器与对应的模型,使用预览预处理结果,得到线条图。

启用ControlNet,按需要提供正反提示词,并生成图像。


(本文内容根据网络资料整理,出于传递更多信息之目的,不代表连连国际赞同其观点和立场)