ControlNet 为 Stable Diffusion 带来强大控制能力,拓展绘画应用场景。
ControlNet
ControlNet是斯坦福大学博士张吕敏(Lvmin Zhang)的研究成果。它是一种通过采用额外条件来控制扩散模型的神经网络结构,目前在GitHub上开放。
ControlNet主要包含了预训练模型的锁定副本、可训练副本与定义输入条件,从而能够保证图像在部分“锁定”不能修改的前提下,通过“可训练”的模型,在一组输入条件下,最终合并输出,以保证用户输出较为稳定的结果。在使用过程中,在WebUl上,可以分别对应到预处理、模型和提示词。
ControlNet 的预处理器目前主要有 Canny边缘检测、Depth 深度检测、M-LSD线条检测、NormAI Map法线贴图、OpenPose姿态检测、PiDiNet边缘检测、Scribble涂鸦、Segmentation 语音分割等,可以将其用在Stable Diffusion 中通过骨骼、涂鸦、法线图、线框图与深度图等来精准控制画面人物的姿势动作、给线稿上色、渲染建筑等,进而应用在诸如艺术设计、“摄影”、电商设计、工业设计、虚拟现实等场景中。