开始前,请先将你的 webui 版本更新,避免未知的怪问题


启动后,来到这里输入如下网址,点击安装

https://jihulab.com/hunter0725/sd-webui-controlnet


等待安装完毕就可以把 webui 先关掉了。准备安装模型。


2. 安装插件所需模型

分为两种模型,一种是预处理所需要的模型,一种是这个controlnet本身用的模型。

所有模型都可以在这里找到:https://huggingface.co/lllyasviel/ControlNet/tree/main,但是估计很多人看不懂。跟着我一起来安装这些模型吧。

我这里提供了一部分的模型到百度网盘,地址在文末。下载他们跟着我放在这里。

(1)预处理用的模型

这部分模型本身会自动下载,但是国内网络环境比较垃圾,不好下载。所以这里我们先来安装一下预处理的模型。

用于人体动作检测的预处理模型,放在这里。


深度图,midas的放在这里

 

(2)controlnet 所用的模型

这里提供了3个我自己感觉最有用的,剩下的自己可以去hf上下载。

放在这里:extensions\sd-webui-controlnet\models


剩余的模型可以自己去下载 https://huggingface.co/lllyasviel/ControlNet/tree/main/models

注意:hf上面提供的是带了一个sd1.5的模型 也就是说他自己本身带了一个生成图的大模型。而这部分在插件里并没用,因为你要用自己的模型生成图的对吧。也就是说你下载了5.5G的这个controlnet模型,4G是屁用没有的。我网盘里的帮你剪裁好了,只留下了需要用的。

3. 开始使用

正常文生图该怎么用怎么用,在底下这里选择这个controlnet的选项。

这里以人体动作为例,以Preprocessor就选openpose,模型就选control_openpose。


效果是这样的

 

在选择Preprocessor和模型时,这里就涉及到一个概念。

Preprocessor是什么呢,是个预处理器的意思。放进去的图会先经过这个东西

比如 canny 预处理器,就是这样子的:中间的就是经过 canny预处理的效果。

canny预处理 + control_canny 模型

depth(midas) 预处理 + control_depth 模型

hed预处理 + control_hed 模型

链接:https://pan.baidu.com/s/1gR2DiyOjaicGVXwiWvdW6A 

提取码:aaki