开始前,请先将你的 webui 版本更新,避免未知的怪问题
启动后,来到这里输入如下网址,点击安装
https://jihulab.com/hunter0725/sd-webui-controlnet
等待安装完毕就可以把 webui 先关掉了。准备安装模型。
2. 安装插件所需模型
分为两种模型,一种是预处理所需要的模型,一种是这个controlnet本身用的模型。
所有模型都可以在这里找到:https://huggingface.co/lllyasviel/ControlNet/tree/main,但是估计很多人看不懂。跟着我一起来安装这些模型吧。
我这里提供了一部分的模型到百度网盘,地址在文末。下载他们跟着我放在这里。
(1)预处理用的模型
这部分模型本身会自动下载,但是国内网络环境比较垃圾,不好下载。所以这里我们先来安装一下预处理的模型。
用于人体动作检测的预处理模型,放在这里。
深度图,midas的放在这里
(2)controlnet 所用的模型
这里提供了3个我自己感觉最有用的,剩下的自己可以去hf上下载。
放在这里:extensions\sd-webui-controlnet\models
剩余的模型可以自己去下载 https://huggingface.co/lllyasviel/ControlNet/tree/main/models
注意:hf上面提供的是带了一个sd1.5的模型 也就是说他自己本身带了一个生成图的大模型。而这部分在插件里并没用,因为你要用自己的模型生成图的对吧。也就是说你下载了5.5G的这个controlnet模型,4G是屁用没有的。我网盘里的帮你剪裁好了,只留下了需要用的。
3. 开始使用
正常文生图该怎么用怎么用,在底下这里选择这个controlnet的选项。
这里以人体动作为例,以Preprocessor就选openpose,模型就选control_openpose。
效果是这样的
在选择Preprocessor和模型时,这里就涉及到一个概念。
Preprocessor是什么呢,是个预处理器的意思。放进去的图会先经过这个东西
比如 canny 预处理器,就是这样子的:中间的就是经过 canny预处理的效果。
canny预处理 + control_canny 模型
depth(midas) 预处理 + control_depth 模型
hed预处理 + control_hed 模型
链接:https://pan.baidu.com/s/1gR2DiyOjaicGVXwiWvdW6A
提取码:aaki