Stable Diffusion【ControlNet】：使用InstantID插件实现人物角色一致性

大家好， 今天我们来看看在stable diffusion的controlnet插件中instantid模型的使用。（文末附资料）

一. instantid介绍

instantid 使用 insightface 从参考人脸中检测、裁剪和提取人脸embedding 。然后embedding与 ip-adapter一起使用来控制图像生成。这部分与 ip-adapter face id 非常相似。不过，它还使用 controlnet 检测并修复多个面部标志（眼睛、鼻子和嘴巴）。

结合使用ip-adapter face id 和 controlnet，可以高保真度地复制我们提供的参考图像，从而最终实现人物角色的一致性。

注意：instantid需要使用sdxl大模型，目前还没有stable diffusion 1.5对应的版本。

二. instantid插件的安装

首先将controlnet升级到最新的版本，最好是在v1.1.440版本及以上。

下载instantid的ip-adapter模型。

将下载的文件重命名为ip-adapter_instant_id_sdxl.bin。

下载 instantid controlnet模型。

将下载的文件重命名为control_instant_id_sdxl.safetensors。

将上面下载下来的2个文件都放在stable-diffusion-webui > models > controlnet文件夹目录下。具体情况大家可以按照自己的目录来。

然后重启我们的sd工具，可以看到在控制选项中多了一个instant_id选项，表示instantid安装好了。

三. instantid插件在sd 1.5中的使用

使用instantid模型时需要注意一些事项：

• 大模型只能使用sdxl大模型

• 提示词引导系数 (cfg scale)要比通常设置的参数值低（3-5）

• 需要使用2个controlnet作为instantid

• 减少两个controlnet的控制权重（control weights）和引导终止时机（ending control steps）

下面我们来具体体验一下instantid插件的使用。

【第一步】：大模型的选择

这里我们使用dreamshaper sdxl turbo大模型。vae大模型选择none。

【第二步】：提示词的编写

正向提示词：

反向提示词：

文生图相关参数设置

• 采样器：dpm++sde karras

• 采样迭代步数：7

• 图片宽高：1016*1016 （默认图像尺寸 1024×1024 不适用于 instant id。使用接近但不完全是 1024×1024 的分辨率）。

• 提示词引导系数（cfg）：2（cfg 比例必须设置得相当低，instantid 才有效）

【第三步】：controlnet插件instantid模型设置

需要使用两种 instantid 模型。换句话说，需要使用两个controlnet。

controlnet单元0设置

第一个controlnet主要使用insightface来提取人物的面部特征。

这里我们使用紫霞仙子的图片作为参考图像。

• 启用：选中

• 完美像素模式：选中

• 控件类型：instant_id

• 预处理器：instant_id_face_embedding

• 模型：ip-adapter_instant_id_sdxl

• 控制权重：1

• 引导介入时机：0

• 引导终止时机：1

controlnet单元1设置

第二个controlnet用于提取面部关键点，例如眼睛、鼻子和嘴巴的位置。您可以使用不同的图像，但建议使用相同的图像。这里我们仍然使用第一个controlnet上传的图片。

• 启用：选中

• 完美像素模式：选中

• 控件类型：instant_id

• 预处理器：instant_id_face_keypoints

• 模型：control_instant_id_sdxl

• 控制权重：0.45

• 引导介入时机：0

• 引导终止时机：1

【第四步】：生成图片

点击【生成】按钮，最终生成的图片效果如下。

四. 图片风格样式

图片的风格样式是由提示词来控制。您可以使用sdxl的提示词优化图片的展示内容和背景元素。

1. 人物肖像

2. 赛博朋克风格

3. 线条艺术风格

这里的测试示例中，我改变了原图片中的人物表情（微笑），总体来看，instant_id插件在实现人物换脸保持人物角色一致性上还是不错的。

好了，今天的分享就到这里了，希望今天分享的内容对大家有所帮助。
文章使用的ai绘画sd整合包、各种模型插件、提示词、ai人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

写在最后

aigc技术的未来发展前景广阔，随着人工智能技术的不断发展，aigc技术也将不断提高。未来，aigc技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，aigc技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，aigc技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套aigc学习资料和安装工具，包含ai绘画、ai人工智能等前沿科技教程，模型插件，具体看下方。

一、aigc所有方向的学习路线

aigc所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、aigc必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新aigc学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、aigc视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除