AI绘画Stable Diffusion AnimateDiff | 最稳定的基于文本生成视频的方法

在数字艺术领域，ai绘画技术已经逐渐成为艺术创作的新趋势。stable diffusion作为一款领先的ai绘画工具，推出了animatediff功能，这是目前最稳定的基于文本生成视频的方法。现在，让我们一起来探索stable diffusion的animatediff功能，开启你的创意视频之旅。

大家好我是极客菌！！！

今天给大伙分享一下目前来看比较稳定的文本生视频的插件 animatediff。

之前虽然小视频生成比较火，不过出的视频都不太稳定，目前来看 animatediff 是相对比较稳定的，而且能同时支持和其他插件一起使用。

一 animatediff 介绍

animatediff 使用控制模块来影响 stable diffusion 模型。它通过各种短视频剪辑进行训练。控制模块可以对图像生成过程进行调节，以生成一系列看起来像它学习的视频剪辑的图像。

简单来说，sd 模型的训练是通过大量的图片进行训练。而 animatediff 则是通过大量的短视频来进行训练图片之间的衔接（视频帧的流畅性）

结合 sd 模型，在出图的时候就可以通过 animatediff 模型对生成出的每一张图进行微调，最后拼接成短视频。

二 安装

使用 animatediff 需要安装 sd 插件和 animatediff 模型。

插件安装

如果你能科学上网，那么可以直接在扩展->从网址安装 中填入 https://github.com/continue-revolution/sd-webui-animatediff.git

如果你没办法通过网站安装，安装包也给大家准备好了，公众号回复 插件 获取 sd-webui-animatediff 压缩包，解压到你的 sd 安装目录下的 stable-diffusion-webui/extensions/

模型下载

安装好插件之后，将 animatediff 模型下载放到 stable-diffusion-webui/extensions/sd-webui-animatediff/model/

下载链接（需要的同学可以自行扫描获取）

同样如果没办法下载的话，公众号回复 模型 找到 mm_sd_v15_v2.ckpt 放到本地的目录中即可。

安装成功之后，重启 stable diffusion，在文生图页面可以看到 animatediff 插件配置

三 视频生成

第一步：先填写基础信息

其它的先使用默认的

第二步：配置animatediff

先介绍几个基础参数：

• motion module：animatediff 使用的模型了，也就是前面下载的

• enable animatediff：启用

• fps：每秒的帧数（每一帧一张图片）

• number of frames：总帧数。总帧数/fps = 视频的长度，上面的例子最后就会生成4秒钟的视频

第三步：生成视频

直接点击生成看看效果。

通过中间效果图来能看出来，一共生成了32张图（总帧数）

喝个咖啡☕️等待一会儿…

emmm… 发现效果还是比较差的，连续性也一般般，虽然不会出现闪烁，不过这个画质、脸部细节太糟糕了。

下面接着做一些优化

四 细节优化

脸部细节优化

前面我们说了 animatediff 支持结合其它插件一起使用，前面的文章我们讲过了使用 adetail 来解决崩脸 问题，这我们可以直接开启使用

连续性优化

启用 animatediff 的 frame interpolation，将 frame interpolation 设置为 film，将 interp x 设置为 fps 的乘数。例如，将其设置为 5 会使 8 fps 视频达到 40 fps。

也可以启动反向帧add reverse frame，相当于是把视频正着播放一遍，在反着播放一遍（实际上只会看着更加流畅了）

调整完再生成一次看看效果

效果是不是嘎嘎上来了。脸部细节、连续性都有提升。

只要你的gpu扛得住，也可以直接启用高清修复，让画面更加清晰！

拉大fps让视频的连续性更好！

五 坑坑坑

提示词长度问题

提示词的长度不能超过75。如果超过的话，那么最后的视频就会被切割然拼接。

多次生成视频时报错

如果多次生成视频的时候出现下面的错误信息

那么你需要在启动sd的时候删除掉 --xformers 参数。

在留个坑，后面在填。目前只是基于文生生成最基础的视频，后面我们再结合 controlnet 和原视频生成新视频以及视频换脸功能。

感兴趣的小伙伴，赠送全套aigc学习资料，包含ai绘画、ai人工智能等前沿科技教程和软件工具，具体看这里。

aigc技术的未来发展前景广阔，随着人工智能技术的不断发展，aigc技术也将不断提高。未来，aigc技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，aigc技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，aigc技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

一、aigc所有方向的学习路线

aigc所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、aigc必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新aigc学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、aigc视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。