四大 AI 视频工具「斗法」， 一文教你怎么玩

撰文：木沐

AI 视频工具赛道越来越卷，各种升级令人应接不暇， 尤其是 Gen-2、Pika1.0、Stable Video Diffusion、和 Magic Animate，它们正在成为用户最常用的视频生成产品，背后有强大的 AI 大模型支撑。

尽管目前的视频类大模型还达不到「用文字描述一个故事就能生成一部电影」这么高能，但已经能通过一系列提示词就能创作出一段生动的视频，还发展出图生视频等强大的多模态能力。

《元宇宙日报》测试了四大 AI 视频工具，希望能帮你快速上手体验。需要提醒的是，所有的工具输入提示词时最好使用英文，生成效果会比中文提示要好。在此，我们也希望国产的 AI 视频生成工具能快点赶上，创造出适合中文用户的好产品。

Runway Gen-2

Gen-2 是第一款公开可用的文本生成视频工具，由 Runway Research 开发。它的相关功能，包括文本 / 图像转视频、视频风格化、图像拓展、一键扣除视频背景、抹除视频指定元素、训练特定 AI 模型等，可以说是目前最强的 AI 视频生成 / 编辑工具。

Gen-2 的文本生视频功能相对 Gen-1 已经有了相当大的提升，这里可以看下输入「raccoon play snow ball fight in sunny snow Christmas playground」（浣熊在阳光明媚的雪地圣诞游乐场打雪仗）的生成效果。可以说，无论是画质还是构图，Gen-2 都十分出色。但会出现遗漏关键词的问题，比如画面中没有体现出「圣诞」与「打雪仗」的效果。

就在前几天，Runway 又上线了新功能「Motion Brush」（运动笔刷），我们只需在图像上涂抹一个区域，就能将静态的图像变为动态内容。「运动笔刷」的功能在操作上太友好了，选定一张图片，使用笔刷涂抹想要动起来的区域，再调试好想要大致的运动方向，静止的图片就可以根据预定动起来。

但目前，「运动笔刷」的功能也存在一些不足，比如适合缓慢的移动画面，无法生成类似车辆飞速行驶等快速移动的画面。此外，如果使用运动笔刷，涂抹外的区域都几乎保持静止，无法实现多个物体运动轨迹的微调。

目前，Runway 免费账号只能生成 4 秒时长的视频，每秒需要消耗 5 个积分，最多可以生成 31 个视频，并且不能去除水印。如果你想要更高分辨率、无水印、时长更长的视频，那就需要付费升级一下你的账号。

此外，如果你想学习 AI 视频，可以试试 Runway 推出的电视频道 Runway TV，这里 24 小时循环播放由 AI 制作的视频，通过这些 AI 视频，你或者还能寻找一些创意灵感。

网站定位：https://app.runwayml.com/video-tools/teams/wuxiaohui557/ai-tools/gen-2

Pika 1.0

Pika 1.0 是 Pika Labs 发布的第一个正式版产品，这个实验室是由华人团队创办的 AI 技术初创公司。Pika 1.0 不仅能够生成 3D 动画、动漫、卡通和电影，甚至可以实现风格转换、幕布扩展、视频编辑等重磅能力。Pika 1.0 非常擅长制作动漫风格的画面，可生成电影效果的短视频。

Pika 1.0 最受网友欢迎的小工具当属 「AI 魔法棒」即局部修改功能。放在几个月前，这是 AI 绘画领域才刚刚拥有的能力，现在「局部修改」能够修改视频中所有背景、主体的局部特征，而且实现起来也很便捷，只需要三步：上传动态视频；在 Pika 的控制台内选择要修改的区域；输入提示词，告诉 Pika 你想用什么来代替它。

除了「局部修改」功能，Pika1.0 将文生图工具 Midjourney 具备的「图像拓展」功能带到了视频界，这是视频 AI 生成工具的首次。不同于在抖音上被玩坏的「AI 扩图」，Pika 1.0 的视频拓展相当靠谱，不仅画面自然，而且十分符合逻辑。

目前，Pika1.0 支持用户免费体验，但需要申请试用名额。如果你还在排队的话，可以在官网选择 Discord 登陆看看。与 Midjourney 类似，用户需要在 Discord 进行云端创作，而且可以体验到文本 - 视频、图片 - 视频两大功能。

进入 Pika 1.0 的 Discord 服务器后，点击 Generat 中的任意一个频道，输入「/」，选择「Create」，在弹出的 prompt 文本框中输入提示词即可。

与 Gen-2 相比，Pika 1.0 对提示词的理解更加到位，但在画质还不如 Gen-2，这很可能是因为云创造的缘故。

如果用图片生成视频，则输入「/」后，选择「animate」，上传一张图片，输入提示词说明即可。

Pika 1.0 的图片 - 视频效果与 Gen-2 不相伯仲。

网站定位：https://pika.art/waitlist

Stable Video Diffusion

11 月 22 日 Stability AI 发布了一个 AI 生成视频的开源项目：Stable Video Diffusion（SVD），Stability AI 官方博客显示，全新 SVD 支持文本到视频、图像到视频生成，并且还支持物体从单视角到多视角的转化，也就是 3D 合成。生成效果不亚于 Runway Gen2 和 Pika 1.0。

目前有两种在线使用途径，一个是官方在 replicate 上发布的试玩 demo，一个是新出的在线网站，两者均免费。

我们测试了第一种，因为它支持参数调整，操作也相对便捷：上传图片，调整帧数、画面纵横比、整体运动等参数即可。但美中不足的是，画面生成效果相对随机，需要不断调试来达到想要的效果。

Stable Video Diffusion 目前只是基础模型，尚未产品化，但官方透露「正计划继续扩展，建立类似于 Stable Diffusion 的生态系统」，计划根据用户对安全和质量的反馈持续改进模型。

网站定位：试玩 demo 版和在线版‍‍‍‍‍

• https://replicate.com/stability-ai/stable-video-diffusion

• https://stable-video-diffusion.com/

Magic Animate

MagicAnimate 是一种基于扩散模型的人像动画生成方法，旨在增强时间一致性、保持参考图像的真实性，并提高动画保真度，由新加坡国立大学 Show Lab 和字节跳动联合推出。

简单来说，给定一张参考图像和一个姿态序列（视频）,它可以生成一个跟随姿态运动，并保持参考图像身份特征的动画视频。操作也是非常简单，同样只需三步：上传一张静态人物照片；上传想要生成的动作 demo 视频；调整参数。

MagicAnimate 在 GitHub 中也给出了本地体验的方式感兴趣的小伙伴可以试试！

网站定位：https://github.com/magic-research/magic-animate