四大 AI 視頻工具「鬥法」，一文教你怎麼玩

2023.12.14

分享至

TechFlow Selected深潮精選

四大 AI 視頻工具「鬥法」，一文教你怎麼玩

Pick 一個最適合你的 AI 工具。

2023.12.14 - 03:41:03

專注 Web3 行業深度報導，洞察潮水流動的方向

Pick 一個最適合你的 AI 工具。

撰文：木沐

AI 視頻工具賽道越來越卷，各種升級令人應接不暇，尤其是 Gen-2、Pika1.0、Stable Video Diffusion、和 Magic Animate，它們正在成為用戶最常用的視頻生成產品，背後有強大的 AI 大模型支撐。

儘管目前的視頻類大模型還達不到「用文字描述一個故事就能生成一部電影」這麼高能，但已經能通過一系列提示詞就能創作出一段生動的視頻，還發展出圖生視頻等強大的多模態能力。

《元宇宙日報》測試了四大 AI 視頻工具，希望能幫你快速上手體驗。需要提醒的是，所有的工具輸入提示詞時最好使用英文，生成效果會比中文提示要好。在此，我們也希望國產的 AI 視頻生成工具能快點趕上，創造出適合中文用戶的好產品。

Runway Gen-2

Gen-2 是第一款公開可用的文本生成視頻工具，由 Runway Research 開發。它的相關功能，包括文本 / 圖像轉視頻、視頻風格化、圖像拓展、一鍵扣除視頻背景、抹除視頻指定元素、訓練特定 AI 模型等，可以說是目前最強的 AI 視頻生成 / 編輯工具。

Gen-2 的文本生視頻功能相對 Gen-1 已經有了相當大的提升，這裡可以看下輸入「raccoon play snow ball fight in sunny snow Christmas playground」（浣熊在陽光明媚的雪地聖誕遊樂場打雪仗）的生成效果。可以說，無論是畫質還是構圖，Gen-2 都十分出色。但會出現遺漏關鍵詞的問題，比如畫面中沒有體現出「聖誕」與「打雪仗」的效果。

就在前幾天，Runway 又上線了新功能「Motion Brush」（運動筆刷），我們只需在圖像上塗抹一個區域，就能將靜態的圖像變為動態內容。「運動筆刷」的功能在操作上太友好了，選定一張圖片，使用筆刷塗抹想要動起來的區域，再調試好想要大致的運動方向，靜止的圖片就可以根據預定動起來。

但目前，「運動筆刷」的功能也存在一些不足，比如適合緩慢的移動畫面，無法生成類似車輛飛速行駛等快速移動的畫面。此外，如果使用運動筆刷，塗抹外的區域都幾乎保持靜止，無法實現多個物體運動軌跡的微調。

目前，Runway 免費賬號只能生成 4 秒時長的視頻，每秒需要消耗 5 個積分，最多可以生成 31 個視頻，並且不能去除水印。如果你想要更高分辨率、無水印、時長更長的視頻，那就需要付費升級一下你的賬號。

此外，如果你想學習 AI 視頻，可以試試 Runway 推出的電視頻道 Runway TV，這裡 24 小時循環播放由 AI 製作的視頻，通過這些 AI 視頻，你或者還能尋找一些創意靈感。

網站定位：https://app.runwayml.com/video-tools/teams/wuxiaohui557/ai-tools/gen-2

Pika 1.0

Pika 1.0 是 Pika Labs 發佈的第一個正式版產品，這個實驗室是由華人團隊創辦的 AI 技術初創公司。Pika 1.0 不僅能夠生成 3D 動畫、動漫、卡通和電影，甚至可以實現風格轉換、幕布擴展、視頻編輯等重磅能力。Pika 1.0 非常擅長製作動漫風格的畫面，可生成電影效果的短視頻。

Pika 1.0 最受網友歡迎的小工具當屬「AI 魔法棒」即局部修改功能。放在幾個月前，這是 AI 繪畫領域才剛剛擁有的能力，現在「局部修改」能夠修改視頻中所有背景、主體的局部特徵，而且實現起來也很便捷，只需要三步：上傳動態視頻；在 Pika 的控制檯內選擇要修改的區域；輸入提示詞，告訴 Pika 你想用什麼來代替它。

除了「局部修改」功能，Pika1.0 將文生圖工具 Midjourney 具備的「圖像拓展」功能帶到了視頻界，這是視頻 AI 生成工具的首次。不同於在抖音上被玩壞的「AI 擴圖」，Pika 1.0 的視頻拓展相當靠譜，不僅畫面自然，而且十分符合邏輯。

目前，Pika1.0 支持用戶免費體驗，但需要申請試用名額。如果你還在排隊的話，可以在官網選擇 Discord 登陸看看。與 Midjourney 類似，用戶需要在 Discord 進行雲端創作，而且可以體驗到文本 - 視頻、圖片 - 視頻兩大功能。

進入 Pika 1.0 的 Discord 服務器後，點擊 Generat 中的任意一個頻道，輸入「/」，選擇「Create」，在彈出的 prompt 文本框中輸入提示詞即可。

與 Gen-2 相比，Pika 1.0 對提示詞的理解更加到位，但在畫質還不如 Gen-2，這很可能是因為雲創造的緣故。

如果用圖片生成視頻，則輸入「/」後，選擇「animate」，上傳一張圖片，輸入提示詞說明即可。

Pika 1.0 的圖片 - 視頻效果與 Gen-2 不相伯仲。

網站定位：https://pika.art/waitlist

Stable Video Diffusion

11 月 22 日 Stability AI 發佈了一個 AI 生成視頻的開源項目：Stable Video Diffusion（SVD），Stability AI 官方博客顯示，全新 SVD 支持文本到視頻、圖像到視頻生成，並且還支持物體從單視角到多視角的轉化，也就是 3D 合成。生成效果不亞於 Runway Gen2 和 Pika 1.0。

目前有兩種在線使用途徑，一個是官方在 replicate 上發佈的試玩 demo，一個是新出的在線網站，兩者均免費。

我們測試了第一種，因為它支持參數調整，操作也相對便捷：上傳圖片，調整幀數、畫面縱橫比、整體運動等參數即可。但美中不足的是，畫面生成效果相對隨機，需要不斷調試來達到想要的效果。