基於網頁的機器學習編輯器團隊 Runway 在 2023 年 2 月開發出 AI 影片生成技術 Gen-1 ，該技術需要使用者上傳文本、一張圖像以及一支影片，就可以生成該圖像風格、與影片動作相符的動畫短片，同年 6 月團隊正式發布最新版 Gen-2 ，使用者只需要寫下圖片所需的文字描述，打造出獨特藝術風格的影像，11 月 Runway 再次推出新功能「Motion Brush 動態筆刷」，使用者可圈選部分畫面使其生成動畫，方便後製團隊針對影片需求進行創作。隨著各個科技公司紛紛投入 AI 影片生成技術 2024 年 Runway 技術大躍進 7 月推出 Gen-3 Alpha 短時間生成粒子、流體高難度特效。

延伸閱讀：編輯實測！影像工作者高關注的影片生成 AI 工具

Gen-1 的五種應用方法

官方展示了五種使用 Gen-1 的方法，第一種是風格化，將圖像的風格轉化到上傳的影片中，就會將真人動作轉化成全動畫的影像，如下方影片示範。 

第二種分鏡，將影片的構圖與物件轉化成完全風格化的動畫渲染。

第三種遮罩，若只想更改影片中其中一部份，只要寫下特定的文本就能針對小部分修改，如下圖文本輸入「白色皮毛上有黑色斑點的狗」，影片的小黃狗即會轉化成如 101 忠狗。 

第四種渲染，上傳圖像或文字提示，將無紋理、無背景的動態模型轉化成特定圖像的動畫短片。 

 第五種客製化，上傳多張圖像或是模型來訓練 Gen-1 ，將影片轉化成更風格化、更符合需求的動畫。

Gen-2 的三種應用方法

除了原已在 Gen-1 中存在的應用外， Gen-2 還有三種額外的應用方式。

1.透過文字生成影片：只需要輸入文字描述即可生成各種風格的影像

2.文字+圖像生成影片：輸入文字並上傳圖像，AI 會根據圖像風格生成影片

3.圖像生成影像：上傳圖像，即可生成影像

11 月 Runway 推出新功能「Motion Brush 動態筆刷」，使用者可以針對特定圖像影音進行圈選，讓 AI 生成局部動畫，大幅降低後製影音的門檻。。

Introducing, Motion Brush.

A new way to add controlled movement to your generations.

Coming soon to Gen-2. pic.twitter.com/htyjf1gstz

— Runway (@runwayml) November 10, 2023

點此使用 Gen-2 正式版

延伸閱讀：AI 反被 AI 誤？！芝加哥大學研究團隊 SAND Lab 推出免費工具 Glaze，保護藝術家作品免受 AI 模仿

 Gen-3 Alpha 的亮點與應用

Gen-3 Alpha 與 Gen-2 相比，在生成影片逼真度、一致性和運鏡有了重大革新，好比說它可以解讀玻璃鏡面反光與倒影，以及水底世界光線的折射與流動。只要依循以下 3 步驟即可生成影片。
步驟 1：嘗試輸入一個簡單的提示，例如「瀑布」。並描寫出場景，最後再寫出它的風格與構圖。
步驟 2：選擇要生成的秒數。
步驟 3：嘗試使用固定的參數維持影片的一致性。

本篇作者為葉致廷、許宜琦。

資料來源：80.lv、 Runway。文章由映 CG 所有，如需轉載請聯絡我們。