基於網頁的機器學習編輯器團隊 Runway 在 2023 年 2 月開發出 AI 影片生成技術 Gen-1 ，該技術需要使用者上傳文本、一張圖像以及一支影片，就可以生成該圖像風格、與影片動作相符的動畫短片，6 月團隊正式發布最新版 Gen-2 ，使用者只需要寫下圖片所需的文字描述，打造出獨特藝術風格的影像，大幅降低創作門檻與時程。11 月 Runway 推出新功能「Motion Brush 動態筆刷」，使用者可圈選部分畫面使其生成動畫，方便後製團隊針對影片需求進行創作。

Gen-1 的五種應用方法

官方展示了五種使用 Gen-1 的方法，第一種是風格化，將圖像的風格轉化到上傳的影片中，就會將真人動作轉化成全動畫的影像，如下方影片示範。 

第二種分鏡，將影片的構圖與物件轉化成完全風格化的動畫渲染。

第三種遮罩，若只想更改影片中其中一部份，只要寫下特定的文本就能針對小部分修改，如下圖文本輸入「白色皮毛上有黑色斑點的狗」，影片的小黃狗即會轉化成如 101 忠狗。 

第四種渲染，上傳圖像或文字提示，將無紋理、無背景的動態模型轉化成特定圖像的動畫短片。 

 第五種客製化，上傳多張圖像或是模型來訓練 Gen-1 ，將影片轉化成更風格化、更符合需求的動畫。

Gen-2 的三種應用方法

除了原已在 Gen-1 中存在的應用外， Gen-2 還有三種額外的應用方式。

1.透過文字生成影片：只需要輸入文字描述即可生成各種風格的影像

2.文字+圖像生成影片：輸入文字並上傳圖像，AI 會根據圖像風格生成影片

3.圖像生成影像：上傳圖像，即可生成影像

11 月 Runway 推出新功能「Motion Brush 動態筆刷」，使用者可以針對特定圖像影音進行圈選，讓 AI 生成局部動畫，大幅降低後製影音的門檻。。

Introducing, Motion Brush.

A new way to add controlled movement to your generations.

Coming soon to Gen-2. pic.twitter.com/htyjf1gstz

— Runway (@runwayml) November 10, 2023

點此使用 Gen-2 正式版

延伸閱讀：AI 反被 AI 誤？！芝加哥大學研究團隊 SAND Lab 推出免費工具 Glaze，保護藝術家作品免受 AI 模仿

資料來源：80.lv、 Runway。文章由映 CG 所有，如需轉載請聯絡我們。