By accepting you will be accessing a service provided by a third-party external to https://www.incgmedia.com/
基於網頁的機器學習編輯器團隊 Runway 近期開發出 AI 影片生成技術 Gen-1 ,並提供藝術家免費試用。該技術需要使用者上傳文本、一張圖像以及一支影片,就可以生成該圖像風格、與影片動作相符的動畫短片,據官方所說,Gen-1 可以根據文本提示的構圖以及圖像風格轉化到使用者上傳的影片中,打造出獨特藝術風格的影像,大幅降低創作門檻與時程。
Gen-1 的五種應用方法
官方展示了五種使用 Gen-1 的方法,第一種是風格化,將圖像的風格轉化到上傳的影片中,就會將真人動作轉化成全動畫的影像,如下方影片示範。
第二種分鏡,將影片的構圖與物件轉化成完全風格化的動畫渲染。
第三種遮罩,若只想更改影片中其中一部份,只要寫下特定的文本就能針對小部分修改,如下圖文本輸入「白色皮毛上有黑色斑點的狗」,影片的小黃狗即會轉化成如 101 忠狗。
第四種渲染,上傳圖像或文字提示,將無紋理、無背景的動態模型轉化成特定圖像的動畫短片。
第五種客製化,上傳多張圖像或是模型來訓練 Gen-1 ,將影片轉化成更風格化、更符合需求的動畫。
目前 Gen-1 封測中,網路上也有不少藝術家使用該技術,生成許多酷炫影片,時常關注 AI、XR 與 Web3.0 等應用的藝術家 Don Allen 也於推特上傳其使用 Gen-1 所製成的動畫短片,可以看出影片風格極具獨特美學與故事氛圍。而他也上傳原始影片作為對比,只見他在佈滿物品的房間拍攝主角的動作,將角色動作完美複製在動畫上。無論拍攝背景有多雜亂,生成影像後,都可以做出想要的場景。
🤯How is this even possible? #gen1 research @runwayml #aiart #aivideo #videotovideo pic.twitter.com/DHpq1LNjUR
— Don Allen Stevenson III (@DonAllenIII) February 16, 2023