最新活動

NVIDIA 生成對抗網路技術新突破!AI 與藝術的結合更強大了

然而若想得到高品質的生成結果,往往需要大量的訓練數據進行加持,才能訓練出逼真的生成結果。若訓練數據不足的情況下,是否也依然能夠獲得令人滿意的結果呢?NVIDIA Research 的最新人工智慧(AI)模型給出了突破性的答案!只需使用一般生成對抗網路(Generative Adversarial Network,GAN)所需學習材料的一小部分,就能夠學習到像是模仿名畫家的畫風,以及重現癌症組織影像等複雜的技術。

而這項被稱為自我調整判別器增強(Adaptive Discriminator Augmentation, ADA)的技術,可以將訓練所需的影像數量減少 10 至 20 倍,卻依舊能得到良好的訓練成果。NVIDIA 的研究人員將其技術用於熱門的 NVIDIA StyeGAN2 的模型上,以大都會藝術博物館提供不到 1500 張圖片的資料集,也能依舊用新角度去審視藝術品。同時也可以運用 NVIDIA DGX 系統來加快訓練速度,從歷史人物的肖像取材,創造出全新的 AI 藝術。據悉,這項技術將於神經信息處理系統年會(NeurIPS)上發表這個研究項目背後的研究報告。

圖為 StyleGAN2 與 ADA 以大都會藝術博物館 Collection API 所提供不到 1,500 張圖片資料集進行訓練而生成的圖像 (圖片來源 /NVIDIA)

這些結果代表人們可以使用生成對抗網路來解決問題,這些問題不是得耗費大量時間來取得海量資料,不然就是難以取得這麽大量的資料。

我迫不及待地想看看藝術家、醫學專家和研究人員,會把這項技術用在哪些領域。

- NVIDIA 繪圖研究部門副總裁 David Luebke

過往,NVIDIA 的研究人員也開發出突破性的生成對抗網路模型,也都能在NVIDIA AI Playground 中取得。像是 AI 繪畫應用程式 GauGAN、遊戲引擎模仿程式 GameGAN 以及寵物照片變臉程式 GANimal。在藝術創作上,近期來自法國巴黎的 AI 藝術團隊 Obvious 就使用生成對抗網絡創作出非洲科打面具作品,代表著,想入門學習這個模型也無須太多訓練資料,讓藝術創作門檻更為友善。 

而生成對抗網路也和大多數神經網路一樣,往往有越多的訓練資料、模型品質會更好。這項全新推出的 ADA 方法,就可以對生成器進行指導,為其生成的每個像素給予回饋,進一步提高合成影像的真實感。舉例像是稀有的古代藝術畫作、醫療影像的樣本建置,有別於以往需要用上五萬至十萬的影像,才能訓練出一個高品質的生成對抗網絡;這項方法能夠以自我調整的方式來增強資料,在訓練過程中的不同時間點調整資料曾良露,避免產生過度擬合的問題產生。

AI 驅動的神經濾鏡  

 Adobe 更以 StyleGAN 2 來支援 Photoshop 最新的 AI 工具 Neural Filters;在 Photoshop 中,使用者可以利用 GPU 加速的神經過濾器進行影像創新。最受關注的組件之一,就是 Smart Portrait Filter,其只需拖動搖桿就可以對面部特徵進行編輯,包含像是臉部表情、面部年齡和凝視方向等。

虛擬製作如何改變影視創作的未來?一窺 LED 智能棚的三大優勢與實戰案例
不用 3D 掃描與建模,Digital Domain 運用最新換臉技術 Charlatan,打造年老...

相關文章