NVIDIA 全新神經網路繪圖 SDK，讓所有人都能輕鬆進行元宇宙內容創作

2022/08/10

創作 3D 物件來替遊戲、包括元宇宙在內的虛擬世界、產品設計或視覺效果建立場景，在過去得花費不少工夫，即便是熟練的藝術家亦需要在精細的寫實度、截止期限和預算壓力間取捨。須花費不少時間才能製作出符合實體環境中的物品外觀和動作的物件，加上多個物體和角色需要在虛擬環境中互動，讓情況越趨複雜。模擬物理原理變的跟模擬光線一樣重要，像是虛擬工廠裡的機器人不僅要看起來跟實體工廠的機器人一模一樣，其載重及制動能力也要與實體機器人分毫不差。要做到這種程度實屬不易，然而各產業上兆美元的龐大商機除了影響產品設計領域，還影響包括運輸、醫療照護、電信和娛樂等產業。最終，在虛擬環境裡創作的內容會比在實體環境中創造的內容還要更多。

簡化創作過程，豐富使用者體驗

NVIDIA 為求簡化和縮短創作過程，今日發布全新研究成果及一套內容豐富的工具，將神經網路繪圖的力量用於打造 3D 物件和環境，並賦予它們生命力。這些 SDK 讓設計師們能夠更輕鬆地創作，也讓數百萬名非專業設計人員的使用者同樣能輕鬆建立 3D 內容，包括對業界標準 OpenVDB 提出突破性更新的 NeuralVDB，以及用於建立神經領域研究框架的 Pytorch 函式庫 Kaolin Wisp。神經網路繪圖這個嶄新領域將人工智慧 (AI) 與繪圖交織在一起，打造出能從資料中學習的加速繪圖工作流程。加入 AI 能強化繪圖成果，有助於自動挑選設計內容，並為藝術家和創作者提供過去從未想像過的全新機會。神經網路繪圖將重新定義虛擬環境的建立、模擬，以及使用者體驗的方式。

3D 內容創作

Kaolin Wisp：PyTorch 函式庫 Kaolin 的補充項目，能將測試和執行新技術所需的時間從數週減少到數日，加快進行 3D 深度學習研究的速度。Kaolin Wisp 是專用於研究的神經領域函式庫，建立一套通用工具和框架以加速推動新的神經領域研究項目。

即時神經繪圖原語 (Instant Neural Graphics Primitives)：這是一種捕捉實體環境中物體形狀的新方法，亦為 NVIDIA Instant NeRF 的靈感來源。NVIDIA Instant NeRF 這個逆向渲染模型可將平面照片變成數位 3D 場景，這項技術和相關的 GitHub 程式碼可將執行這個轉換過程的速度提升達一千倍。
3D MoMa：這個全新的逆向渲染工作流程讓使用者可以快速將一個 2D 物件匯入繪圖引擎，以建立一個可使用逼真材料、照明和物理原理進行調整的 3D 物體。
GauGAN360：NVIDIA GauGAN 的全新進化版本，該 AI 模型可將隨手的塗鴉變成栩栩如生的精美傑作。GauGAN360 能夠生成 8K 解析度的360度全景圖，且可移植到 Omniverse 場景中。
Omniverse Avatar Cloud Engine (ACE)：當中集合雲端 API、微服務和多項工具，用於打造、客製化及部署數位人應用。ACE 以 NVIDIA 的統一運算框架為基礎，開發人員便能無縫整合 NVIDIA 的核心 AI 技術與虛擬分身應用。

物理原則與動畫

NeuralVDB：對當前的體積資料儲存業界標準 OpenVDB 進行突破性改善。NVIDIA 去年推出 NanoVDB，讓 OpenVDB 能夠支援 GPU 並大幅提升處理速度，而NeuralVDB 則建立在此基礎上。利用機器學習導入完善的神經網路，能大幅降低記憶體耗用量達一百倍，以呈現更高解析度和更大規模的 3D 資料。NeuralVDB 可以將一個影格的權重用於下一個影格，將訓練速度提升兩倍，亦能讓使用者利用前一個影格的網路訓練結果，達到時間一致性或平滑編碼。NeuralVDB 替科學和工業領域打造全新的使用方式，包括將大規模的複雜體積資料集用於 AI 醫學影像、大規模數位孿生模擬和更多領域。
Omniverse Audio2Face：這項 AI 技術只要一個音檔便能製作出表情豐富的臉部動畫，適用於互動式即時應用程式，亦能作為傳統臉部動畫創作工具。
動畫技能嵌入 (Animation Skills Embedding; ASE)：這種方法讓符合物理原理所模擬出的角色，在不熟悉的狀況中做出更靈敏逼真的動作，它使用深度學習來訓練角色應對新的任務和動作。
TAO 工具套件：使用者可以用這個框架建立準確且高效的動作預測模型，它使用電腦視覺評估一個人在某個場景中可能正在進行的動作，速度較現有的方法更快。

體驗

影像特徵眼動追蹤 (Image Features Eye Tracking)：這個研究模型將畫素渲染品質與使用者的反應時間連結起來。它會預測渲染品質、顯示屬性和觀看條件的最佳組合，以達到最低延遲，也會讓快節奏、互動式的電腦繪圖應用程式 (例如競技類遊戲) 擁有更好的效能表現。
用於虛擬實境的全息影像眼鏡：與史丹佛大學合作設計新款 VR 眼鏡，以厚度僅 2.5 毫米的光學堆疊突破性技術，呈現全彩 3D 全息影像。