NVIDIA AR SDK為直播、視頻會議和游戲提供了全新的創(chuàng)意選擇。牙齒SDK允許開發(fā)人員使用標準網絡攝像頭實時跟蹤面部，并創(chuàng)建各種有趣的增強現實效果，例如將3D數字內容疊加在面部上或添加身臨其境的效果。
NVIDIA AR SDK是公開的測試版本，向社區(qū)開放，支持多個茄子使用案例：
跟蹤相機視圖的臉并標識圖像中的一個或多個主體。
在個人(如衣服和效果)中嵌套數字資產集。
通過面部和頭部運動控制動畫角色或游戲角色。
NVIDIA AR SDK利用NVIDIA RTX顯卡的Tensor核心，通過AI網絡提供快速、高質量的跟蹤性能。網絡可以提供準確的面部跟蹤。還有面部形狀、嘴唇、眼睛、眉毛、鼻子三個自由度五官跟蹤六個自由度的高級面部網格(面部和頭部姿勢的3D重建)。
例如，OBS直播軟件的流行插件StreamFX發(fā)布了一個新版本，該版本使用NVIDIA AR SDK自動裁剪和放大用戶，并創(chuàng)建在用戶移動時保持幀中心的智能相機。
StreamFX的開發(fā)者Michael Fabian 'Xaymar' Dirks表示，"StreamFX的新Face Tracking過濾器需要復雜的數學和機器學習，這原本是一系列機器，需要運行幾個月，甚至幾年。但是，NVIDIA的AR SDK可以在短時間內完成工作，NVENC H.264編碼器支持所有流行的NVIDIA RTX硬件。這大大減少了所需的開發(fā)時間，最初幾年僅兩周就減少了，無需額外費用。”
NVIDIA發(fā)布的NVIDIA CloudXR 1.0軟件開發(fā)工具包將通過5G、Wi-Fi和其他高性能網絡顯著增強增強現實、混合現實和虛擬現實內容(統(tǒng)稱為擴展現實XR)。
隨著5G網絡在世界范圍內的普及，NVIDIA CloudXR正在為許多行業(yè)帶來創(chuàng)新，包括建筑和零售業(yè)。通過從基于GPU的邊緣服務器傳輸XR體驗，企業(yè)可以將對圖形密集型應用程序和內容的訪問擴展到移動端，遠程用戶也可以享受身臨其境的響應能力擴展現實體驗。
據IMA咨詢報道，在傳染病發(fā)生前的2016年到2019年，我國網絡直播用戶規(guī)模呈逐年上升趨勢，預計2020年我國網絡直播用戶規(guī)模預測將達到5.24億人。展廳，游戲的直播形式，現在成為商家營銷的重要方法之一。各行各業(yè)都在聞風喪膽，移動：化妝品、服裝、生活用品、零食。
在信息網絡時代，產業(yè)市場發(fā)生了巨大的變化，產品從傳統(tǒng)制造演變?yōu)橹悄?、互連、孔劉、個性化、體驗化的趨勢。隨著淘寶網、震顫、快手等視頻直播電子企業(yè)平臺的成熟，實時互動、現實主義、互動高的直播帶場面越來越受到消費者的喜愛，“萬物可以廣播”成為現實，將大大改變很多行業(yè)傳統(tǒng)的營銷模式。
隨著5G全息通信網帶寬條件的變化，5G全息應用市場爆炸，全息交互娛樂、全息會議、全息發(fā)布會等高端應用逐漸普及到全息社會、全息通信、全息導航、全息家庭應用等領域。微型全息圖(WIMI .US)程序將全息AI人臉識別技術和全息AI人臉替換技術作為核心技術，以多個技術創(chuàng)新系統(tǒng)支持全息云平臺服務和5G通信全息應用。
隨著5G商用時代的到來，游戲和直播行業(yè)有了新的機會。5G的底部變化更有趣，比提高比特率和畫質更有趣。在直播中使用超低延遲可以提高直播的交互過程，使直播內容更有價值。
現在移動互聯網以前所未有的態(tài)勢改變了我們的娛樂方式，這次咪咪全息圖(WIMI)。US)的AR直播系統(tǒng)通過將AR技術作為新的交互式媒體添加到直播中，很好地解決了場景化、交互問題。
立體展示、全息等酷技術受到業(yè)界的關注。傳統(tǒng)的展示手法已經給觀眾帶來了麻痹的審美疲勞，更多的企業(yè)希望通過更先進的高科技手段展示自己的產品，吸引顧客的注意，提高自己的市場份額。
微型全息圖(WIMI .US)的AR直播優(yōu)勢很明顯，可以真實地模擬所有場景，了解產品在各種實際環(huán)境中的使用情況。能夠展示更復雜的產品，使觀眾更直觀地了解產品的內部結構和產品詳細信息。突破人員限制的同時，可以鎖定人群，進行現場直播精密投入，宣傳力效果更加廣闊。在線交互進一步加強，來賓和粉絲可以在直播期間進行交互，并對他們的問題進行實時篩選。通過實時效果合成，直播結束后，可以獲得完整的完成視頻，不再需要進行后期剪輯，第一個用于宣傳。
微型全息圖像(WIMI)。US)涵蓋了成熟視覺設計團隊的基礎、深入挖掘AR直播技術、正式在線AR直播業(yè)務、豐富的自我業(yè)務結構、為客戶提供更多服務、客戶問題解決、多行業(yè)多領域。
微型全息圖(WIMI .US)AR直播系統(tǒng)簡單地通過AR全息技術，讓觀眾裸著眼睛看到全息圖或場景的實際還原，讓他們感受身臨其境的感覺。用戶經驗可以用感嘆的方式描述咪咪全息圖與娛樂模式相結合。觀眾可以成為電影/舞臺的角色，介入電影。
全息直播是展示的新方式和發(fā)展方向。通過全息投影技術，參觀者不僅可以看到清晰的圖像，還可以看到全方位、多角度的立體、真實的圖像。結合現有的展示方式，充分展示了現場直播的內涵、細節(jié)，進一步刺激了接受新事物的群眾的積極性。
微型全息圖(WIMI .US)構建了多角度拍攝實時建模系統(tǒng)：對收集對象執(zhí)行全維度圖像掃描，實時合成為立體聲模型。6度矩陣光場系統(tǒng)：多光綜合利用，構建全息虛擬圖像的成像場。雙目視差智能增強系統(tǒng)：在采集過程中動態(tài)跟蹤對象軌跡并調整光線，以保持雙目差的平衡值。多圖像動態(tài)融合系統(tǒng)：窄空間的多維圖像廣角采集技術應用于云視圖小型化全息堆棧倉庫。全息圖像高速處理算法：非?？焖俚靥幚韴D像信息，并確保以10GB/s的處理速度進行渲染。隱形聚酯光學成像膜：全息成像關鍵組件可以完美地顯示全息圖像。全息虛擬人物和弦重建技術：使用人體骨骼動態(tài)捕獲、圖像實時渲染、語音識別技術、聲音模擬技術來表示虛擬人。全息云平臺：復蓋了全國的圖像收集和還原，是具有數據存儲、圖像恢復、全息社會屬性的交互式平臺。咪咪通過上述系統(tǒng)組合構建了支持各種在線終端和個人設備應用的完整5G全息通信平臺，擴展了全息社會通信、全息家庭交互、全息明星交互、全息在線教育、全息在線會議等各種主流5G全息應用。
VR/AR是下一代信息技術融合的產物，科舉VR/AR產品由于帶寬和延遲的因素，可能導致渲染能力不足、交互經驗不足、終端移動性差異等問題，是抑制行業(yè)發(fā)展的最大跳板。高質量VR/AR業(yè)務對帶寬、延遲要求很高。例如，VR需要1000Mbps以上的帶寬才能實現非常好的用戶環(huán)境，延遲必須低于2毫秒，AR需要大于200Mbps的帶寬和低于5毫秒的延遲。這是4G時代。
在5G時代，視頻流量將呈指數增長，視頻表達已是大勢所趨。但是，當前我國的媒體轉換和發(fā)展面臨著發(fā)展瓶頸，主要通過：低效率的視頻生產方式，限制現有媒體向媒體、智能媒體的轉換。量化的視頻制作規(guī)模使內容審核更加復雜。
將來，AI和5G是集成到所有行業(yè)的基本功能，AI 5G的最終價值在于行業(yè)應用程序。目前，5G技術預計在主要垂直行業(yè)的全球市場上達到4.3萬億美元。那么，如何利用4.3萬億美元的行業(yè)應用程序，AI可能是背后的關鍵。
