北京2022年4月(yue)21日 /美(mei)通社/ -- 近日，浪(lang)潮信(xin)息副總裁、AI&HPC產品線總經理劉軍受邀(yao)出席新智元(yuan)"元(yuan)宇宙(zhou) 新人類"論壇(tan)，在《元(yuan)宇宙(zhou)服(fu)務器MetaEngine》主(zhu)題報告中(zhong)，分享了浪(lang)潮信(xin)息對元(yuan)宇宙(zhou)的認知，元(yuan)宇宙(zhou)面臨的技術(shu)挑戰，以及如(ru)何打造元(yuan)宇宙(zhou)新型基礎(chu)設施的見解(jie)。

以下(xia)基于(yu)演講實(shi)錄(lu)整理。

元宇宙是數實融合的數字載體

數實融合當前已(yi)經(jing)成為一種(zhong)潮流的(de)趨勢，當數字(zi)技術日益(yi)融入(ru)經(jing)濟社會發展各領域、全過程，持續推動著物(wu)理(li)世(shi)界數字(zi)化、數字(zi)世(shi)界智(zhi)慧化，逐漸形(xing)成了一場涵蓋(gai)個(ge)人生活方(fang)式(shi)、社會生產方(fang)式(shi)和(he)國家治理(li)方(fang)式(shi)的(de)全面變革。

數實相融就是(shi)數字化(hua)世界(jie)(jie)同(tong)物理世界(jie)(jie)的融合(he)，用數字世界(jie)(jie)來引導(dao)現(xian)(xian)實世界(jie)(jie)的運行，用數字世界(jie)(jie)的智慧(hui)化(hua)實現(xian)(xian)現(xian)(xian)實世界(jie)(jie)的智慧(hui)化(hua)。

元宇宙本質(zhi)上是(shi)更高(gao)度的(de)數實(shi)融(rong)合，它是(shi)數實(shi)融(rong)合的(de)數字(zi)載體，這里我們以數字(zi)孿生和虛擬人為(wei)例來(lai)談(tan)談(tan)。

數字(zi)孿生(sheng)是元宇宙的(de)(de)數字(zi)空間基(ji)礎，它可(ke)以(yi)將物理(li)對(dui)象以(yi)數字(zi)化(hua)的(de)(de)方式在(zai)虛擬空間進(jin)行(xing)動(dong)態呈現(xian)，它的(de)(de)應用體現(xian)在(zai)多個方面，比(bi)如孿生(sheng)工廠，可(ke)以(yi)動(dong)態的(de)(de)呈現(xian)從(cong)生(sheng)產(chan)制作的(de)(de)全過程(cheng)(cheng)動(dong)態管(guan)理(li)，實(shi)現(xian)運(yun)轉效率的(de)(de)大幅提升(sheng)；孿生(sheng)城(cheng)市(shi)可(ke)以(yi)在(zai)數字(zi)世界推演天氣環境、人(ren)口土地、產(chan)業交通等要素(su)的(de)(de)交互運(yun)行(xing)，繪制城(cheng)市(shi)畫(hua)像，幫(bang)助(zhu)城(cheng)市(shi)規劃、城(cheng)市(shi)治理(li)的(de)(de)效率提升(sheng)；孿生(sheng)基(ji)建可(ke)以(yi)讓我們在(zai)修建高(gao)速公路、樓(lou)體建筑(zhu)時，在(zai)數字(zi)世界對(dui)工程(cheng)(cheng)進(jin)行(xing)仿真(zhen)模擬，評估結構和承(cheng)力，在(zai)工程(cheng)(cheng)交付后的(de)(de)維(wei)護(hu)階段評估工程(cheng)(cheng)是否可(ke)以(yi)承(cheng)擔特殊情況的(de)(de)壓力，以(yi)及監測可(ke)能出(chu)現(xian)的(de)(de)事(shi)故隱患。

數(shu)字(zi)虛(xu)(xu)擬人(ren)是(shi)元(yuan)宇(yu)宙(zhou)(zhou)的(de)(de)重要實體（Entity）和(he)生態，就像(xiang)是(shi)元(yuan)宇(yu)宙(zhou)(zhou)世界(jie)中(zhong)的(de)(de)公民，是(shi)人(ren)類身份在虛(xu)(xu)擬世界(jie)的(de)(de)載體。利(li)用數(shu)字(zi)虛(xu)(xu)擬人(ren)，人(ren)們也可(ke)以(yi)提升很多(duo)工(gong)作效率，比如虛(xu)(xu)擬主播(bo)可(ke)以(yi)7*24小時(shi)的(de)(de)進行(xing)新聞(wen)播(bo)報，可(ke)以(yi)讓人(ren)們全天候的(de)(de)了解天下(xia)(xia)大事(shi)，虛(xu)(xu)擬醫(yi)生可(ke)以(yi)通過打通就診數(shu)據、跟(gen)蹤(zong)上萬種細微(wei)指(zhi)標特(te)征差異，打破時(shi)間和(he)空間，實現(xian)醫(yi)生就診病人(ren)從1對1轉變為1對多(duo)管理，虛(xu)(xu)擬模(mo)特(te)在疫情下(xia)(xia)緩解了模(mo)特(te)緊缺的(de)(de)市場情況(kuang)，解決模(mo)特(te)的(de)(de)供不應求(qiu)。

元宇宙：認知世界 再現世界

元宇宙，可以說(shuo)是一個認知(zhi)世(shi)界、再現世(shi)界的(de)過(guo)程(cheng)，這個過(guo)程(cheng)涉(she)及(ji)到在線協同建模、高精度仿真、實(shi)時渲染、智(zhi)能交互等多個環(huan)節(jie)，每(mei)個環(huan)節(jie)下(xia)都有(you)對應的(de)關(guan)鍵技術、軟件棧和算法工具(ju)。

首(shou)先，構建(jian)元宇(yu)宙需(xu)要進(jin)行(xing)3D建(jian)模(mo)，最近比較前(qian)沿的(de)還有AIGC（利(li)用GAN/多模(mo)態模(mo)型生成內(nei)容創作(zuo)），這部分(fen)的(de)工作(zuo)需(xu)要多人在線協同構建(jian)。

由多人在(zai)線協同(tong)生(sheng)成3D模型生(sheng)成后，需要在(zai)元宇宙中仿(fang)真(zhen)運(yun)行(xing)，通過結構仿(fang)真(zhen)、感知仿(fang)真(zhen)和(he)控制仿(fang)真(zhen)可以對模型進行(xing)驗(yan)證，如果說(shuo)建模是對物(wu)理實體理解(jie)的模型化，那么仿(fang)真(zhen)就是驗(yan)證和(he)確(que)認這種理解(jie)的正確(que)性和(he)有(you)效(xiao)性的工具。

通過光線追(zhui)蹤、光柵化、數據(ju)流傳輸可以(yi)讓虛擬(ni)人、數字世界(jie)更加(jia)逼真，為(wei)用戶帶來超現(xian)實的(de)感官(guan)體驗，呈(cheng)現(xian)出一個更加(jia)豐富多(duo)彩(cai)的(de)數字世界(jie)，擁有逼近現(xian)實世界(jie)一樣的(de)沉浸感。

利用(yong)CV/NLP/ASR/TTS等AI技術(shu)，讓數字世(shi)界(jie)的虛擬人可以能(neng)聽、會說、能(neng)交互，從而(er)打破數字世(shi)界(jie)和物理世(shi)界(jie)的邊界(jie)，實現線(xian)上線(xian)下的交融。

元宇(yu)宙(zhou)通過以上多(duo)(duo)個環(huan)節(jie)、多(duo)(duo)個工具才能達(da)到超越(yue)感官、智(zhi)能交互的水平，像現實世界一樣豐富多(duo)(duo)彩(cai)。

元宇宙需要強大的算力基礎設施

元(yuan)宇宙(zhou)的出現(xian)和(he)發展帶來的不僅有精彩，還有挑戰，元(yuan)宇宙(zhou)構建的各個環節都需要用到(dao)不同(tong)類型(xing)的算力支撐，也就是元(yuan)宇宙(zhou)的算力基礎設施(shi)。

大規模、高(gao)復雜的數字(zi)孿生空間、數字(zi)人和(he)其他實(shi)體角色的建模需(xu)要(yao)眾多(duo)設(she)計師(shi)協同(tong)創作完成，現實(shi)世界和(he)數字(zi)世界的交互則需(xu)要(yao)實(shi)時、高(gao)清(qing)的3D渲染算力和(he)低延(yan)遲的網絡(luo)數據傳輸，增加了云端協同(tong)的處理需(xu)求。

元宇宙的應用(yong)會涉(she)及到動(dong)力(li)、熱力(li)、流體等多類(lei)物理仿真(zhen)，這需要用(yong)到高精(jing)度的數值(zhi)計(ji)算，來支撐(cheng)物理仿真(zhen)和(he)科學可視(shi)化。

讓數(shu)字世界無限接近現實世界，需要高逼真(zhen)、沉浸感的(de)(de)3D場景構建和渲(xuan)染。舉個(ge)iMax 3D電影的(de)(de)例(li)子，比(bi)如《戰斗天使阿麗(li)塔》這(zhe)(zhe)部電影，其中阿麗(li)塔高度擬真(zhen)的(de)(de)視覺特效(xiao)令人震撼，這(zhe)(zhe)樣以假亂(luan)真(zhen)的(de)(de)渲(xuan)染效(xiao)果來源于巨大(da)的(de)(de)算力(li)消耗(hao)：主角13萬根發(fa)絲(si)每根都需要進行單獨渲(xuan)染，僅1幀畫面渲(xuan)染就要耗(hao)費100個(ge)小(xiao)時，而元(yuan)宇宙的(de)(de)渲(xuan)染不僅只涉及一個(ge)虛(xu)擬人，還(huan)包括建筑、城市(shi)等其他(ta)元(yuan)素，這(zhe)(zhe)需要巨量的(de)(de)圖(tu)形圖(tu)像計算支(zhi)撐。

同時，元宇(yu)宙還會涉及到人機交(jiao)互等AI應用場(chang)景，由AI驅動的(de)數字人往(wang)往(wang)需要結合(he)語音識別、NLP、DLRM等AI算法從而(er)實(shi)現交(jiao)互能力，這些模型(xing)的(de)背后需要強大的(de)AI算力來支撐其訓練和(he)推理需求(qiu)。

可以看到，要構建(jian)高(gao)(gao)度擬真的(de)(de)數(shu)字世界并實(shi)現數(shu)億用戶(hu)實(shi)時交(jiao)互的(de)(de)"元宇(yu)宙(zhou)"，當前面臨著(zhu)場(chang)(chang)景規模大(da)、場(chang)(chang)景復雜(za)度高(gao)(gao)，以及多設(she)計師和多部門協作、極高(gao)(gao)逼真數(shu)字元素制作，實(shi)時渲染、仿真和交(jiao)互等(deng)諸多挑戰(zhan)，并對支撐(cheng)元宇(yu)宙(zhou)構建(jian)和運(yun)轉的(de)(de)核心源動力 -- 算力提出(chu)更高(gao)(gao)的(de)(de)要求(qiu)。這種要求(qiu)不僅僅是高(gao)(gao)性(xing)能、低延遲、易(yi)擴(kuo)展的(de)(de)硬件(jian)平(ping)臺(tai)，還有端到端、生態豐富、高(gao)(gao)易(yi)用的(de)(de)軟件(jian)棧。

浪潮元宇宙服務器MetaEngine

浪(lang)潮元宇宙服(fu)務器MetaEngine正是為滿足這些苛刻(ke)要求而設計的(de)軟(ruan)硬一體化基礎(chu)設施。

作為元(yuan)宇宙生態(tai)的(de)(de)(de)底層算(suan)力支(zhi)(zhi)撐平臺，MetaEngine將承載元(yuan)宇宙構(gou)建(jian)(jian)和運(yun)行(xing)所(suo)需的(de)(de)(de)技術(shu)和工(gong)具，提供對AI、渲(xuan)染(ran)、仿真(zhen)、建(jian)(jian)模(mo)等負載的(de)(de)(de)算(suan)力支(zhi)(zhi)持，滿足元(yuan)宇宙創(chuang)建(jian)(jian)所(suo)需的(de)(de)(de)"協(xie)(xie)同創(chuang)建(jian)(jian)、實時渲(xuan)染(ran)、高(gao)精仿真(zhen)、智能交互(hu)"4大作業(ye)(ye)環節的(de)(de)(de)不同類型算(suan)力需求，并通(tong)過高(gao)速、無阻塞的(de)(de)(de)網(wang)絡(luo)信道(dao)，按(an)需擴展至大規(gui)模(mo)算(suan)力集群。浪(lang)潮元(yuan)宇宙服務器結合業(ye)(ye)界(jie)最強(qiang)軟硬件(jian)生態(tai)，協(xie)(xie)同優化加速數(shu)字(zi)(zi)孿生世界(jie)構(gou)建(jian)(jian)，為用戶(hu)(hu)打(da)造(zao)高(gao)效的(de)(de)(de)元(yuan)宇宙協(xie)(xie)同開(kai)發體(ti)驗(yan)。單臺元(yuan)宇宙服務器即可支(zhi)(zhi)持256位元(yuan)宇宙架構(gou)師協(xie)(xie)同創(chuang)作，每秒AIGC 2000個數(shu)字(zi)(zi)場景，1000位VR/AR用戶(hu)(hu)共享10K超高(gao)清3D數(shu)字(zi)(zi)世界(jie)順暢(chang)體(ti)驗(yan)。

元宇宙服務器產品方案架構

在硬件(jian)上(shang)，MetaEngine采(cai)用(yong)浪(lang)潮領先的(de)異構加速服務器的(de)旗(qi)艦系統，支(zhi)持最先進的(de)CPU和GPU，具有強(qiang)大的(de)RDMA通信和數據存儲能力，支(zhi)持強(qiang)大的(de)渲染和AI計算能力。

在軟(ruan)(ruan)件(jian)(jian)(jian)上，可(ke)(ke)(ke)以(yi)支(zhi)持(chi)對應每個(ge)作業(ye)環節的(de)各類(lei)專(zhuan)業(ye)軟(ruan)(ruan)件(jian)(jian)(jian)工(gong)具，用(yong)(yong)(yong)(yong)戶可(ke)(ke)(ke)以(yi)根據使用(yong)(yong)(yong)(yong)習慣靈活選擇(ze)，同(tong)時系統(tong)集成了NVIDIA Omniverse Enterprise，為用(yong)(yong)(yong)(yong)戶準備(bei)了豐富(fu)的(de)開(kai)發(fa)套件(jian)(jian)(jian)，包括(kuo)專(zhuan)門用(yong)(yong)(yong)(yong)于結構、感知(zhi)、控(kong)制仿真的(de)Simulation SDKs，用(yong)(yong)(yong)(yong)于渲染(ran)、實時光追、AI降噪的(de)SDKs，用(yong)(yong)(yong)(yong)戶可(ke)(ke)(ke)以(yi)通(tong)過(guo)Kit功能將這些不同(tong)的(de)SDK進行模塊化的(de)組合，快速完成定制化App或者微服務的(de)開(kai)發(fa)，當(dang)然這里(li)已(yi)經(jing)為用(yong)(yong)(yong)(yong)戶準備(bei)好了一些廣泛適(shi)用(yong)(yong)(yong)(yong)的(de)App比如用(yong)(yong)(yong)(yong)于建模和(he)渲染(ran)的(de)Create，用(yong)(yong)(yong)(yong)于可(ke)(ke)(ke)視(shi)化的(de)View，更為重要的(de)是，用(yong)(yong)(yong)(yong)戶通(tong)過(guo)App開(kai)發(fa)的(de)內容可(ke)(ke)(ke)以(yi)通(tong)過(guo)數據庫和(he)協作引擎NUCLEUS，建模工(gong)具互(hu)聯插件(jian)(jian)(jian)CONNECT與第三方(fang)專(zhuan)業(ye)軟(ruan)(ruan)件(jian)(jian)(jian)工(gong)具無縫(feng)連接，目前CONNECT已(yi)經(jing)提供了20多種(zhong)Plugins，支(zhi)持(chi)與3DS MAX、UE、MAYA等軟(ruan)(ruan)件(jian)(jian)(jian)互(hu)聯。

MetaEngine的目(mu)標是構建一(yi)個(ge)端到(dao)端、生態豐富(fu)和高易(yi)用的協作平(ping)臺，為用戶打造一(yi)站式元宇(yu)宙開(kai)發(fa)體驗。

MetaEngine全面支持Omniverse

當前(qian)，MetaEngine已(yi)經全面支持(chi)英偉達的Omniverse Enterprise，將(jiang)高性(xing)能 GPU 的圖形計算、AI計算與高速存儲訪問(wen)、低延遲網絡和(he)精(jing)確計時相結(jie)合(he)，是一個數(shu)據中心級的軟硬一體解決方案，專用于為大規(gui)模數(shu)字孿生提供(gong)算力和(he)應用支持(chi)，以(yi)實(shi)時創建(jian)和(he)運行非常(chang)復(fu)雜的模型(xing)和(he)逼(bi)真的仿真環境。

目前的MetaEngine元(yuan)(yuan)宇宙(zhou)服務器集成A40的專業GPU，CX6 Dx高(gao)速網卡，并與(yu)企業級(ji)管理和編排軟件(jian)相(xiang)結合(he)，為用戶準備了(le)豐富(fu)的建模(mo)、渲染、仿(fang)真(zhen)套件(jian)。同時(shi)，可以將32臺MetaEngine組合(he)成為1個集群(qun)式的可擴(kuo)展單元(yuan)(yuan)，多個可擴(kuo)展單元(yuan)(yuan)可以繼(ji)續橫向擴(kuo)展組成更大規(gui)模(mo)集群(qun)，可提供非凡(fan)的計算性能和超(chao)高(gao)的網絡帶寬，滿足工廠、城市乃至更大規(gui)模(mo)復(fu)雜仿(fang)真(zhen)和實時(shi)數字孿生的需求。

在這里，我(wo)也將為(wei)大(da)家分享如何用浪潮MetaEnigne創建(jian)數字孿生(sheng)和虛擬(ni)人。

MetaEngine創建數字孿生

首先，以新品(pin)設(she)計、流水(shui)線調度生(sheng)(sheng)產(chan)、上市為(wei)例(li)，談一談MetaEngine如何創建運行數(shu)(shu)字(zi)(zi)孿(luan)生(sheng)(sheng)，來優化工(gong)作流，提高(gao)生(sheng)(sheng)產(chan)效率。當生(sheng)(sheng)產(chan)及(ji)需求達(da)到一定規模(mo)時，生(sheng)(sheng)產(chan)、配送、分揀的過(guo)程(cheng)就成為(wei)了一個系統工(gong)程(cheng)性問(wen)題(ti)，如飲料、汽車(che)等各(ge)行業的大規模(mo)制造公司。使用數(shu)(shu)字(zi)(zi)孿(luan)生(sheng)(sheng)讓(rang)虛擬世界的高(gao)精仿真(zhen)代(dai)替(ti)現實世界的運行，在(zai)產(chan)品(pin)設(she)計生(sheng)(sheng)產(chan)、調配之(zhi)前(qian)，模(mo)擬其過(guo)程(cheng)取得物理裝置最優的參數(shu)(shu)配置，提高(gao)效率贏得市場(chang)。

如何建(jian)造一個流(liu)水線上的數字孿生？MetaEngine提供元宇宙構建(jian)所需(xu)的多(duo)元算力和Omniverse組(zu)件(jian)，為構建(jian)和運行該數字孿生提供基礎能(neng)力。

首先是在線建(jian)(jian)(jian)(jian)模(mo)，按照1：1數(shu)字模(mo)型創(chuang)建(jian)(jian)(jian)(jian)工廠(chang)的建(jian)(jian)(jian)(jian)筑、流水(shui)線等生產交付(fu)全過程。Connect組件(jian)(jian)提供20多個第三(san)方(fang)建(jian)(jian)(jian)(jian)模(mo)軟(ruan)件(jian)(jian)的連接(jie)插(cha)件(jian)(jian)，允許用戶(hu)(hu)使(shi)用第三(san)方(fang)建(jian)(jian)(jian)(jian)模(mo)工具接(jie)入協(xie)同(tong)建(jian)(jian)(jian)(jian)模(mo)，Omniverse使(shi)用統(tong)一數(shu)據(ju)格式USD與(yu)第三(san)方(fang)建(jian)(jian)(jian)(jian)模(mo)軟(ruan)件(jian)(jian)（SketchUp/Revit）進行數(shu)據(ju)交互，Nucleus數(shu)據(ju)庫提供多人(ren)數(shu)據(ju)管理功能，允許多用戶(hu)(hu)同(tong)時修改可視化、渲染3D-USD文件(jian)(jian)。

高(gao)(gao)精仿(fang)(fang)真(zhen)(zhen)(zhen)階段(duan)使用Simulation組件仿(fang)(fang)真(zhen)(zhen)(zhen)新(xin)產品(pin)(pin)的(de)(de)材質及物(wu)(wu)理(li)屬性，根(gen)據高(gao)(gao)逼(bi)真(zhen)(zhen)(zhen)的(de)(de)虛擬(ni)物(wu)(wu)品(pin)(pin)，使用Replicator完(wan)成仿(fang)(fang)真(zhen)(zhen)(zhen)環境的(de)(de)部署、搭建。Omniverse豐(feng)富的(de)(de)材質庫可以(yi)為(wei)設(she)計模(mo)(mo)擬(ni)物(wu)(wu)品(pin)(pin)，提供更好(hao)的(de)(de)逼(bi)真(zhen)(zhen)(zhen)度(du)，配合使用物(wu)(wu)理(li)仿(fang)(fang)真(zhen)(zhen)(zhen)、動畫(hua)制作的(de)(de)軟件（Ansys/Houdini）可以(yi)完(wan)成整個流水(shui)線和(he)物(wu)(wu)品(pin)(pin)的(de)(de)高(gao)(gao)精仿(fang)(fang)真(zhen)(zhen)(zhen)；Replicator組件則根(gen)據仿(fang)(fang)真(zhen)(zhen)(zhen)結果(guo)生成AI模(mo)(mo)型訓練需要的(de)(de)合成數(shu)據環境。

實時渲染階段，使用Renderer組件對(dui)仿真環境(jing)中(zhong)的(de)材質、光照條件實時渲染畫(hua)面，生(sheng)成用于訓練(lian)AI模(mo)型的(de)合成數據。根據合成數據在MetaEngine中(zhong)訓練(lian)我們的(de)AI視覺模(mo)型，提供物(wu)理(li)(li)實體及流水(shui)線流程的(de)監(jian)控及理(li)(li)解。

智能交互階(jie)段，將在(zai)MetaEngine中訓練完成(cheng)的AI模型(xing)部署于(yu)物理(li)(li)環(huan)境(jing)與虛(xu)(xu)擬(ni)環(huan)境(jing)，虛(xu)(xu)擬(ni)環(huan)境(jing)中的AI推理(li)(li)指(zhi)導物理(li)(li)實體行為(wei)，物理(li)(li)環(huan)境(jing)中實際反應再返回虛(xu)(xu)擬(ni)環(huan)境(jing)指(zhi)導模型(xing)融合訓練。虛(xu)(xu)擬(ni)世界中如檢測(ce)到畫面中的擁堵或者空(kong)閑，可以反饋到物理(li)(li)流(liu)水線(xian)改變作業狀態，反之(zhi)物理(li)(li)流(liu)水線(xian)上真實的結果可以生成(cheng)真實數據繼續更(geng)新AI模型(xing)。

MetaEngine創建虛擬數字人

我們再以高(gao)逼真的交互型(xing)虛擬數字人(ren)的制作及(ji)使用(yong)為例(li)，依然(ran)按照"協作建(jian)模(mo)---高(gao)精仿真---實時渲染(ran)---智能交互"的作業流程(cheng)來看如(ru)何用(yong)MetaEngine創建(jian)虛擬人(ren)。

首先可以(yi)使用(yong)UE Metahuman/CHARACTER CREATOR配(pei)合Omniverse Nucleus/Connect進(jin)行3D人(ren)(ren)物(wu)形(xing)象及人(ren)(ren)臉建模(mo)。然后通過高精(jing)仿真(zhen)，讓虛(xu)擬數字人(ren)(ren)更加自然、真(zhen)切的與我(wo)們交流(liu)，比(bi)如對毛(mao)發的模(mo)擬，12萬根毛(mao)發如何在(zai)風中飛舞，這得需要(yao)強大的算力支撐，還(huan)需要(yao)借助(zhu)AI模(mo)型生成逼真(zhen)的手(shou)勢和面部表(biao)情。

再就是實(shi)時渲(xuan)染(ran)(ran)，MetaEngine中的Omniverse RTX Renderer可(ke)以(yi)提供實(shi)時渲(xuan)染(ran)(ran)能力，讓人物(wu)動畫及其場(chang)景實(shi)時立體(ti)地展示在我們面前，通(tong)過屏幕或XR設備進(jin)行溝通(tong)交流。

最后(hou)是智能(neng)交(jiao)互使用，這(zhe)塊(kuai)需要有大量的(de)AI模(mo)型提供(gong)支撐，把整個智能(neng)交(jiao)互的(de)流程(cheng)放大來看。用戶首先通(tong)(tong)過(guo)語(yu)(yu)音(yin)(yin)和視頻分別通(tong)(tong)過(guo)ASR 和 Vision AI模(mo)型進(jin)行(xing)推(tui)理(li)，得到文本(ben)(ben)(ben)及視頻動(dong)作(zuo)理(li)解；將(jiang)文本(ben)(ben)(ben)、動(dong)作(zuo)理(li)解融合送入的(de)NLP語(yu)(yu)言模(mo)型如源1.0生成語(yu)(yu)言文本(ben)(ben)(ben)，再將(jiang)語(yu)(yu)言文本(ben)(ben)(ben)轉化為(wei)語(yu)(yu)音(yin)(yin)或動(dong)作(zuo)語(yu)(yu)言表述，通(tong)(tong)過(guo)TTS模(mo)型將(jiang)文本(ben)(ben)(ben)轉化為(wei)語(yu)(yu)音(yin)(yin)，語(yu)(yu)音(yin)(yin)驅(qu)動(dong)Avatar制作(zuo)的(de)虛(xu)擬(ni)數字(zi)人(ren)，產生面部(bu)行(xing)為(wei)（audio2face應用）動(dong)作(zuo)手勢（audio2gesture），并(bing)通(tong)(tong)過(guo)RTX Renderer實(shi)時渲染能(neng)力生成動(dong)畫視頻作(zuo)為(wei)輸出(chu)與(yu)用戶交(jiao)互。

當然，元(yuan)(yuan)(yuan)宇(yu)宙(zhou)(zhou)不僅只有數字孿(luan)生(sheng)和虛擬人。元(yuan)(yuan)(yuan)宇(yu)宙(zhou)(zhou)要實時地(di)(di)映射現(xian)實世界(jie)，在元(yuan)(yuan)(yuan)宇(yu)宙(zhou)(zhou)中(zhong)再現(xian)工(gong)業、農業、服務(wu)業、社會、經濟(ji)、文化、城市、鄉村(cun)、地(di)(di)球等現(xian)實世界(jie)，用戶"身臨(lin)其(qi)(qi)(qi)境"地(di)(di)在其(qi)(qi)(qi)中(zhong)社交、娛樂(le)、會議、協作、旅游(you)、購物、教育，所有人都(dou)可以在其(qi)(qi)(qi)中(zhong)互動，要達到這(zhe)樣的(de)(de)(de)目標，還有很長的(de)(de)(de)路要去走，需要不斷探(tan)索(suo)和發現(xian)更有效率的(de)(de)(de)實現(xian)元(yuan)(yuan)(yuan)宇(yu)宙(zhou)(zhou)的(de)(de)(de)創新技術(shu)和方案。

如同發展汽車(che)產業(ye)需(xu)要高速公路一樣，汽車(che)是(shi)應(ying)用，公路是(shi)基礎(chu)設(she)施，元(yuan)宇(yu)宙(zhou)也需(xu)要基礎(chu)設(she)施。MetaEngine元(yuan)宇(yu)宙(zhou)服務器即是(shi)浪潮為加速元(yuan)宇(yu)宙(zhou)產業(ye)提出的算力基礎(chu)設(she)施。