北(bei)京2020年(nian)11月6日(ri) /美通社(she)/ -- 日(ri)前，亞馬遜云(yun)服務(AWS)宣(xuan)布Amazon Elastic Compute Cloud (Amazon EC2) P4d實(shi)(shi)例(li)(li)(li)正式可用(yong)。P4d是下(xia)一(yi)代GPU驅動的(de)實(shi)(shi)例(li)(li)(li)，與(yu)上(shang)一(yi)代的(de)P3實(shi)(shi)例(li)(li)(li)相(xiang)比，在機器(qi)學(xue)習(xi)訓(xun)練(lian)和(he)(he)高(gao)性(xing)(xing)能(neng)(neng)計(ji)算(HPC)工作負(fu)載場景下(xia)，性(xing)(xing)能(neng)(neng)提升3倍(bei)(bei)，成本降(jiang)低60%，GPU內存(cun)增加(jia)(jia)2.5倍(bei)(bei)。P4d實(shi)(shi)例(li)(li)(li)配備(bei)8顆NVIDIA A100 Tensor Core GPU，網(wang)絡(luo)帶寬達(da)400 Gbps(比P3實(shi)(shi)例(li)(li)(li)多16倍(bei)(bei))。通過將P4d實(shi)(shi)例(li)(li)(li)與(yu)AWS的(de)Elastic Fabric Adapter(EFA)和(he)(he)NVIDIA GPUDirect RDMA(遠程直接訪問(wen)內存(cun))技術一(yi)起(qi)使用(yong)，客(ke)戶(hu)可以(yi)創建具(ju)備(bei)EC2超(chao)級(ji)(ji)集(ji)群功能(neng)(neng)的(de)P4d實(shi)(shi)例(li)(li)(li)。借(jie)助EC2超(chao)級(ji)(ji)集(ji)群，使用(yong)AWS設計(ji)的(de)、與(yu)Amazon FSx for Lustre高(gao)性(xing)(xing)能(neng)(neng)存(cun)儲集(ji)成的(de)PB級(ji)(ji)無阻塞網(wang)絡(luo)基礎架構，客(ke)戶(hu)可將P4d實(shi)(shi)例(li)(li)(li)擴(kuo)展至(zhi)超(chao)過4000多個A100 GPU(相(xiang)當于(yu)其它云(yun)供應商的(de)2倍(bei)(bei)多)，獲得(de)按需訪問(wen)的(de)超(chao)算級(ji)(ji)性(xing)(xing)能(neng)(neng)，加(jia)(jia)速(su)機器(qi)學(xue)習(xi)訓(xun)練(lian)和(he)(he)高(gao)性(xing)(xing)能(neng)(neng)計(ji)算。

如(ru)欲開始使用(yong)P4d實(shi)例，請訪問：

數(shu)據(ju)科學家和(he)工程師們正不斷擴展機器(qi)學習(xi)的(de)(de)邊(bian)界，通過(guo)創(chuang)建規模(mo)更(geng)大、更(geng)復雜的(de)(de)模(mo)型(xing)(xing)，從(cong)而為一系(xi)列廣泛(fan)用(yong)(yong)例提供更(geng)精準(zhun)的(de)(de)預(yu)測，其中包括自動駕(jia)駛汽車的(de)(de)感知模(mo)型(xing)(xing)訓(xun)(xun)(xun)練、自然(ran)語言處理、圖(tu)像(xiang)分類、對(dui)象檢測，以(yi)及(ji)預(yu)測分析。針對(dui)大量數(shu)據(ju)訓(xun)(xun)(xun)練這些復雜的(de)(de)模(mo)型(xing)(xing)是一項計算、網絡和(he)存儲密(mi)集型(xing)(xing)任務(wu)，經常耗時(shi)數(shu)天或數(shu)周(zhou)。客(ke)戶(hu)不僅(jin)想減少(shao)訓(xun)(xun)(xun)練模(mo)型(xing)(xing)的(de)(de)時(shi)間，也希(xi)望降低(di)用(yong)(yong)于訓(xun)(xun)(xun)練的(de)(de)整體(ti)支出。總(zong)體(ti)來說，時(shi)間長和(he)成(cheng)本高(gao)限制了(le)(le)客(ke)戶(hu)訓(xun)(xun)(xun)練模(mo)型(xing)(xing)的(de)(de)頻率，降低(di)了(le)(le)機器(qi)學習(xi)開發和(he)創(chuang)新(xin)的(de)(de)速度。

P4d實例增強的性能可將機器學習模型訓練時間縮短了3倍(將訓練時間從數天減少到數小時)，額外的GPU內存可幫助客戶訓練更大、更復雜的模型。隨著數據變得越來越豐富，客戶訓練的模型有數百萬個甚至數十億個參數，例如用于文檔摘要和問題解答的自然語言處理、面向自動駕駛汽車的對象檢測與分類、用于大規模內容審核的圖像分類、電子商務網站的推薦引擎，以及智能搜索引擎的排名算法，所有這些都需要更多的網絡吞吐量和GPU內存。P4d實例具有8顆NVIDIA A100 Tensor Core GPU，單臺EC2實例混合精度性能高達2.5 petaflops，GPU內存網絡帶寬高達320GB。P4d實例是業(ye)界首(shou)個提供400Gbps網(wang)絡(luo)帶寬的(de)(de)(de)(de)實(shi)例，通(tong)過Elastic Fabric Adapter (EFA)和(he)(he)NVIDIA GPUDirect RDMA網(wang)絡(luo)接口支(zhi)持跨服務器的(de)(de)(de)(de)GPU之間直接通(tong)信，從而降低延遲，提高擴展效(xiao)率，有助于消(xiao)除跨多(duo)(duo)節點(dian)(dian)分布式工(gong)作負載(zai)的(de)(de)(de)(de)擴展瓶頸。每個P4d實(shi)例還(huan)提供96顆Intel Xeon Scalable(Cascade Lake)vCPU，1.1TB的(de)(de)(de)(de)系(xi)統內存，以及8TB的(de)(de)(de)(de)本(ben)地NVMe存儲，以減少單節點(dian)(dian)的(de)(de)(de)(de)訓練時(shi)間。通(tong)過將上一代P3實(shi)例的(de)(de)(de)(de)性能(neng)提升一倍以上，P4d實(shi)例可將機(ji)器學(xue)(xue)習模(mo)型訓練的(de)(de)(de)(de)成本(ben)降低多(duo)(duo)達60%，與(yu)昂貴且不靈活的(de)(de)(de)(de)本(ben)地系(xi)統相比，為(wei)客(ke)戶(hu)帶來更高效(xiao)的(de)(de)(de)(de)體驗。高性能(neng)計(ji)算客(ke)戶(hu)還(huan)將受益于P4d實(shi)例增加的(de)(de)(de)(de)處理性能(neng)和(he)(he)GPU內存，滿足(zu)要求(qiu)苛(ke)刻的(de)(de)(de)(de)工(gong)作負載(zai)，比如地震分析、藥物發現(xian)、DNA測序、材(cai)料科學(xue)(xue)、金(jin)融(rong)和(he)(he)保險風險建模(mo)。

P4d實(shi)(shi)(shi)例(li)(li)也構(gou)建在AWS Nitro 系統之上，后者是AWS自(zi)己設計的(de)(de)硬件和(he)軟(ruan)件，讓AWS能(neng)(neng)夠(gou)向(xiang)客戶提(ti)供越來越廣泛(fan)的(de)(de)EC2實(shi)(shi)(shi)例(li)(li)和(he)配(pei)置(zhi)選擇，同時(shi)提(ti)供與裸金(jin)屬無差別的(de)(de)性能(neng)(neng)，快(kuai)速存儲和(he)聯網(wang)能(neng)(neng)力，并確保更安全的(de)(de)多(duo)(duo)租戶。P4d實(shi)(shi)(shi)例(li)(li)將(jiang)網(wang)絡(luo)功能(neng)(neng)卸載(zai)至(zhi)專用的(de)(de)Nitro Cards上，加速多(duo)(duo)個(ge)P4d實(shi)(shi)(shi)例(li)(li)間(jian)的(de)(de)數(shu)據傳(chuan)輸。Nitro Cards同時(shi)支持EFA和(he)GPUDirect，支持GPU間(jian)跨服(fu)務器(qi)直(zhi)接通信，實(shi)(shi)(shi)現P4d實(shi)(shi)(shi)例(li)(li)的(de)(de)EC2超級(ji)集(ji)群(qun)間(jian)更低(di)的(de)(de)延遲(chi)表(biao)現和(he)更強(qiang)的(de)(de)伸縮(suo)性能(neng)(neng)。這些由Nitro驅動(dong)(dong)的(de)(de)能(neng)(neng)力讓客戶有可(ke)以在EC2超級(ji)集(ji)群(qun)中啟動(dong)(dong)P4d，按(an)需和(he)可(ke)擴(kuo)展地訪問超過4000個(ge)GPU，以獲得超算級(ji)的(de)(de)性能(neng)(neng)。

“客(ke)戶(hu)使用AWS服務構(gou)建、訓練和部署機器(qi)學習應用的(de)速度(du)非常(chang)快。與(yu)此同時(shi)，我(wo)們從客(ke)戶(hu)那里聽到他們希(xi)望以成本更低的(de)方式來訓練其龐大的(de)機器(qi)學習模型。”AWS EC2副總(zong)裁(cai)Dave Brown表示，“現在(zai)，通過NVIDIA最新的(de)A100 GPU和PB級(ji)(ji)網絡支持的(de)P4d實(shi)例(li)的(de)EC2超級(ji)(ji)集群，我(wo)們讓超算級(ji)(ji)的(de)性能幾乎適(shi)用于(yu)所有(you)人。同時(shi)與(yu)上一(yi)代實(shi)例(li)相比，將訓練機器(qi)學習模型的(de)時(shi)間縮短3倍，訓練成本降低高達60%。”

客(ke)戶(hu)(hu)可(ke)(ke)(ke)(ke)以(yi)使(shi)用(yong)Amazon Elastic Kubernetes Service (Amazon EKS)或(huo)Amazon Elastic Container Service (Amazon ECS)服務的(de)(de)AWS深度(du)學(xue)(xue)習(xi)(xi)容器(qi)庫，在P4d實(shi)(shi)例(li)(li)(li)上運行容器(qi)化應(ying)用(yong)。要想獲得更加完整的(de)(de)托(tuo)管體(ti)驗，客(ke)戶(hu)(hu)可(ke)(ke)(ke)(ke)以(yi)通過(guo)Amazon SageMaker使(shi)用(yong)P4d實(shi)(shi)例(li)(li)(li)，從而使(shi)開發(fa)者(zhe)和(he)數據(ju)科學(xue)(xue)家能夠(gou)快(kuai)速(su)構建、訓(xun)練和(he)部署機器(qi)學(xue)(xue)習(xi)(xi)模型。高(gao)性能計算客(ke)戶(hu)(hu)可(ke)(ke)(ke)(ke)以(yi)利用(yong)AWS Batch和(he)AWS ParallelCluster，使(shi)用(yong)P4d實(shi)(shi)例(li)(li)(li)幫助高(gao)效協調任務和(he)集群。P4d實(shi)(shi)例(li)(li)(li)支持(chi)所有主(zhu)要的(de)(de)機器(qi)學(xue)(xue)習(xi)(xi)框架，包括TensorFlow、PyTorch以(yi)及(ji)Apache MXNet，客(ke)戶(hu)(hu)可(ke)(ke)(ke)(ke)以(yi)靈活(huo)地選擇最適合其應(ying)用(yong)的(de)(de)框架。P4d實(shi)(shi)例(li)(li)(li)現已在美國東部(弗吉尼(ni)亞) and 美國西(xi)部(俄勒岡)區域可(ke)(ke)(ke)(ke)用(yong)，并計劃在其他區域很快(kuai)推出(chu)。P4d實(shi)(shi)例(li)(li)(li)可(ke)(ke)(ke)(ke)以(yi)按需購(gou)買，也(ye)可(ke)(ke)(ke)(ke)以(yi)使(shi)用(yong)Savings Plan、預留實(shi)(shi)例(li)(li)(li)，或(huo)競價型實(shi)(shi)例(li)(li)(li)進行購(gou)買。

豐田研究院(TRI)成立于2015年，致力于為豐田開發自動(dong)駕駛、機(ji)器(qi)人(ren)和其(qi)他人(ren)力擴充技術。“TRI致力于創造讓每個人(ren)都(dou)可以自由移動(dong)的未來(lai)。”TRI基(ji)礎(chu)設施工程技術總監Mike Garrison表示(shi)，“上一代P3實例幫(bang)助我們(men)將機(ji)器(qi)學(xue)(xue)習(xi)模型訓練(lian)時(shi)間(jian)從數天減少至數小時(shi)。非(fei)常期待使用P4d實例，其(qi)更(geng)多的GPU內存和更(geng)高效的浮點(dian)格式可以讓我們(men)的機(ji)器(qi)學(xue)(xue)習(xi)團(tuan)隊更(geng)快速地訓練(lian)更(geng)復雜(za)的模型。”