北(bei)京2020年9月22日 /美通(tong)社/ -- 根據(ju)(ju)(ju)(ju)(ju)IDC報(bao)告(gao)，在2014-2020年，IT從(cong)業(ye)人(ren)(ren)員數量僅僅增長1.285倍，但平均每(mei)個IT人(ren)(ren)員管理的數據(ju)(ju)(ju)(ju)(ju)量從(cong)230GB增加(jia)到1231GB，超(chao)過(guo)5倍。而在未(wei)來兩(liang)年，企業(ye)數據(ju)(ju)(ju)(ju)(ju)預計仍將以(yi)42.2%的速度增長。盡管大多數企業(ye)認為數據(ju)(ju)(ju)(ju)(ju)是企業(ye)的無形資產(chan)，然而目前企業(ye)僅捕(bu)獲(huo)了56%的可用數據(ju)(ju)(ju)(ju)(ju)，幾乎(hu)一(yi)半的數據(ju)(ju)(ju)(ju)(ju)流失掉(diao)了，如何擴展數據(ju)(ju)(ju)(ju)(ju)存儲系統的容量成為企業(ye)面臨的重要議題。

隨(sui)著大數(shu)(shu)據(ju)(ju)(ju)、人工(gong)智(zhi)能、物聯(lian)網、5G等科技手段的(de)(de)(de)不(bu)斷推進，人們(men)已經走(zou)進數(shu)(shu)據(ju)(ju)(ju)互(hu)聯(lian)的(de)(de)(de)時代。在數(shu)(shu)據(ju)(ju)(ju)需求日漸強烈的(de)(de)(de)當下，邊(bian)緣設(she)備(bei)的(de)(de)(de)工(gong)藝(yi)、精度越來(lai)(lai)越高(gao)，數(shu)(shu)據(ju)(ju)(ju)采樣的(de)(de)(de)方式逐(zhu)漸增多，產(chan)生的(de)(de)(de)數(shu)(shu)據(ju)(ju)(ju)量(liang)也(ye)快速增長，到2025年44%的(de)(de)(de)數(shu)(shu)據(ju)(ju)(ju)將(jiang)在邊(bian)緣和核(he)心創建，將(jiang)有越來(lai)(lai)越多的(de)(de)(de)物聯(lian)網設(she)備(bei)向(xiang)企業(ye)輸送數(shu)(shu)據(ju)(ju)(ju)。同時，基于數(shu)(shu)據(ju)(ju)(ju)挖掘和智(zhi)慧應用，數(shu)(shu)據(ju)(ju)(ju)的(de)(de)(de)生產(chan)者也(ye)不(bu)再(zai)只(zhi)有人和設(she)備(bei)，數(shu)(shu)據(ju)(ju)(ju)本(ben)身也(ye)參與到了生產(chan)數(shu)(shu)據(ju)(ju)(ju)的(de)(de)(de)環節中來(lai)(lai)，成為了新(xin)的(de)(de)(de)數(shu)(shu)據(ju)(ju)(ju)生產(chan)者，數(shu)(shu)據(ju)(ju)(ju)的(de)(de)(de)產(chan)生進入一個巨大的(de)(de)(de)循環，數(shu)(shu)據(ju)(ju)(ju)總量(liang)呈指(zhi)數(shu)(shu)級(ji)增長。

浪潮存儲產品線總經理李輝曾表示，“人工智能、大數據、5G新技術驅動下，數據發生本質改變，從過去‘人工采集、人工干預’過渡到現在‘機器產生、機器處理’的新(xin)時(shi)代，數(shu)(shu)據(ju)(ju)量(liang)爆發式增(zeng)長(chang)(chang)成為(wei)新(xin)常態。”據(ju)(ju)IDC預測(ce)，2020年全球將(jiang)(jiang)有超59ZB的數(shu)(shu)據(ju)(ju)被創建(jian)、捕(bu)獲、復制(zhi)(zhi)和消(xiao)費，其中(zhong)原始(shi)數(shu)(shu)據(ju)(ju)與(yu)復制(zhi)(zhi)數(shu)(shu)據(ju)(ju)（主要(yao)為(wei)機器處理(li)產生的數(shu)(shu)據(ju)(ju)）的比率(lv)大(da)約為(wei)1:9，未來復制(zhi)(zhi)數(shu)(shu)據(ju)(ju)將(jiang)(jiang)推動全球數(shu)(shu)據(ju)(ju)的增(zeng)長(chang)(chang)，預計到2024年復制(zhi)(zhi)數(shu)(shu)據(ju)(ju)將(jiang)(jiang)達到原始(shi)數(shu)(shu)據(ju)(ju)的10倍(bei)。

這(zhe)些(xie)數據(ju)來源廣泛，它(ta)對存儲有什么要(yao)求(qiu)？IT人員如(ru)何管理這(zhe)些(xie)迅猛增長的數據(ju)呢(ni)？

新數據時代對海量數據的存儲系統提出嚴苛要求

其一，高密度、大容量、可擴展。數據(ju)的(de)(de)爆發(fa)式增長(chang)和保(bao)存周期的(de)(de)延長(chang)，帶來了(le)對存儲(chu)空間(jian)的(de)(de)直接(jie)需求。傳統的(de)(de)存儲(chu)架構已(yi)經無(wu)法解決(jue)如此大數據(ju)量的(de)(de)存儲(chu)空間(jian)問題。需要一套具有(you)EB級(ji)擴展性、支(zhi)持千億級(ji)文件并(bing)支(zhi)持多(duo)種(zhong)服務接(jie)口的(de)(de)新(xin)型存儲(chu)系統，滿(man)足(zu)海量、多(duo)元化數據(ju)存儲(chu)的(de)(de)同時，實現跨平臺無(wu)障礙對接(jie)。

其二，高可靠、高可用。存(cun)(cun)儲(chu)系(xi)統承擔(dan)著(zhu)用戶的(de)(de)(de)核心數(shu)(shu)據，與業務系(xi)統交互頻(pin)繁(fan)，一旦出故(gu)(gu)(gu)障(zhang)(zhang)，將直接影響(xiang)業務系(xi)統的(de)(de)(de)運行狀態，甚至引(yin)發(fa)數(shu)(shu)據完整性、安(an)全性問題。而大規模存(cun)(cun)儲(chu)系(xi)統，硬件(jian)故(gu)(gu)(gu)障(zhang)(zhang)將成為(wei)常態，對存(cun)(cun)儲(chu)集群的(de)(de)(de)負載均衡，數(shu)(shu)據冗余，系(xi)統重建和(he)故(gu)(gu)(gu)障(zhang)(zhang)排除都(dou)有(you)著(zhu)較高要求，如何(he)有(you)效的(de)(de)(de)避免(mian)故(gu)(gu)(gu)障(zhang)(zhang)和(he)高效的(de)(de)(de)管理(li)、處理(li)故(gu)(gu)(gu)障(zhang)(zhang)就顯得尤為(wei)重要。

浪潮分布式存儲應運而生

面對(dui)挑戰，浪潮存儲(chu)提出“云存智用(yong)運籌(chou)新(xin)數據(ju)”的(de)理念，并發(fa)布(bu)(bu)了“AS13000G5超大(da)規模數據(ju)中心級分(fen)布(bu)(bu)式存儲(chu)平臺(tai)”，幫助用(yong)戶(hu)解(jie)決(jue)海(hai)量數據(ju)的(de)存儲(chu)問題，為用(yong)戶(hu)的(de)數據(ju)中心打(da)造面向未來的(de)存儲(chu)平臺(tai)。

首先，浪潮分布式存儲系統基于Scale Out架構實現了容量極致擴展。浪潮分布式(shi)存(cun)(cun)(cun)儲(chu)系統(tong)AS13000G5，通過Scale Out橫(heng)向擴(kuo)展的(de)基礎架構，實現單存(cun)(cun)(cun)儲(chu)系統(tong)節點擴(kuo)展數達5120個，可形(xing)成(cheng)EB級(ji)海量存(cun)(cun)(cun)儲(chu)空間，支(zhi)持千(qian)億(yi)數據(ju)文件(jian)管(guan)理。系統(tong)通過海量存(cun)(cun)(cun)儲(chu)系統(tong)對底層(ceng)硬(ying)盤資源進(jin)行池化，形(xing)成(cheng)統(tong)一資源池，同(tong)時提供文件(jian)存(cun)(cun)(cun)儲(chu)、對象存(cun)(cun)(cun)儲(chu)、塊(kuai)存(cun)(cun)(cun)儲(chu)、大數據(ju)四種(zhong)存(cun)(cun)(cun)儲(chu)服務，支(zhi)撐上層(ceng)多(duo)種(zhong)應(ying)用，承載多(duo)元化的(de)海量數據(ju)。依賴橫(heng)向擴(kuo)展的(de)分布式(shi)存(cun)(cun)(cun)儲(chu)架構，存(cun)(cun)(cun)儲(chu)性(xing)能隨容(rong)量擴(kuo)展而線性(xing)提升，從(cong)而達到(dao)千(qian)萬級(ji)IOPS和(he)百GB帶寬的(de)極致性(xing)能。

其次，浪潮分布式存儲依托多項高級功能優化容量資源利用率。依托強大(da)的研發實力，浪潮(chao)AS13000G5分布式存(cun)儲(chu)在研發過(guo)程中(zhong)實現多項(xiang)技術突破(po)，并演進迭代成為功能(neng)特性(xing)，進一步提(ti)升(sheng)大(da)規模(mo)存(cun)儲(chu)集(ji)群的整(zheng)體可用性(xing)、可靠性(xing)。

一是高級糾(jiu)刪(shan)(shan)。浪潮(chao)存儲基于高級糾(jiu)刪(shan)(shan)技術將空(kong)間(jian)利用(yong)率(lv)相(xiang)較三(san)副(fu)本提升2倍以上，在保(bao)障(zhang)空(kong)間(jian)利用(yong)率(lv)的(de)前提下(xia)，升級磁盤(pan)故(gu)(gu)(gu)障(zhang)的(de)可靠性。同時，支持通過故(gu)(gu)(gu)障(zhang)域劃分(fen)技術將一個(ge)故(gu)(gu)(gu)障(zhang)單元(yuan)(yuan)劃分(fen)成兩個(ge)邏輯的(de)故(gu)(gu)(gu)障(zhang)單元(yuan)(yuan)，使(shi)得糾(jiu)刪(shan)(shan)策略的(de)配(pei)置更加靈活；

二(er)是數據(ju)均衡。浪潮(chao)存儲采取全(quan)局一致性容(rong)量(liang)均衡技術，通過為(wei)每個硬(ying)(ying)盤增加引用(yong)計數，保證數據(ju)在集群所有(you)硬(ying)(ying)盤中(zhong)均勻分布(bu)。控制(zhi)硬(ying)(ying)盤容(rong)量(liang)使用(yong)率偏差在2%以(yi)內，系統容(rong)量(liang)實際利用(yong)率最高可(ke)達98%；

三是急(ji)速(su)拷貝(bei)。浪潮存儲基于急(ji)速(su)拷貝(bei)技術(shu)，無論文(wen)(wen)件(jian)(jian)大小都可(ke)以瞬間完(wan)成(cheng)拷貝(bei)操(cao)作，一個(ge)源文(wen)(wen)件(jian)(jian)可(ke)以拷貝(bei)成(cheng)多個(ge)目標文(wen)(wen)件(jian)(jian)，每個(ge)文(wen)(wen)件(jian)(jian)的數據只在(zai)修改時復制，節約空間；

四是(shi)元(yuan)數(shu)據(ju)(ju)集群。浪(lang)潮存儲通過部署多(duo)個active元(yuan)數(shu)據(ju)(ju)服務(wu)，優化元(yuan)數(shu)據(ju)(ju)服務(wu)的(de)(de)內(nei)存占用及多(duo)服務(wu)間負載(zai)均衡，提高元(yuan)數(shu)據(ju)(ju)并(bing)發處(chu)理能力。實現海量元(yuan)數(shu)據(ju)(ju)管理的(de)(de)同時，提升(sheng)元(yuan)數(shu)據(ju)(ju)處(chu)理性(xing)能；

五是快速(su)重(zhong)構(gou)。浪潮存(cun)儲在硬盤發(fa)生故障(zhang)時數據重(zhong)構(gou)速(su)度最快可(ke)達(da)4TB/h，支持(chi)根據業務情況配置重(zhong)構(gou)速(su)度，采用(yong)合理的(de)重(zhong)構(gou)策略(lve)。

極致容量下的極易管理

存儲(chu)集群在大規(gui)(gui)模部(bu)署(shu)的(de)(de)情況下(xia)，運(yun)(yun)(yun)維(wei)(wei)的(de)(de)量級(ji)和(he)難度對用(yong)(yong)戶來說(shuo)都是極大的(de)(de)挑(tiao)戰。浪(lang)潮智(zhi)(zhi)(zhi)能統一(yi)存儲(chu)管理平臺InView面向全系(xi)浪(lang)潮存儲(chu)平臺實(shi)現(xian)管理，采用(yong)(yong)大數據(ju)和(he)AI技術采集硬盤(pan)、系(xi)統壓力等數據(ju)，發送給AI引擎執(zhi)行分析，輸出結果和(he)處(chu)理建(jian)(jian)議，構建(jian)(jian)智(zhi)(zhi)(zhi)能化運(yun)(yun)(yun)維(wei)(wei)管理平臺，實(shi)現(xian)對存儲(chu)平臺自動化部(bu)署(shu)、狀態監測、容量預測、性(xing)能優化、遠程巡檢、故障診(zhen)斷、磁盤(pan)故障預測、資產管理等智(zhi)(zhi)(zhi)能化運(yun)(yun)(yun)營，解決大規(gui)(gui)模IT系(xi)統運(yun)(yun)(yun)維(wei)(wei)難題，提(ti)高運(yun)(yun)(yun)維(wei)(wei)效率，降低(di)運(yun)(yun)(yun)維(wei)(wei)成本，優化用(yong)(yong)戶體驗(yan)，保障業(ye)務連(lian)續性(xing)。

通過配置InView，系統運(yun)維由被動(dong)模(mo)(mo)式轉換為(wei)主(zhu)動(dong)模(mo)(mo)式，大幅提(ti)升系統運(yun)維能力和穩(wen)定性。為(wei)用戶(hu)帶(dai)來看得見的收益(yi)，比如(ru)(ru)多(duo)套存儲平(ping)臺統一管(guan)理、統一入(ru)口(kou)，實(shi)現存儲平(ping)臺精細管(guan)理；又如(ru)(ru)基于神經網絡算法和先進(jin)訓練模(mo)(mo)型，在(zai)3年多(duo)時間內(nei)收集超50萬個硬(ying)盤樣本，實(shi)現故障類(lei)型100%覆(fu)蓋，再如(ru)(ru)實(shi)現14天內(nei)磁盤故障預(yu)(yu)測(ce)預(yu)(yu)測(ce)準確率高于85%。此外，浪潮存儲還可(ke)以(yi)進(jin)行容量、性能智能預(yu)(yu)測(ce)。例如(ru)(ru)，InView的容量智能預(yu)(yu)測(ce)如(ru)(ru)下圖。

浪潮存(cun)(cun)(cun)儲(chu)圍(wei)繞解(jie)決(jue)數(shu)據存(cun)(cun)(cun)儲(chu)問題，在(zai)“存(cun)(cun)(cun)得下”的(de)(de)基礎上(shang)，充分(fen)考慮大規模存(cun)(cun)(cun)儲(chu)集(ji)群(qun)對成本和硬件故障的(de)(de)敏感性，在(zai)低投(tou)入(ru)的(de)(de)情況(kuang)下實(shi)現高(gao)容量的(de)(de)數(shu)據存(cun)(cun)(cun)儲(chu)，并且通過多種功能(neng)特(te)性給予存(cun)(cun)(cun)儲(chu)系統更高(gao)的(de)(de)可(ke)靠性、安全(quan)性和可(ke)用性，進(jin)一(yi)步實(shi)現了“存(cun)(cun)(cun)得穩(wen)”、“管得全(quan)”。

浪(lang)潮(chao)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)基于七大(da)極致硬(ying)核技術(shu)形成(cheng)了(le)強(qiang)大(da)的(de)產品(pin)競爭力，二季(ji)度浪(lang)潮(chao)分布(bu)式存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)出貨(huo)量同(tong)比增(zeng)長313%，遠超(chao)業界平均增(zeng)速(su)。浪(lang)潮(chao)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)在殊(shu)多行業斬獲大(da)單，為中(zhong)國移動大(da)云5.0、全球最大(da)天文望遠鏡FAST、中(zhong)國氣象大(da)數(shu)據(ju)(ju)研究(jiu)等超(chao)級(ji)工程項(xiang)目提供(gong)彈(dan)性、靈活、高效的(de)數(shu)據(ju)(ju)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)服務。浪(lang)潮(chao)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)將持續以“云存(cun)(cun)(cun)(cun)智(zhi)(zhi)用運籌新數(shu)據(ju)(ju)”賦能智(zhi)(zhi)算(suan)中(zhong)心，在分布(bu)式存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)領(ling)域(yu)加(jia)速(su)創(chuang)新，釋(shi)放(fang)數(shu)據(ju)(ju)要(yao)素價(jia)值驅動行業數(shu)字化(hua)轉型。

作者：浪潮存儲資深架構師葉毓睿、李(li)錚(zheng)鋆