北京2021年3月12日 /美通社/ -- HDFS（Hadoop Distributed File System）作為通用(yong)的分(fen)布式文件(jian)系統(tong)，可(ke)(ke)以提供高(gao)可(ke)(ke)擴展、低成本、高(gao)可(ke)(ke)靠的海(hai)量數據存儲，并廣(guang)泛應用(yong)于大數據存儲和分(fen)析方向(xiang)。
近年來伴隨5G、物聯網、人工(gong)智能等領域(yu)的(de)快速發展，數(shu)據(ju)量規模不斷(duan)增大(da)，同時隨著大(da)數(shu)據(ju)應用的(de)多樣(yang)化發展，對數(shu)據(ju)的(de)利用也(ye)更加(jia)(jia)成(cheng)熟與(yu)深入(ru)，更大(da)數(shu)據(ju)量以及更加(jia)(jia)靈活(huo)的(de)數(shu)據(ju)處理場(chang)景對HDFS的(de)數(shu)據(ju)存儲與(yu)數(shu)據(ju)讀寫吞吐提(ti)出(chu)了越(yue)來越(yue)高的(de)要求(qiu)。
為應對這些挑戰，浪潮著力研發(fa)與集成(cheng)的(de)面向分布式文件系(xi)統的(de)智能存(cun)儲管理技術Smart Storage Management（簡稱SSM）應運而(er)生。通過多項(xiang)新技術及特(te)性來解決存(cun)儲場景中(zhong)的(de)各類挑戰，助力大數據產品(pin)提供更加高效、智能的(de)存(cun)儲解決方案。
現今存儲技術面臨哪些疑難挑戰？
說到疑難挑戰，首先當推基于異構存儲介質的數據存儲管理。從硬(ying)(ying)件(jian)平臺來看， HDFS的(de)(de)設計(ji)初衷(zhong)是基于(yu)通(tong)用的(de)(de)廉價硬(ying)(ying)件(jian)提供可靠(kao)、高吞吐的(de)(de)數據存(cun)儲和(he)(he)訪問。但隨著硬(ying)(ying)件(jian)的(de)(de)迅速(su)發(fa)展(zhan)，傳統的(de)(de)磁盤性(xing)能和(he)(he)存(cun)儲容量都(dou)已(yi)達到瓶頸(jing)，新硬(ying)(ying)件(jian)如(ru)固態硬(ying)(ying)盤、非(fei)易失性(xing)內存(cun)和(he)(he)SMR磁盤等(deng)受到廣泛關注。
目前(qian)，HDFS已有(you)的(de)功能(neng)和(he)研究雖然可(ke)以兼容(rong)多類型的(de)異構介質，實現(xian)對(dui)異構存(cun)儲(chu)(chu)介質的(de)訪(fang)問(wen)和(he)使用，但沒有(you)很好的(de)機制讓其智能(neng)感知不(bu)同設備的(de)I/O特性，并(bing)根據(ju)數據(ju)的(de)訪(fang)問(wen)特征動(dong)態(tai)改變存(cun)儲(chu)(chu)方式(shi)，在異構的(de)環境下(xia)最大程度發(fa)揮各類硬件的(de)性能(neng)優勢。
其次則是面向大規模存儲的容量壓力。為(wei)了系統的(de)(de)可(ke)靠性，傳統通(tong)過副(fu)(fu)(fu)本(ben)策(ce)略(lve)來保障數(shu)據的(de)(de)安全，通(tong)常(chang)默認為(wei)三(san)副(fu)(fu)(fu)本(ben)，但存(cun)儲(chu)(chu)利(li)用(yong)率(lv)僅為(wei)1/3。如果(guo)使(shi)(shi)(shi)用(yong)糾刪碼(ma)(ma)（Erasure Code，EC）來替換副(fu)(fu)(fu)本(ben)策(ce)略(lve)確實(shi)可(ke)以提供與副(fu)(fu)(fu)本(ben)相(xiang)同的(de)(de)容錯能(neng)力(li)(li)，并(bing)使(shi)(shi)(shi)用(yong)較少的(de)(de)存(cun)儲(chu)(chu)空間，但在典(dian)型(xing)的(de)(de)糾刪碼(ma)(ma)中如果(guo)要求存(cun)儲(chu)(chu)額外開銷(xiao)不超過50%的(de)(de)話，相(xiang)應(ying)的(de)(de)糾刪碼(ma)(ma)卻會占用(yong)更多的(de)(de)計算資源，所以當系統面臨存(cun)儲(chu)(chu)壓力(li)(li)時(shi)，用(yong)戶(hu)常(chang)常(chang)希望將(jiang)不常(chang)使(shi)(shi)(shi)用(yong)的(de)(de)數(shu)據使(shi)(shi)(shi)用(yong)糾刪碼(ma)(ma)存(cun)儲(chu)(chu)，降低存(cun)儲(chu)(chu)壓力(li)(li)。
但目前的(de)HDFS技術僅支持基于(yu)目錄的(de)副本到糾刪(shan)碼轉換，轉換后業務訪問文(wen)件的(de)路徑將(jiang)發生改變，并無便(bian)捷的(de)機制自(zi)動化進(jin)行。
面向應用負載的自適應存儲挑戰也不容忽視。從上層(ceng)應(ying)用來看，一方(fang)面在(zai)大數據Hadoop生態系(xi)統(tong)不斷發展的(de)過(guo)程中(zhong)，HDFS因其(qi)自身的(de)穩(wen)定可靠、簡單易用、擴展性高等優點(dian)使越(yue)(yue)來越(yue)(yue)多上層(ceng)應(ying)用和系(xi)統(tong)將其(qi)作為統(tong)一的(de)底層(ceng)存儲(chu)，其(qi)上存儲(chu)的(de)數據類(lei)型(xing)和支(zhi)持的(de)分析負載(zai)也(ye)越(yue)(yue)來越(yue)(yue)多元化。
另一(yi)(yi)方面(mian)，在企業中(zhong)不同(tong)部門和用戶(hu)經常基(ji)于(yu)(yu)同(tong)一(yi)(yi)份全量數據(ju)進(jin)行查(cha)詢分析，帶來同(tong)一(yi)(yi)份數據(ju)服務多樣的(de)查(cha)詢負(fu)載(zai)。在這種應用場景下，基(ji)于(yu)(yu)人工(gong)制定(ding)策略的(de)存儲優化就(jiu)難(nan)以生效，勢必需要提供基(ji)于(yu)(yu)應用負(fu)載(zai)的(de)自(zi)適(shi)應優化技術來應對。
智能存儲管理（SSM）技術 聚焦兩核心、三場景、四技術、五特性
面對異構環境下如(ru)何(he)最大(da)程度發揮各類硬(ying)件性能優(you)(you)勢的(de)難(nan)題以及來(lai)自存儲的(de)數據類型(xing)和支持的(de)分(fen)析負載越(yue)來(lai)越(yue)多元化與應(ying)用(yong)負載的(de)自適應(ying)優(you)(you)化等(deng)方面的(de)挑戰，智能存儲管理（SSM）提供了智能化的(de)解決方案。
何為智能存儲管理Smart Storage Management（SSM）？
概念上(shang)，智能(neng)存(cun)儲管(guan)理(li)（SSM）被定義為面向 HDFS的(de)智能(neng)管(guan)理(li)架構，主要提供針對新型存(cun)儲設備(bei)、高速(su)網絡、新計(ji)算的(de)存(cun)儲優(you)化(hua)與(yu)數據優(you)化(hua)解決方(fang)案(an)，實現(xian)端到端的(de)數據管(guan)理(li)服(fu)務，聚(ju)焦(jiao)點(dian)可以概括為“兩核心、三場景、四技術、五特性”。
『兩大核心』SSM的核心是基于數據熱度的智能化管理來實現自動化面向存儲的全生命周期優化。在數據熱度方面，典型的(de)應(ying)用場景中(zhong)(zhong)通常80%的(de)計算工(gong)作負(fu)載用于處理20%的(de)數據(ju)(ju)，在動態變化環境中(zhong)(zhong)針對(dui)局部(bu)數據(ju)(ju)進(jin)行優化尤其困難。
面對該(gai)問題，SSM通過收集文(wen)件系統(tong)操作數據與狀(zhuang)態信息，利用多項指標分析數據訪問模式(shi)，從文(wen)件級別定義數據熱度(du)，針對熱度(du)信息統(tong)籌規劃相(xiang)應地優(you)化數據管理(li)方式(shi)。
在智能決策方面，SSM建(jian)立(li)了基于(yu)規則的(de)(de)智能(neng)(neng)決策體系(xi)，圍繞現有(you)的(de)(de)大數據存儲模式智能(neng)(neng)地(di)構建(jian)了實用(yong)(yong)的(de)(de)解決方案(an)。未來，SSM目(mu)標(biao)將(jiang)利(li)用(yong)(yong)歷史數據和指標(biao)學(xue)(xue)習，從(cong)而使(shi)系(xi)統(tong)具有(you)預測數據訪問模式與(yu)持久學(xue)(xue)習能(neng)(neng)力(li)，實現穩(wen)定可持續的(de)(de)智能(neng)(neng)化(hua)管理。
「三種場景」目前SSM在三種典型場景下表現突出，例如多存儲模式。SSM適用于數據存儲模式豐富的應用場景，可以提供更加靈活的存儲模式選擇；在數據優化上則提供了小文件合井、數據災備、數據壓縮等新功能，適用于對數據優化有需求的應用場景；智能化管理是面向大規模集群的(de)數據(ju)管(guan)命周期的(de)自動(dong)化(hua)管(guan)理。
『四項技術』SSM主(zhu)要通(tong)過四項技(ji)(ji)術實(shi)現智能的存儲管(guan)(guan)理(li)，主(zhu)要包括通(tong)過分布(bu)式(shi)集(ji)群自(zi)治技(ji)(ji)術解決管(guan)(guan)理(li)服務的高可用(yong)問題(ti)來實(shi)現存儲管(guan)(guan)理(li)集(ji)群去中心化；利用(yong)分布(bu)式(shi)事件驅動技(ji)(ji)術實(shi)現面向(xiang)高并(bing)發場景的輕量級計算服務與監督機制，提升管(guan)(guan)理(li)操作執行(xing)效率與容錯(cuo)性(xing)。
基于規則(ze)的(de)智能存(cun)儲管理(li)技(ji)(ji)術解(jie)決(jue)存(cun)儲數(shu)據(ju)量巨大、數(shu)據(ju)增量高、數(shu)據(ju)類型混雜(za)難以管理(li)的(de)問題，實現數(shu)據(ju)生(sheng)命周期的(de)智能化(hua)管理(li)；憑(ping)借數(shu)據(ju)熱度感知技(ji)(ji)術解(jie)決(jue)存(cun)儲資(zi)源利用(yong)不均、資(zi)源浪費問題，實現數(shu)據(ju)冷熱分層(ceng)等。
『五種特性』面向用戶場景(jing)，SSM最終體現為(wei)五類典型(xing)的特性增強，主(zhu)要(yao)包括如下：
總體來看，智能存(cun)(cun)儲(chu)管理（SSM），以(yi)數據熱度識別及智能化(hua)的(de)決策體系為(wei)核心，配置面向應用場(chang)景(jing)的(de)技術(shu)優化(hua)整(zheng)體方案（異構存(cun)(cun)儲(chu)增強(qiang)、糾刪(shan)碼增強(qiang)、小文件(jian)合并、自動(dong)化(hua)災備、透(tou)明(ming)化(hua)壓縮），自動(dong)化(hua)智能化(hua)的(de)解決HDFS存(cun)(cun)儲(chu)面向異構介(jie)質(zhi)、存(cun)(cun)儲(chu)空間及應用負載等方向的(de)挑戰(zhan)，大大提升(sheng)HDFS分(fen)布式存(cun)(cun)儲(chu)的(de)易用性及適用場(chang)景(jing)。
基于智能存儲管理（SSM）技術 浪潮云海Insight帶來更優體驗
作(zuo)為面(mian)向海(hai)量數據存儲(chu)(chu)、計算、挖(wa)掘(jue)的(de)一站(zhan)式企業(ye)(ye)(ye)(ye)級大數據解決方案，浪潮(chao)云海(hai)Insight大數據平臺采(cai)用新型技(ji)術(shu)架(jia)構可承擔(dan)企業(ye)(ye)(ye)(ye)大規(gui)(gui)模數據的(de)采(cai)集(ji)集(ji)成、多樣存儲(chu)(chu)、規(gui)(gui)模計算以及(ji)智能(neng)(neng)分析(xi)挖(wa)掘(jue)等(deng)工(gong)作(zuo)，支(zhi)撐企業(ye)(ye)(ye)(ye)數據中心業(ye)(ye)(ye)(ye)務模型快速落地(di)，助力企業(ye)(ye)(ye)(ye)信息化智能(neng)(neng)轉(zhuan)型。
具體(ti)來說云海Insight團(tuan)隊(dui)從客(ke)戶(hu)(hu)需求出(chu)發，結合業務場景(jing)對智(zhi)能(neng)(neng)存儲(chu)管理(li)(li)技(ji)術(shu)（SSM）進行全面(mian)的(de)方案(an)驗(yan)證及增強，最終(zhong)在大(da)數(shu)據平(ping)臺(tai)(tai)中將智(zhi)能(neng)(neng)存儲(chu)管理(li)(li)技(ji)術(shu)產品化，包括智(zhi)能(neng)(neng)存儲(chu)的(de)一鍵安裝(zhuang)、可視化運維(wei)、基于票據的(de)認證架(jia)構等(deng)，解決(jue)了用戶(hu)(hu)針對大(da)數(shu)據平(ping)臺(tai)(tai)的(de)備份災備、數(shu)據生(sheng)命周期(qi)管理(li)(li)、小文件合并等(deng)技(ji)術(shu)的(de)訴求，提供了更優秀的(de)用戶(hu)(hu)體(ti)驗(yan)。
舉個(ge)(ge)例子，某(mou)客戶的(de)業(ye)務場景中，云海Insight團(tuan)隊將其(qi)近兩個(ge)(ge)月(yue)的(de)訪(fang)問頻(pin)次(ci)高的(de)數(shu)(shu)據(ju)定義為熱數(shu)(shu)據(ju)，使(shi)用三(san)(san)副本存儲(chu)(chu)；后四個(ge)(ge)月(yue)的(de)訪(fang)問頻(pin)次(ci)低的(de)數(shu)(shu)據(ju)定義為冷數(shu)(shu)據(ju)，使(shi)用糾(jiu)刪碼存儲(chu)(chu)。通(tong)過SSM定義數(shu)(shu)據(ju)熱度判定策略以(yi)及(ji)完成自動(dong)化的(de)文件及(ji)從副本到糾(jiu)刪碼的(de)轉換，最終(zhong)總存儲(chu)(chu)空間節省三(san)(san)分(fen)之一，且業(ye)務無需任(ren)何改變，大(da)(da)大(da)(da)提(ti)升了系統的(de)可用性。
經過多方實踐驗證，面向HDFS的(de)智能(neng)存儲管理技術能(neng)夠免去(qu)外界觸(chu)發完(wan)成數據管理并進(jin)一(yi)步細化管理粒度，實現(xian)一(yi)次規則定制即可完(wan)成數據生命(ming)周期管理的(de)解(jie)決方案，達成效果：
隨著(zhu)大(da)數(shu)據與人工智(zhi)(zhi)能(neng)的(de)蓬勃發展(zhan)，人工智(zhi)(zhi)能(neng)賦予存(cun)(cun)儲管(guan)理無限可能(neng)，利(li)用智(zhi)(zhi)能(neng)算法提高(gao)大(da)數(shu)據的(de)調度(du)和智(zhi)(zhi)能(neng)管(guan)理能(neng)力(li)已成為(wei)技術發展(zhan)的(de)必(bi)然(ran)趨勢。未(wei)來，智(zhi)(zhi)能(neng)存(cun)(cun)儲管(guan)理技術（SSM）將基(ji)于(yu)深(shen)度(du)學習優化計算框架，浪潮云(yun)海(hai)Insight也將進一(yi)步(bu)從整體上(shang)提升(sheng)存(cun)(cun)儲管(guan)理的(de)智(zhi)(zhi)能(neng)化水平，為(wei)用戶提供更優秀的(de)解決(jue)方案。
