上海2015年2月10日電 /美通社/ -- 無論是計劃擁抱云服務還是打算從正在使用的云服務切換到另外一家，這其中數據的遷移是很關鍵的一步。針對各種(zhong)可能出現的問題，七牛提出多種(zhong)數(shu)據遷(qian)移解決方案，助(zhu)力企業(ye)順利完成數(shu)據遷(qian)移。在遷(qian)移過程中(zhong)可能遇(yu)到以下問(wen)題：

1. 數據遷移文件路徑問題。
2. 數據遷移過程中的速率問題。
3. 寄送磁盤后的遷移過程中，上傳數據不完整。

針對這些問題，一個考(kao)慮全面(mian)的遷移系統就顯得(de)尤(you)為(wei)重要，尤(you)其是(shi)數(shu)據(ju)(ju)遷移的速(su)度(du)和安全性。首先七牛(niu)雖(sui)然為(wei)非結構化存儲，但(dan)是(shi)仍然支持帶文(wen)件(jian)路徑進行上傳(chuan)，不(bu)影響原先數(shu)據(ju)(ju)的訪問規則(ze)；其次(ci)，數(shu)據(ju)(ju)遷移的速(su)率基本不(bu)受網絡帶寬影響，主(zhu)要受到(dao)磁盤讀(du)寫速(su)度(du)的限制；上傳(chuan)數(shu)據(ju)(ju)不(bu)完整，七牛(niu)會主(zhu)動檢測數(shu)據(ju)(ju)遷移的完整性，通過鏡像(xiang)存儲也可以(yi)(yi)補全未上傳(chuan)成功的數(shu)據(ju)(ju)。一般場景(jing)有以(yi)(yi)下幾種：

場景一：自有機房遷移到七牛且數據少量

有兩種方案可以選擇：

一、完全使用七牛鏡像存儲功能

利用七牛提供的鏡像存儲功能，可以非常簡單地將源站的數據被動地同步到七牛云存儲中，所謂被動同步即 -- 只有在(zai)資源(yuan)(yuan)被訪問時，七牛才會(hui)回源(yuan)(yuan)站獲取一次，此后對該(gai)資源(yuan)(yuan)的訪問都不(bu)會(hui)再(zai)發生(sheng)回源(yuan)(yuan)動作，而是直接從七牛這(zhe)里拿到數據。鏡像存儲使(shi)用方式如下(xia)：

假設(she)源站所有(you)的圖(tu)片(pian)，放在一(yi)個叫 img.example.com 子域里(li)。

1. 在七牛上建立一個鏡像bucket，設定源站為 img.example.com。假設鏡像 bucket是example-img，鏡像 bucket 對應的域名為 example-img.qiniudn.com。
2. 將所有對外使用的圖片的域名改為 example-img.qiniudn.com。
3. 如果網站數據是 UGC（用戶產生內容）的，調整上傳流程，傳到七牛的鏡像 bucket。這樣源站就變成只讀。

如此(ci)就(jiu)完成整個遷移過程。此(ci)時 img.example.com 這個源站就(jiu)可以廢棄不(bu)用了。

二、借助七牛提供的數據遷移工具qrsync公網間直傳

qrsync 是一個根據七牛(niu)API實現的簡易命令行(xing)輔助上(shang)傳(chuan)(chuan)同(tong)步工具，支持斷(duan)點續上(shang)傳(chuan)(chuan)，增量同(tong)步，它可將用戶本地的某目(mu)錄的文件(jian)同(tong)步到七牛(niu)，同(tong)步或上(shang)傳(chuan)(chuan)幾百GB甚至上(shang)TB的文件(jian)毫無壓力。

場景二：自有機房遷移到七牛但數據總量大

在場景二下，用(yong)戶(hu)可(ke)以將數(shu)(shu)據(ju)先備份(fen)到本地，然后(hou)寄(ji)送數(shu)(shu)據(ju)硬(ying)盤(pan)給七(qi)(qi)牛(niu)(niu)，由(you)七(qi)(qi)牛(niu)(niu)通過內(nei)網將數(shu)(shu)據(ju)同步到七(qi)(qi)牛(niu)(niu)云端；或(huo)者七(qi)(qi)牛(niu)(niu)寄(ji)送空數(shu)(shu)據(ju)硬(ying)盤(pan)，客戶(hu)備份(fen)數(shu)(shu)據(ju)后(hou)寄(ji)回七(qi)(qi)牛(niu)(niu)，并由(you)七(qi)(qi)牛(niu)(niu)通過內(nei)網上(shang)傳。這其(qi)中，由(you)于數(shu)(shu)據(ju)量巨大，考慮(lv)因素需要(yao)更多，七(qi)(qi)牛(niu)(niu)也會專為該類客戶(hu)定制化數(shu)(shu)據(ju)遷(qian)移系統。

在(zai)寄硬盤的(de)(de)過程中(zhong)，為了(le)保持(chi)新數據也(ye)被(bei)存到七牛上面，以(yi)及試用(yong)(yong)七牛的(de)(de)服務，可以(yi)使用(yong)(yong)鏡像(xiang)存儲(chu)。

場景三：從任意云服務遷移到七牛且數據少量

在場景三下(xia)，可(ke)以有兩種方案進(jin)行(xing)數(shu)據的遷移工作。

一、完全使用鏡像存儲(chu)，無(wu)縫將數據遷移到七(qi)牛的空間中(zhong)，具體使用方式和場景一中(zhong)鏡像存儲(chu)描(miao)述部分(fen)一致。

二、使(shi)用七牛數據(ju)遷移定制化工(gong)具，在七牛的技術支持的協(xie)助下(xia)，用工(gong)具將數據(ju)同步到(dao)七牛。

場景四：從任意云服務遷移到七牛但數據總量大

如(ru)果想(xiang)從某一云(yun)(yun)服(fu)務(wu)(wu)切換到(dao)七牛(niu)，可以(yi)先從正在(zai)使用的云(yun)(yun)服(fu)務(wu)(wu)備份數據(ju)(ju)到(dao)本地，通(tong)過(guo)磁盤(pan)/服(fu)務(wu)(wu)器的遞送，直接上傳數據(ju)(ju)到(dao)七牛(niu)。

數(shu)據導(dao)入的(de)同(tong)時(shi)依然可以使用鏡像(xiang)存儲配合數(shu)據的(de)遷(qian)移，具體步驟如下：

1. 開啟鏡像存儲，并將用戶對源站資源的訪問切換到從七牛這里訪問，同時在源站保持使用 prefetch 接口預取更新變化了的資源。
2. 將資源的上傳動作從源站切換到七牛，這樣用戶對資源的修改動作會直接更新七牛中存儲的內容，此時源站的資源數據已經變成一個靜態的集合，因此可以撤銷第一步中對 prefetch 接口的使用。
3. 放心地將源站的靜態資源數據增量地導入七牛的存儲，存儲中已有的資源不再導入，只導入存儲中還不存在的資源（七牛(niu)已有針對此類導入的成熟工具提供用(yong)戶(hu)直接使用）。
4. 關閉源站(zhan)

［數據遷移典型案例剖析］

七牛客戶陌陌的(de)數(shu)據(ju)量非常大，如果(guo)采用(yong)常用(yong)的(de)傳輸辦(ban)法，整(zheng)個(ge)遷(qian)移過程(cheng)要耗時(shi)半(ban)年，并且會嚴(yan)重影響線上的(de)業務。為(wei)此(ci)，七牛為(wei)陌陌制定了(le)個(ge)性化的(de)數(shu)據(ju)遷(qian)移方案。

在(zai)遷移過程中可能遇到以下問(wen)題：

1. 硬盤遷移過程中，網絡傳輸中的數據出錯。
2. 傳輸過程中的速率問題。拿陌陌舉例，如果采用常用的傳輸辦法，整個遷移過程要耗時半年，并且會嚴重影響線上的業務。
3. 硬盤寄送過程以及使用過程中的磁盤損壞。
4. 存儲數據文件對數據庫的合并。如果按照傳統的數據庫寫入方式，需要若干天，會給客戶數據庫以及云服務的數據庫帶來不必要的巨大壓力。

針對(dui)這些問題，一個考(kao)慮全面(mian)的遷移系統就顯(xian)得尤(you)為(wei)重(zhong)要：

1. 針對客戶的業務數據模型，定制數據格式，進行存儲數據的導入。
2. 數據庫結構需要有強擴展性，可以實現瞬時合并。
3. 遷移系統充分考慮不可控因素，比如硬盤損壞，斷電等情況。

至此，七牛已經成為陌陌非常好(hao)的合作伙(huo)伴，支撐了他們近兩億用戶(hu)的數(shu)據(ju)存儲，訪問加速與圖片處理(li)。

Photo -