騰訊雲對象存儲COS之間的數據如何進行遷移

原文請查看微信公眾號:騰訊雲存儲

全託管公網遷移模式中,無需自主部署 Agent,任務創建之後自動化執行。騰訊雲 COS 間遷移時 MSP 將通過內網拉取源對象存儲桶數據並保存到目標對象存儲桶,不會產生額外費用。

本文將詳細介紹騰訊雲 COS 間遷移,應如何配置全託管公網遷移任務,實現數據遷移。

準備工作

一、騰訊雲對象存儲

1. 創建目標存儲空間,用於存放遷移的數據。

2. 創建用於遷移的子用戶並授予相關許可權:

  • 登錄騰訊雲訪問管理控制台。
  • 在左導航欄中選擇【用戶】>【用戶列表】,進入用戶列表頁面。
  • 新建子用戶,勾選編程訪問及騰訊雲控制台訪問。
  • 搜索並勾選 QcloudCOSAccessForMSPRole 及 QcloudCOSFullAccess 策略。
  • 完成子用戶創建並保存子用戶名,訪問登錄密碼,SecretId,SecretKey。

說明: 遷移服務也可以使用主帳號操作,但是出於安全考慮,建議新建子用戶並使用子用戶 API 密鑰進行遷移,遷移完成後刪除。

操作步驟

一、登錄遷移服務平台

1. 登錄控制台找到遷移服務平台 ,在左導航欄中單擊進入【遷移工具】頁面。

2. 找到【文件遷移工具】模組,單擊【立即使用】,進入文件遷移工具配置頁面。

二、新建遷移任務

1. 在文件遷移工具頁面,單擊【新建任務】,進入新建文件遷移任務介面,進行遷移參數的設置。

2. 設置遷移任務名稱。

3. 設置要遷移的文件來源。 此處遷移源服務提供商應選擇騰訊雲 COS,並在下方 AccessKey,SecretKey 文本框中輸入先前新建用於遷移的騰訊雲子用戶SecretId,SecretKey。源對象存儲桶列表可在填入密鑰後單擊下拉框右側刷新按鈕獲取。

4. 選擇文件存儲方式。 根據遷移的需求,設定遷移後文件的存儲方式,可以選擇:標準存儲、低頻存儲、保持原存儲屬性、歸檔存儲。

5. 選擇 Header 設置。 如果源桶中的文件設定了 Header/Tag 並且需要在遷移後保留,請選擇保留或設置替換規則。

6. 設定遷移規則。 選擇對指定桶中的全部文件進行遷移,或僅遷移指定前綴的文件。

7. 指定遷移任務的開始時間。 如需在指定時間開始遷移,開啟此開關並設定開始時間。

8. 設定最高並發數。 各公有雲廠商的對象存儲都有最高並發限制。為確保業務穩定,請在遷移前與源廠商確認並設置最高遷移可用 QPS。

9. 選擇要遷移到的目標位置。 在遷移目標資訊中,輸入用於遷移的騰訊雲子用戶 SecretId,SecretKey。目標對象存儲桶列表可在填入密鑰後單擊下拉框右側刷新按鈕獲取。

10. 指定遷移到目標桶的指定目錄。

  • 若遷移源與目標源有內容不同,名稱相同的文件,建議在【同名文件】配置處選擇【跳過(保留目標桶中已有的同名文件)】,系統默認選擇【覆蓋(源桶中的文件會覆蓋目標桶中的同名文件)】。
  • 若在遷移過程中文件內容有變化,需要進行二次遷移。
  • 保存到根目錄:直接將源桶中的文件按原始相對路徑保存到目標桶的根目錄。
  • 保存到指定目錄:將源桶中的文件保持原始相對路徑保存到指定目錄中。

例如: 源桶中的文件/a.txt,/dir/b.txt兩個文件,文本框中填寫「dest」,那麼遷移後這兩個文件在目標桶中的路徑為:/dest/a.txt,/dest/dir/b.txt。 如果文本框中填寫dest/20180901,那麼遷移後這兩個文件在目標桶中的路徑為:/dest/20180901/a.txt,/dest/20180901/dir/b.txt。

注意:若遷移源與目標源有內容不同,名稱相同的文件,建議在【同名文件】配置處選擇【跳過(保留目標桶中已有的同名文件)】,系統默認選擇【覆蓋(源桶中的文件會覆蓋目標桶中的同名文件)】。若在遷移過程中文件內容有變化,需要進行二次遷移。

11. 選擇遷移模式。

  • 新建遷移任務後立即啟動全託管遷移:選擇託管遷移,用戶單擊「新建並啟動」後 MSP 服務將通過公網訪問源存儲進行遷移。
  • 新建遷移任務後手動下載 Agent 啟動遷移:選擇 Agent 模式遷移,用戶在單擊「新建並啟動」後,將僅創建任務配置,需要用戶手動下載 Agent 在遷移源一側的伺服器上部署之後才會正式啟動遷移。Agent 模式適用於已有專線希望通過專線遷移的場景。

12. 單擊【新建並啟動】,即可啟動遷移任務。

三、遷移狀態和進度

在文件遷移工具主介面中,可以查看所有文件遷移任務的狀態和進度:

  • 「任務完成」狀態,綠色是任務完成並且所有文件都遷移成功,黃色是遷移任務完成但部分文件遷移失敗。
  • 單擊「重試失敗任務」鏈接後,該任務中失敗的文件將會重試遷移,已經成功遷移的文件不會重傳。
  • 單擊「導出」鏈接可以導出遷移過程中失敗的文件列表。

四、遷移完成時間

遷移速度由遷移過程中涉及到的每一個環節的最低速度決定,同時受到網路傳輸速度和最大並發數影響。

影響因素有:

影響因素

說明

遷出源的讀取速度

數據源的讀取速度因不同的服務商而不同,通常:傳輸速度在50Mbps – 200Mbps之間。文件讀取並發在500 – 3000之間(大量小文件的傳輸受並發限制)。

MSP 平台的傳輸速度

MSP 平台提供最大200Mbps的遷移頻寬。

遷入目標位置的寫入速度

騰訊雲對象存儲 COS:寫入傳輸速度200Mbps,寫入並發500 – 800之間。整體遷移速度會是6MByte – 25MByte(即21GB/小時 – 87GB/小時)之間。

點擊領取COS限時1元禮包!