CDM遷移原理
- 全托管安全模式
用戶(hù)使用CDM服務(wù)時(shí)，CDM管理系統(tǒng)在用戶(hù)VPC中發(fā)放全托管的CDM實(shí)例。此實(shí)例僅提供控制臺(tái)和Rest API訪問(wèn)權(quán)限，用戶(hù)無(wú)法通過(guò)其他接口（如SSH）訪問(wèn)實(shí)例。這種方式保證了CDM用戶(hù)間的隔離，避免數(shù)據(jù)泄漏，同時(shí)保證VPC內(nèi)不同云服務(wù)間數(shù)據(jù)遷移時(shí)的傳輸安全。用戶(hù)還可以使用VPN網(wǎng)絡(luò)將本地?cái)?shù)據(jù)中心的數(shù)據(jù)遷移到云服務(wù)。
- 抽取-寫(xiě)入模式
CDM首先從源端抽取數(shù)據(jù)然后將數(shù)據(jù)寫(xiě)入到目的端，數(shù)據(jù)訪問(wèn)操作均由CDM主動(dòng)發(fā)起，對(duì)于數(shù)據(jù)源（如RDS數(shù)據(jù)源）支持SSL時(shí)，會(huì)使用SSL加密傳輸。遷移過(guò)程要求用戶(hù)提供源端和目的端數(shù)據(jù)源的用戶(hù)名和密碼，這些信息將存儲(chǔ)在CDM實(shí)例的數(shù)據(jù)庫(kù)中。保護(hù)這些信息對(duì)于CDM安全至關(guān)重要。
CDM數(shù)據(jù)遷移開(kāi)發(fā)流程
數(shù)據(jù)遷移前，您可以通過(guò)下圖了解數(shù)據(jù)遷移的基本流程。
CDM最佳實(shí)踐
-
增量遷移
文件增量遷移
關(guān)系數(shù)據(jù)庫(kù)增量遷移
HBase/CloudTable增量遷移
文件增量遷移、關(guān)系數(shù)據(jù)庫(kù)增量遷移、HBase/CloudTable增量遷移
-
時(shí)間宏變量使用解析
通過(guò)時(shí)間宏變量+定時(shí)執(zhí)行作業(yè)，可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)增量同步和文件增量同步。
通過(guò)時(shí)間宏變量+定時(shí)執(zhí)行作業(yè)，可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)增量同步和文件增量同步。
-
事務(wù)模式遷移
當(dāng)CDM作業(yè)執(zhí)行失敗時(shí)，將數(shù)據(jù)回滾到作業(yè)開(kāi)始之前的狀態(tài)，自動(dòng)清理目的表中的數(shù)據(jù)。
當(dāng)CDM作業(yè)執(zhí)行失敗時(shí)，將數(shù)據(jù)回滾到作業(yè)開(kāi)始之前的狀態(tài)，自動(dòng)清理目的表中的數(shù)據(jù)。
-
遷移文件時(shí)加解密
在遷移文件到文件系統(tǒng)時(shí)，CDM支持通過(guò)AES-256-GCM加密、KMS加密方式對(duì)文件加解密。
在遷移文件到文件系統(tǒng)時(shí)，CDM支持通過(guò)AES-256-GCM加密、KMS加密方式對(duì)文件加解密。
-
MD5校驗(yàn)文件一致性
CDM數(shù)據(jù)遷移以抽取-寫(xiě)入模式進(jìn)行，CDM首先從源端抽取數(shù)據(jù)，然后將數(shù)據(jù)寫(xiě)入到目的端。支持使用MD5檢驗(yàn)文件一致性。
CDM數(shù)據(jù)遷移以抽取-寫(xiě)入模式進(jìn)行，CDM首先從源端抽取數(shù)據(jù)，然后將數(shù)據(jù)寫(xiě)入到目的端。支持使用MD5檢驗(yàn)文件一致性。
-
記錄數(shù)據(jù)遷移入庫(kù)時(shí)間
支持連接器源端為關(guān)系型數(shù)據(jù)庫(kù)時(shí)，在表字段映射中使用時(shí)間宏變量增加入庫(kù)時(shí)間字段，用以記錄關(guān)系型數(shù)據(jù)庫(kù)的入庫(kù)時(shí)間等用途。
支持連接器源端為關(guān)系型數(shù)據(jù)庫(kù)時(shí)，在表字段映射中使用時(shí)間宏變量增加入庫(kù)時(shí)間字段，用以記錄關(guān)系型數(shù)據(jù)庫(kù)的入庫(kù)時(shí)間等用途。