CDM遷移原理
- 全托管安全模式
用戶使用CDM服務時，CDM管理系統(tǒng)在用戶VPC中發(fā)放全托管的CDM實例。此實例僅提供控制臺和Rest API訪問權(quán)限，用戶無法通過其他接口（如SSH）訪問實例。這種方式保證了CDM用戶間的隔離，避免數(shù)據(jù)泄漏，同時保證VPC內(nèi)不同云服務間數(shù)據(jù)遷移時的傳輸安全。用戶還可以使用VPN網(wǎng)絡將本地數(shù)據(jù)中心的數(shù)據(jù)遷移到云服務。
- 抽取-寫入模式
CDM首先從源端抽取數(shù)據(jù)然后將數(shù)據(jù)寫入到目的端，數(shù)據(jù)訪問操作均由CDM主動發(fā)起，對于數(shù)據(jù)源（如RDS數(shù)據(jù)源）支持SSL時，會使用SSL加密傳輸。遷移過程要求用戶提供源端和目的端數(shù)據(jù)源的用戶名和密碼，這些信息將存儲在CDM實例的數(shù)據(jù)庫中。保護這些信息對于CDM安全至關(guān)重要。
CDM數(shù)據(jù)遷移開發(fā)流程
數(shù)據(jù)遷移前，您可以通過下圖了解數(shù)據(jù)遷移的基本流程。
-
增量遷移
文件增量遷移
關(guān)系數(shù)據(jù)庫增量遷移
HBase/CloudTable增量遷移
文件增量遷移、關(guān)系數(shù)據(jù)庫增量遷移、HBase/CloudTable增量遷移
-
時間宏變量使用解析
通過時間宏變量+定時執(zhí)行作業(yè)，可以實現(xiàn)數(shù)據(jù)庫增量同步和文件增量同步。
通過時間宏變量+定時執(zhí)行作業(yè)，可以實現(xiàn)數(shù)據(jù)庫增量同步和文件增量同步。
-
事務模式遷移
當CDM作業(yè)執(zhí)行失敗時，將數(shù)據(jù)回滾到作業(yè)開始之前的狀態(tài)，自動清理目的表中的數(shù)據(jù)。
當CDM作業(yè)執(zhí)行失敗時，將數(shù)據(jù)回滾到作業(yè)開始之前的狀態(tài)，自動清理目的表中的數(shù)據(jù)。
-
遷移文件時加解密
在遷移文件到文件系統(tǒng)時，CDM支持通過AES-256-GCM加密、KMS加密方式對文件加解密。
在遷移文件到文件系統(tǒng)時，CDM支持通過AES-256-GCM加密、KMS加密方式對文件加解密。
-
MD5校驗文件一致性
CDM數(shù)據(jù)遷移以抽取-寫入模式進行，CDM首先從源端抽取數(shù)據(jù)，然后將數(shù)據(jù)寫入到目的端。支持使用MD5檢驗文件一致性。
CDM數(shù)據(jù)遷移以抽取-寫入模式進行，CDM首先從源端抽取數(shù)據(jù)，然后將數(shù)據(jù)寫入到目的端。支持使用MD5檢驗文件一致性。
-
記錄數(shù)據(jù)遷移入庫時間
支持連接器源端為關(guān)系型數(shù)據(jù)庫時，在表字段映射中使用時間宏變量增加入庫時間字段，用以記錄關(guān)系型數(shù)據(jù)庫的入庫時間等用途。
支持連接器源端為關(guān)系型數(shù)據(jù)庫時，在表字段映射中使用時間宏變量增加入庫時間字段，用以記錄關(guān)系型數(shù)據(jù)庫的入庫時間等用途。