CDM 服務(wù)基于分布式計算框架，利用并行化處理技術(shù)，支持用戶穩(wěn)定高效地對海量數(shù)據(jù)進行移動，實現(xiàn)不停服 數(shù)據(jù)遷移 ，快速構(gòu)建所需的數(shù)據(jù)架構(gòu)。
產(chǎn)品功能
表/文件/整庫 遷移
支持批量遷移表或者文件，還支持同構(gòu)/異構(gòu) 數(shù)據(jù)庫 之間整庫遷移，一個作業(yè)即可遷移幾百張表。
增量數(shù)據(jù)遷移
支持文件增量遷移、關(guān)系型數(shù)據(jù)庫增量遷移、HBase/CloudTable增量遷移，以及使用Where條件配合時間變量函數(shù)實現(xiàn)增量數(shù)據(jù)遷移。
事務(wù)模式遷移
支持當CDM作業(yè)執(zhí)行失敗時，將數(shù)據(jù)回滾到作業(yè)開始之前的狀態(tài)，自動清理目的表中的數(shù)據(jù)。
字段轉(zhuǎn)換
支持去隱私、字符串操作、日期操作等常用字段的數(shù)據(jù)轉(zhuǎn)換功能。
文件加密
在遷移文件到文件系統(tǒng)時，CDM支持對寫入云端的文件進行加密。
MD5校驗一致性
支持使用MD5校驗，檢查端到端文件的一致性，并輸出校驗結(jié)果。
臟數(shù)據(jù)歸檔
支持將遷移過程中處理失敗的、被清洗過濾掉的、不符合字段轉(zhuǎn)換或者不符合清洗規(guī)則的數(shù)據(jù)單獨歸檔到臟數(shù)據(jù)日志中，便于用戶查看。并支持設(shè)置臟數(shù)據(jù)比例閾值，來決定任務(wù)是否成功。
猜你喜歡
