數(shù)據(jù)復(fù)制服務(wù) （Data Replication Service，簡稱DRS）支持將本地MongoDB 數(shù)據(jù)庫 的 數(shù)據(jù)遷移 至本云 文檔數(shù)據(jù)庫服務(wù) （Document Database Service，以下簡稱DDS）實例。通過DRS提供的實時 遷移 任務(wù)，實現(xiàn)在 數(shù)據(jù)庫遷移 過程中業(yè)務(wù)和數(shù)據(jù)庫不停機，業(yè)務(wù)中斷時間最小化。
本章節(jié)主要介紹了通過DRS將本地MongoDB數(shù)據(jù)庫實時遷移至本云DDS的任務(wù)配置流程。支持以下網(wǎng)絡(luò)類型：
· VPN（ Virtual Private Network ， 虛擬專用網(wǎng)絡(luò) ）網(wǎng)絡(luò)
· 公網(wǎng)網(wǎng)絡(luò)
網(wǎng)絡(luò)示意圖
、
遷移流程
遷移建議（重要）
· 數(shù)據(jù)庫遷移與環(huán)境多樣性和人為操作均有密切關(guān)系，為了確保遷移的平順，建議您在進行正式的數(shù)據(jù)庫遷移之前進行一次演練，可以幫助您提前發(fā)現(xiàn)問題并解決問題，如何最小化對數(shù)據(jù)庫的影響請參考如下建議。
· 強烈建議您在啟動任務(wù)時選擇“稍后啟動”功能，將啟動時間設(shè)置在業(yè)務(wù)低峰期，相對靜止的數(shù)據(jù)可以有效提升一次性遷移成功率，避免遷移對業(yè)務(wù)造成性能影響。
遷移須知（重要）
須知：在創(chuàng)建遷移任務(wù)之前，請您務(wù)必仔細(xì)閱讀遷移須知。參考《 數(shù)據(jù)復(fù)制 服務(wù)快速入門》中的“使用須知”章節(jié)。
遷移準(zhǔn)備
1、權(quán)限準(zhǔn)備：
當(dāng)使用 DRS 將本地數(shù)據(jù)庫的數(shù)據(jù)遷移到本云DDS實例時，在不同遷移類型情況下，對源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的帳號權(quán)限要求如表1所示：
|
遷移類型 |
全量遷移 |
全量+增量遷移 |
|---|---|---|
|
源數(shù)據(jù)庫 |
· 副本集：連接源數(shù)據(jù)庫的用戶權(quán)限需要對admin數(shù)據(jù)庫有readAnyDatabase權(quán)限。 · 集群：連接源數(shù)據(jù)庫的用戶權(quán)限需要對admin數(shù)據(jù)庫有readAnyDatabase權(quán)限，對config數(shù)據(jù)庫有read權(quán)限。 · 單節(jié)點：連接源數(shù)據(jù)庫的用戶權(quán)限需要對admin數(shù)據(jù)庫有readAnyDatabase權(quán)限。 · 如果需要遷移源數(shù)據(jù)庫用戶和角色信息，連接源數(shù)據(jù)庫的用戶權(quán)限需要對admin數(shù)據(jù)庫的系統(tǒng)表system.users，system.roles有讀權(quán)限。 |
· 副本集：連接源數(shù)據(jù)庫的用戶權(quán)限需要對admin數(shù)據(jù)庫有readAnyDatabase權(quán)限，對local數(shù)據(jù)庫有read權(quán)限。 · 單節(jié)點：連接源數(shù)據(jù)庫的用戶權(quán)限需要對admin數(shù)據(jù)庫有readAnyDatabase權(quán)限，對local數(shù)據(jù)庫有read權(quán)限。 · 集群：連接源數(shù)據(jù)庫mongos節(jié)點的用戶權(quán)限需要對admin數(shù)據(jù)庫有readAnyDatabase權(quán)限，對config數(shù)據(jù)庫有read權(quán)限， 連接源數(shù)據(jù)庫分片節(jié)點的用戶權(quán)限需要對admin數(shù)據(jù)庫有readAnyDatabase權(quán)限，對local數(shù)據(jù)庫有read權(quán)限。 · 如果需要遷移源數(shù)據(jù)庫用戶和角色信息，連接源數(shù)據(jù)庫的用戶權(quán)限需要對admin數(shù)據(jù)庫的系統(tǒng)表system.users，system.roles有讀權(quán)限。 |
|
目標(biāo)數(shù)據(jù)庫 |
連接目標(biāo)數(shù)據(jù)庫的用戶權(quán)限需要對admin數(shù)據(jù)庫有readAnyDatabase權(quán)限，對目標(biāo)數(shù)據(jù)庫有readWrite權(quán)限。 |
|
· 源數(shù)據(jù)庫的權(quán)限設(shè)置：
需要確保源數(shù)據(jù)庫MongoDB的帳號具備表1的權(quán)限，若權(quán)限不足，需要在源數(shù)據(jù)庫端創(chuàng)建高權(quán)限的帳號。
· 目標(biāo)數(shù)據(jù)庫的權(quán)限設(shè)置：
本云DDS實例使用初始帳號即可。
2、網(wǎng)絡(luò)準(zhǔn)備：
· 源數(shù)據(jù)庫的網(wǎng)絡(luò)設(shè)置：
本地MongoDB數(shù)據(jù)庫實時遷移至本云DDS的場景，一般可以使用VPN網(wǎng)絡(luò)和公網(wǎng)網(wǎng)絡(luò)兩種方式進行遷移，您可以根據(jù)實際情況為本地MongoDB數(shù)據(jù)庫開放公網(wǎng)訪問或建立VPN訪問。一般推薦使用公網(wǎng)網(wǎng)絡(luò)進行遷移，該方式下的數(shù)據(jù)遷移過程較為方便和經(jīng)濟。
· 目標(biāo)數(shù)據(jù)庫的網(wǎng)絡(luò)設(shè)置：
a）若通過VPN訪問，請先開通華為VPN服務(wù)，確保源數(shù)據(jù)庫和目標(biāo)DDS網(wǎng)絡(luò)互通。
b）若通過公網(wǎng)網(wǎng)絡(luò)訪問，目標(biāo)DDS不需要進行設(shè)置。
3、安全規(guī)則準(zhǔn)備：
a）源數(shù)據(jù)庫的白名單設(shè)置：
· 若通過公網(wǎng)網(wǎng)絡(luò)進行遷移，源數(shù)據(jù)庫MongoDB實例需要將具體的DRS遷移實例的 彈性公網(wǎng)IP 添加到其網(wǎng)絡(luò)白名單中，確保源數(shù)據(jù)庫MongoDB實例可以與上述彈性 公網(wǎng)IP 連通。在設(shè)置網(wǎng)絡(luò)白名單之前需要獲取DRS遷移實例，具體方法如下：
遷移實例創(chuàng)建成功后，可在“源庫及目標(biāo)庫”頁面獲取DRS遷移實例的彈性公網(wǎng)IP。如圖4所示：
以上講述的是精細(xì)配置白名單的方法，還有一種簡單設(shè)置白名單的方法，在安全允許的情況下，可以將源數(shù)據(jù)庫MongoDB實例的網(wǎng)絡(luò)白名單設(shè)置為0.0.0.0/0，代表允許任何IP地址訪問該實例。
· 若通過VPN網(wǎng)絡(luò)進行遷移，源庫需要將DRS遷移實例的私有IP添加到其網(wǎng)絡(luò)白名單內(nèi)，確保源端和目標(biāo)端網(wǎng)絡(luò)互通。
上述的網(wǎng)絡(luò)白名單是為了進行數(shù)據(jù)遷移設(shè)置的，遷移結(jié)束后可以刪除。
b）目標(biāo) 數(shù)據(jù)庫安全 組規(guī)則設(shè)置：
目標(biāo)數(shù)據(jù)庫默認(rèn)與DRS遷移實例處在同一個VPC，網(wǎng)絡(luò)是互通的，DRS可以直接寫入數(shù)據(jù)到目標(biāo)數(shù)據(jù)庫，不需要進行任何設(shè)置。
4、其他事項準(zhǔn)備：
由于遷移過程不會遷移MongoDB數(shù)據(jù)庫的用戶信息以及相關(guān)參數(shù)，需要自行將上述信息導(dǎo)出后手動添加到目標(biāo)DDS中。
遷移步驟
以下操作以公網(wǎng)網(wǎng)絡(luò)遷移的方式為例，指導(dǎo)您通過DRS將本地MongoDB數(shù)據(jù)庫實時遷移至本云DDS實例。
1、創(chuàng)建遷移任務(wù)。
a）登錄管理控制臺，在服務(wù)列表中選擇，進入數(shù)據(jù)復(fù)制服務(wù)信息頁面。
b）在“實時遷移管理”頁面，單擊右上角“創(chuàng)建遷移任務(wù)”，進入遷移任務(wù)信息頁面。
c）在“遷移實例”頁面，填選任務(wù)名稱、通知收件人、描述和遷移實例信息。
|
參數(shù) |
描述 |
|---|---|
|
區(qū)域 |
當(dāng)前所在區(qū)域，可進行切換。 |
|
任務(wù)名稱 |
任務(wù)名稱在4-50位之間，必須以字母開頭，不區(qū)分大小寫，可以包含字母、數(shù)字、中劃線或下劃線，不能包含其他的特殊字符。 |
|
描述 |
描述不能超過256位，且不能包含! = < > & ' " \ 特殊字符。 |
|
任務(wù)異常通知設(shè)置 |
該項為可選參數(shù)，開啟之后，選擇對應(yīng)的 SMN 主題，。當(dāng)同步任務(wù)狀態(tài)異常時，系統(tǒng)將發(fā)送通知。 |
|
SMN主題 |
“任務(wù)異常通知設(shè)置”項開啟后可見，需提前在SMN上申請主題并添加訂閱。 |
|
時延閾值 |
在增量同步階段，源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫之間的同步有時會存在一個時間差，稱為時延，單位為秒。 時延閾值設(shè)置是指時延超過一定的值后（時延閾值范圍為1—3600s），DRS可以發(fā)送告警通知給指定收件人。告警通知將在時延穩(wěn)定超過設(shè)定的閾值6min后發(fā)送，避免出現(xiàn)由于時延波動反復(fù)發(fā)送告警通知的情況。 說明：
· 首次進入增量同步階段，會有較多數(shù)據(jù)等待同步，存在較大的時延，屬于正常情況，不在此功能的監(jiān)控范圍之內(nèi)。 · 設(shè)置時延閾值之前，需要設(shè)置任務(wù)異常通知。 |
|
任務(wù)異常自動結(jié)束時間（天） |
設(shè)置任務(wù)異常自動結(jié)束天數(shù)，輸入值必須在14-100之間。 說明：異常狀態(tài)下的任務(wù)仍然會計費，而長時間異常的任務(wù)無法續(xù)傳和恢復(fù)。設(shè)置任務(wù)異常自動結(jié)束天數(shù)后，異常且超時的任務(wù)將會自動結(jié)束，以免產(chǎn)生不必要的費用。
|
|
參數(shù) |
描述 |
|---|---|
|
數(shù)據(jù)流動方向 |
選擇入云。 |
|
源數(shù)據(jù)庫引擎 |
選擇MongoDB數(shù)據(jù)庫引擎。 |
|
目標(biāo)數(shù)據(jù)庫引擎 |
選擇DDS數(shù)據(jù)庫引擎。 |
|
網(wǎng)絡(luò)類型 |
選擇公網(wǎng)網(wǎng)絡(luò)。建議您開啟SSL安全連接，SSL約降低20-30%的遷移性能，但保證了數(shù)據(jù)的安全性。 |
|
目標(biāo)數(shù)據(jù)庫實例 |
選擇您所創(chuàng)建的本云DDS實例。 |
|
遷移模式 |
· 全量 全量為一次性遷移，如果您只進行全量遷移時，建議停止對源數(shù)據(jù)庫的操作，否則遷移過程中源數(shù)據(jù)庫產(chǎn)生的新數(shù)據(jù)不會同步到目標(biāo)數(shù)據(jù)庫。 · 全量+增量 增量可以在全量遷移完成的基礎(chǔ)上實現(xiàn)數(shù)據(jù)的持續(xù)同步。 您可以選擇全量+增量的遷移模式，實現(xiàn)遷移過程中源業(yè)務(wù)和數(shù)據(jù)庫繼續(xù)對外提供訪問。 |
d）在“源庫及目標(biāo)庫”頁面，遷移實例創(chuàng)建成功后，填選源庫信息和目標(biāo)庫信息，建議您單擊“源庫和目標(biāo)庫”處的“測試連接”，分別測試并確定與源庫和目標(biāo)庫連通后，勾選協(xié)議，單擊“下一步”。
|
參數(shù) |
描述 |
|---|---|
|
mongosIP地址或域名 |
源數(shù)據(jù)庫的IP地址或域名，格式為IP地址/域名:端口。其中源數(shù)據(jù)庫服務(wù)端口，可輸入范圍為1~65534間的整數(shù)。 該輸入框最多支持填寫3組源數(shù)據(jù)庫的IP地址或者域名信息，多個值需要使用英文逗號隔開。例如：192.168.0.1:8080,192.168.0.2:8080。同時需要確保所填寫的多個IP地址或域名屬于同一個分片集群。 說明：
此處若填寫的是多組IP地址或者域名信息，在進行測試連接的過程中，只要存在一組IP地址或者域名可以連通，那么測試連接就提示成功。所以需要您保證填寫的IP地址或域名的正確性。 |
|
賬號認(rèn)證數(shù)據(jù)庫 |
填寫的數(shù)據(jù)庫賬號所屬的數(shù)據(jù)庫名稱。例如：華為云DDS實例默認(rèn)的賬號認(rèn)證數(shù)據(jù)庫為admin。 |
|
mongos用戶名 |
訪問源數(shù)據(jù)庫MongoDB的用戶名。 |
|
mongos密碼 |
訪問源數(shù)據(jù)庫MongoDB的用戶名所對應(yīng)的密碼。 |
|
SSL安全連接 |
通過該功能，用戶可以選擇是否開啟對遷移鏈路的加密。如果開啟該功能，需要用戶上傳SSL CA根證書。 |
|
分片數(shù)據(jù)庫 |
根據(jù)源庫實際的集群分片個數(shù)，填寫對應(yīng)的分片數(shù)據(jù)庫信息。 |
· 目標(biāo)庫信息配置
|
參數(shù) |
描述 |
|---|---|
|
數(shù)據(jù)庫實例名稱 |
默認(rèn)為創(chuàng)建遷移任務(wù)時選擇的數(shù)據(jù)庫實例，不可進行修改。 |
|
數(shù)據(jù)庫用戶名 |
目標(biāo)數(shù)據(jù)庫對應(yīng)的數(shù)據(jù)庫用戶名。 |
|
數(shù)據(jù)庫密碼 |
目標(biāo)數(shù)據(jù)庫的登錄密碼。 |
e）在“遷移設(shè)置”頁面，設(shè)置遷移對象，單擊“下一步”。
|
參數(shù) |
描述 |
|---|---|
|
遷移用戶 |
|
|
其他遷移選項 |
根據(jù)業(yè)務(wù)需求，選擇全量遷移是否遷移用戶自行創(chuàng)建的索引，基于_id的默認(rèn)索引目標(biāo)端會自動創(chuàng)建。如果不遷移索引，索引不參與對比。 |
|
遷移對象 |
您可以根據(jù)業(yè)務(wù)需求，選擇全部對象遷移、表級遷移或者庫級遷移。 · 全部遷移：將源數(shù)據(jù)庫中的所有對象全部遷移至目標(biāo)數(shù)據(jù)庫，對象遷移到目標(biāo)數(shù)據(jù)庫實例后，對象名將會保持與源數(shù)據(jù)庫實例對象名一致且無法修改。 · 表級遷移：將選擇的表級對象遷移至目標(biāo)數(shù)據(jù)庫。 · 庫級遷移：將選擇的庫級對象遷移至目標(biāo)數(shù)據(jù)庫。 如果有切換源數(shù)據(jù)庫的操作或源庫遷移對象變化的情況，請務(wù)必在選擇遷移對象前單擊右上角的 說明：
· 若選擇部分?jǐn)?shù)據(jù)庫進行遷移時，由于存儲過程、視圖等對象可能與其他數(shù)據(jù)庫的表存在依賴關(guān)系，若所依賴的表未遷移，則會導(dǎo)致遷移失敗。建議您在遷移之前進行確認(rèn)，或選擇全部數(shù)據(jù)庫進行遷移。 · 選擇對象的時候，對象名稱的前后空格不顯示，中間如有多個空格只顯示一個空格。 · 選擇對象的時候支持搜索，以便您快速選擇需要的數(shù)據(jù)庫對象。 |
，以確保待選擇的對象為最新源數(shù)據(jù)庫對象。f）在“預(yù)檢查”頁面，進行遷移任務(wù)預(yù)校驗，校驗是否可進行任務(wù)遷移。
· 查看檢查結(jié)果，如有不通過的檢查項，需要修復(fù)不通過項后，單擊“重新校驗”按鈕重新進行遷移任務(wù)預(yù)校驗。
預(yù)檢查不通過項處理建議請參見《數(shù)據(jù)復(fù)制服務(wù)用戶指南》中的“預(yù)檢查不通過項修復(fù)方法”。
· 預(yù)檢查完成后，且所有檢查項結(jié)果均通過時，單擊“下一步”。
說明：所有檢查項結(jié)果均通過時，若存在待確認(rèn)項，需要閱讀并確認(rèn)詳情后才可以繼續(xù)執(zhí)行下一步操作。
g）在“任務(wù)確認(rèn)”頁面，選擇遷移任務(wù)的啟動時間，勾選協(xié)議，單擊“啟動任務(wù)”，提交遷移任務(wù)。
· 遷移任務(wù)的啟動時間可以根據(jù)業(yè)務(wù)需求，設(shè)置為“立即啟動”或“稍后啟動”。
· 預(yù)計遷移任務(wù)啟動后，會對源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的性能產(chǎn)生影響，建議選擇業(yè)務(wù)低峰期，合理設(shè)置遷移任務(wù)的啟動時間。如果遷移不可避免業(yè)務(wù)高峰期，推薦使用遷移限速功能，即“流速模式”選擇“限速”。
h）遷移任務(wù)提交后，開始啟動遷移任務(wù)，您可以返回“實時遷移管理”頁面，查看遷移任務(wù)狀態(tài)。
2、任務(wù)管理。
同步任務(wù)啟動后，會經(jīng)歷全量同步和增量同步兩個階段，對于不同階段的同步任務(wù)，您可以進行任務(wù)管理。
· 全量同步
查看同步進度：全量同步中的任務(wù)，您可單擊任務(wù)名稱，在“同步進度”頁簽下，查看全量同步進度，您可以查看結(jié)構(gòu)、數(shù)據(jù)、索引同步的進度，也查看具體同步對象的同步進度。當(dāng)全量同步進度顯示為100%，表示全量同步已經(jīng)完成。
· 增量同步
【查看時延監(jiān)控】全量同步完成后，開始進行增量同步。對于增量同步中的任務(wù)，您可單擊任務(wù)名稱，在“同步進度”頁簽下，查看增量同步同步時延，當(dāng)時延為0s時，說明源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)是實時同步的。您也可以使用“同步對比”頁簽進行一致性對比。
圖10 查看時延監(jiān)控
【查看同步對比】為了盡可能減少業(yè)務(wù)的影響和業(yè)務(wù)中斷時間，增量同步中的任務(wù)，您可單擊任務(wù)名稱，在“同步對比”頁簽下創(chuàng)建對比任務(wù)。
具體的同步對比操作及注意事項請參考《數(shù)據(jù)復(fù)制服務(wù)用戶指南》中“對比同步項”章節(jié)。
3、割接建議。
建議您選擇一個業(yè)務(wù)低峰期，開始正式系統(tǒng)割接流程。割接前，請您確認(rèn)至少在業(yè)務(wù)低峰期有過一次完整的數(shù)據(jù)對比?？梢越Y(jié)合數(shù)據(jù)對比的“稍后啟動”功能，選擇業(yè)務(wù)低峰期進行數(shù)據(jù)對比，以便得到更為具有參考性的對比結(jié)果。由于同步具有輕微的時差，在數(shù)據(jù)持續(xù)操作過程中進行對比任務(wù)，可能會出現(xiàn)少量數(shù)據(jù)不一致對比結(jié)果，從而失去參考意義。
a）先中斷業(yè)務(wù)（如果業(yè)務(wù)負(fù)載非常輕，也可以嘗試不中斷業(yè)務(wù)）。
b）在源數(shù)據(jù)庫端執(zhí)行如下語句，并觀察在1-5分鐘內(nèi)若無任何新會話執(zhí)行SQL ，則可認(rèn)為業(yè)務(wù)已經(jīng)完全停止。
db.currentOp()
說明：上述語句查詢到的進程列表中，包括DRS遷移實例的連接，您需要確認(rèn)除DRS遷移實例的連接外無任何新會話執(zhí)行SQL，即可認(rèn)為業(yè)務(wù)已經(jīng)完全停止。
c）通過DRS遷移任務(wù)監(jiān)控頁面進行觀察同步時延，保持實時同步時延為0，并穩(wěn)定保持一段時間；同時，您可以使用數(shù)據(jù)級對比功能，進行割接前的最后一次數(shù)據(jù)級對比，耗時可參考之前的對比記錄。
· 如果時間允許，則選擇全部對比。
· 如果時間不允許，則推薦對比活躍表，關(guān)鍵業(yè)務(wù)表，第二步對比多次存在差異的表等。
d）確定系統(tǒng)割接時機，業(yè)務(wù)系統(tǒng)指向本 云數(shù)據(jù)庫 ，業(yè)務(wù)對外恢復(fù)使用，遷移完成。
4、遷移結(jié)束。
a）結(jié)束遷移任務(wù)：業(yè)務(wù)系統(tǒng)和數(shù)據(jù)庫切換至本云后，為了防止源數(shù)據(jù)庫的操作繼續(xù)同步到目標(biāo)數(shù)據(jù)庫，造成數(shù)據(jù)覆蓋問題，此時您可選擇結(jié)束遷移任務(wù)，該操作僅刪除了遷移實例，遷移任務(wù)仍顯示在任務(wù)列表中，您可以進行查看或刪除。結(jié)束遷移任務(wù)后，DRS將不再計費。
b）刪除遷移任務(wù)：對于已結(jié)束的遷移任務(wù)，您可選擇刪除任務(wù)。該操作將一并刪除遷移任務(wù)，刪除遷移任務(wù)后，該任務(wù)將不會出現(xiàn)在任務(wù)列表中。
