從OBS并行導(dǎo)入數(shù)據(jù)

OBS

支持將存儲(chǔ)在OBS上的TXT、CSV、ORC及CARBONDATA格式的數(shù)據(jù)并行導(dǎo)入到GaussDB(DWS)，支持導(dǎo)入后查詢數(shù)據(jù)，也支持遠(yuǎn)程讀OBS上的數(shù)據(jù)。

GaussDB(DWS)優(yōu)先推薦的導(dǎo)入方式。

并行拉取方式，性能好，橫向擴(kuò)展。

使用GDS從遠(yuǎn)端服務(wù)器導(dǎo)入數(shù)據(jù)

Servers（即遠(yuǎn)端服務(wù)器）

使用GaussDB(DWS)提供的GDS工具，利用多DN并行的方式，將數(shù)據(jù)從遠(yuǎn)端服務(wù)器導(dǎo)入到GaussDB(DWS)。這種方式導(dǎo)入效率高，適用于大批量數(shù)據(jù)入庫。

并行拉取方式，性能好，橫向擴(kuò)展。

從MRS導(dǎo)入數(shù)據(jù)到集群

MRS（HDFS）

配置一個(gè)GaussDB(DWS)集群連接到一個(gè)MRS集群，然后將數(shù)據(jù)從MRS的HDFS中讀取到GaussDB(DWS)。

并行拉取方式，性能好，橫向擴(kuò)展。

從DWS集群導(dǎo)入數(shù)據(jù)到新集群

DWS

支持兩個(gè)GaussDB(DWS)集群之間的數(shù)據(jù)互訪互通。通過Foreign Table方式實(shí)現(xiàn)跨DWS集群的數(shù)據(jù)訪問和導(dǎo)入。

適用于多套DWS集群之間的數(shù)據(jù)同步。

基于GDS的跨集群互聯(lián)互通

DWS

通過GDS進(jìn)行數(shù)據(jù)中轉(zhuǎn)，實(shí)現(xiàn)多個(gè)集群之間的數(shù)據(jù)同步。

適用于多套DWS集群之間的數(shù)據(jù)同步。

使用gsql元命令\COPY導(dǎo)入數(shù)據(jù)

本地文件

與直接使用SQL語句COPY不同，該命令讀取/寫入的文件只能是gsql客戶端所在機(jī)器上的本地文件。

操作簡(jiǎn)單，適用于小批量數(shù)據(jù)入庫。

使用COPY FROM STDIN導(dǎo)入數(shù)據(jù)

其他文件或數(shù)據(jù)庫

使用Java語言開發(fā)應(yīng)用程序時(shí)，通過調(diào)用JDBC驅(qū)動(dòng)的CopyManager接口，從文件或其他數(shù)據(jù)庫向GaussDB(DWS)寫入數(shù)據(jù)。

從其他數(shù)據(jù)庫直接寫入DWS的方式，具有業(yè)務(wù)數(shù)據(jù)無需落地成文件的優(yōu)勢(shì)。

使用DLI Flink將MySQL數(shù)據(jù)導(dǎo)入DWS集群

MySQL

使用華為云DLI服務(wù)的Flink作業(yè)，將MySQL數(shù)據(jù)實(shí)時(shí)同步到GaussDB(DWS)。

操作簡(jiǎn)單。

使用CDM遷移數(shù)據(jù)到GaussDB(DWS)

數(shù)據(jù)庫、NoSQL、文件系統(tǒng)、大數(shù)據(jù)平臺(tái)

CDM提供同構(gòu)/異構(gòu)數(shù)據(jù)源之間批量數(shù)據(jù)遷移的功能，幫助您實(shí)現(xiàn)從多種類型的數(shù)據(jù)源遷移數(shù)據(jù)到GaussDB(DWS)。CDM在遷移數(shù)據(jù)到GaussDB(DWS)時(shí)，采用的是Copy方式和GDS并行導(dǎo)入方式。

數(shù)據(jù)源豐富，操作簡(jiǎn)單。

使用DSC工具遷移SQL腳本

數(shù)據(jù)庫、NoSQL、文件系統(tǒng)、大數(shù)據(jù)平臺(tái)

GaussDB(DWS)提供了DSC工具，可以將Teradata/Oracle腳本遷移到GaussDB(DWS)。

通過OBS中轉(zhuǎn)，數(shù)據(jù)源豐富，數(shù)據(jù)轉(zhuǎn)換能力強(qiáng)。

使用gs_dump和gs_dumpall命令導(dǎo)出元數(shù)據(jù)

純文本格式、自定義歸檔格式、目錄歸檔格式、tar歸檔格式

gs_dump支持導(dǎo)出單個(gè)數(shù)據(jù)庫或其內(nèi)的對(duì)象，而gs_dumpall支持導(dǎo)出集群中所有數(shù)據(jù)庫或各庫的公共全局對(duì)象。

通過導(dǎo)入工具將導(dǎo)出的元數(shù)據(jù)信息導(dǎo)入至需要的數(shù)據(jù)庫，可以完成數(shù)據(jù)庫信息的遷移。

適用于元數(shù)據(jù)遷移。

使用gs_restore導(dǎo)入數(shù)據(jù)

sql/tmp/tar文件格式

在數(shù)據(jù)庫遷移場(chǎng)景下，支持使用gs_restore工具將事先使用gs_dump工具導(dǎo)出的文件格式，重新導(dǎo)入GaussDB(DWS)集群，實(shí)現(xiàn)表定義、數(shù)據(jù)庫對(duì)象定義等元數(shù)據(jù)的導(dǎo)入。

適用于元數(shù)據(jù)遷移。