檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
高（存儲優(yōu)化，但計算高效） 適用場景 數(shù)據(jù)分析、機(jī)器學(xué)習(xí) 業(yè)務(wù)報表、實時查詢 3. 數(shù)據(jù)湖：一口氣吞下所有數(shù)據(jù) 數(shù)據(jù)湖是一個存儲原始數(shù)據(jù)的大池子，支持各種數(shù)據(jù)格式，包括 JSON、Parquet、CSV、音視頻等。數(shù)據(jù)湖的核心特點(diǎn)是存儲成本低、數(shù)據(jù)保真度高，但查詢性能較差。 3.1 數(shù)據(jù)湖的應(yīng)用場景 機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)存儲
表（Netezza） 分布鍵 DISTRIBUTE ON (column)遷移為DISTRIBUTE BY HASH (column)。 Netezza語法 遷移后語法 1 2 3 4 5 6 7 8 9 10 11 12 CREATE TABLE N_AG_AMT_H
群中的數(shù)據(jù)庫。 僅8.1.3.101及以上集群版本支持在console控制臺下載。 GDS工具包 GDS工具包是數(shù)據(jù)服務(wù)工具。用戶可以使用GDS工具將普通文件系統(tǒng)中的數(shù)據(jù)文件導(dǎo)入到DWS數(shù)據(jù)庫中，GDS工具包需要安裝在數(shù)據(jù)源文件所在的服務(wù)器上。數(shù)據(jù)源文件所在的服務(wù)器稱為數(shù)據(jù)服務(wù)器，也稱為GDS服務(wù)器。
的值。 ROWID ROWID偽列返回特定行的具體地址。 圖1 輸入：ROWID 圖2 輸出：ROWID ROWNUM 對于查詢返回的每行數(shù)據(jù)，ROWNUM偽列段會返回一個數(shù)字，表示Oracle從一個表或一組連接的行中選擇行的順序。選擇的第一行的ROWNUM為1，第二行為2，以此類推。
CONNECT BY 輸入：CONNECT BY 1 2 3 4 5 6 7 8 9 SELECT id FROM city_branch start with id=roleBranchId connect by prior id=parent_id; SELECT T.BRANCH_LEVEL
還具備獨(dú)創(chuàng)的主備從數(shù)據(jù)保護(hù)機(jī)制，并提供自動化增量備份功能，備份數(shù)據(jù)存儲在OBS中，可靠性達(dá)到11個9，保障業(yè)務(wù)數(shù)據(jù)不丟失。與數(shù)據(jù)湖無縫集成，挖掘EB級數(shù)據(jù)金礦企業(yè)中一般存在著各種業(yè)務(wù)系統(tǒng)、運(yùn)維系統(tǒng)以及IoT設(shè)備，每個系統(tǒng)或設(shè)備每天產(chǎn)生大量各式各樣的數(shù)據(jù)，這些數(shù)據(jù)匯聚到一起形成PB
速獲取數(shù)據(jù)價值，需要對數(shù)據(jù)進(jìn)行實時分析，GaussDB(DWS) 的快速入庫和查詢能力可支持實時數(shù)據(jù)分析。 圖4 實時數(shù)據(jù)分析 優(yōu)勢 流式數(shù)據(jù)實時入庫IoT、互聯(lián)網(wǎng)等數(shù)據(jù)經(jīng)過流計算及AI服務(wù)處理后，可實時寫入GaussDB(DWS) 。
第二類工具，關(guān)注如何對湖中的數(shù)據(jù)進(jìn)行分析、挖掘、利用。數(shù)據(jù)湖需要具備完善的數(shù)據(jù)管理能力、多樣化的數(shù)據(jù)分析能力、全面的數(shù)據(jù)生命周期管理能力、安全的數(shù)據(jù)獲取和數(shù)據(jù)發(fā)布能力。如果沒有這些數(shù)據(jù)治理工具，元數(shù)據(jù)缺失，湖里的數(shù)據(jù)質(zhì)量就沒法保障，最終會由數(shù)據(jù)湖變質(zhì)為數(shù)據(jù)沼澤。 隨著大數(shù)據(jù)和AI的發(fā)展，數(shù)據(jù)湖中數(shù)據(jù)
Help命令遷移 功能 help命令用于提供DSC支持的命令相關(guān)的幫助信息。 命令格式 Linux操作系統(tǒng): ./runDSC.sh --help Windows操作系統(tǒng): runDSC.bat --help 命令示例 Linux操作系統(tǒng): ./runDSC.sh --help Windows操作系統(tǒng):
注釋 MySQL支持由 '#' 或 '--' 字符引起的單行注釋，而DWS僅支持由雙破折號 '--' 字符引起的單行注釋。DSC工具遷移時會將 '#' 轉(zhuǎn)化為 '--' 注釋。 輸入示例 1 2 3 4 5 6 7 ## comment sample create a table
本節(jié)包括以下內(nèi)容： 表、臨時表、全局臨時表、索引、視圖、序列、PURGE、數(shù)據(jù)庫關(guān)鍵字，具體內(nèi)容詳見表（Oracle）~數(shù)據(jù)庫關(guān)鍵字章節(jié)。 表（Oracle） 臨時表 全局臨時表 索引 視圖 序列 PURGE 數(shù)據(jù)庫關(guān)鍵字 父主題： Oracle語法遷移
系統(tǒng)函數(shù) 本節(jié)主要介紹Oracle系統(tǒng)函數(shù)的遷移語法。遷移語法決定了關(guān)鍵字/特性的遷移方式。 本節(jié)包括以下內(nèi)容： 日期函數(shù)、LOB函數(shù)、字符串函數(shù)、分析函數(shù)以及正則表達(dá)式函數(shù)，具體內(nèi)容詳見日期函數(shù)~正則表達(dá)式函數(shù)章節(jié)。 日期函數(shù) LOB函數(shù) 字符串函數(shù)（Oracle） 分析函數(shù) 正則表達(dá)式函數(shù)
附加日志數(shù)據(jù) 可以在重做日志文件中記錄附加列。 記錄這些附加列的過程稱為補(bǔ)充日志記錄。 Oracle支持此功能，DWS不支持此功能。 輸入 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 CREATE TABLE
數(shù)據(jù)轉(zhuǎn)換(Transform) 廣義上的數(shù)據(jù)轉(zhuǎn)換包括數(shù)據(jù)清洗，數(shù)據(jù)關(guān)聯(lián)加工，數(shù)據(jù)標(biāo)準(zhǔn)化處理，數(shù)據(jù)匯總聚合等操作。大部分基于業(yè)務(wù)規(guī)則和數(shù)據(jù)模型的數(shù)據(jù)轉(zhuǎn)換操作在MPPDB數(shù)據(jù)庫內(nèi)實現(xiàn)比在數(shù)據(jù)庫外的ETL服務(wù)器上進(jìn)行實現(xiàn)效率更高。而這種轉(zhuǎn)換操作在數(shù)據(jù)庫內(nèi)通過SQL實現(xiàn)T過程，也比通過ETL工具實現(xiàn)T過程更具有
對系統(tǒng)的影響 Hive默認(rèn)數(shù)據(jù)倉庫的權(quán)限被修改，會影響當(dāng)前用戶，用戶組，其他用戶在默認(rèn)數(shù)據(jù)倉庫中創(chuàng)建庫、創(chuàng)建表等操作的操作權(quán)限范圍；會擴(kuò)大或縮小權(quán)限。 可能原因 Hive定時查看默認(rèn)數(shù)據(jù)倉庫的狀態(tài)，發(fā)現(xiàn)Hive默認(rèn)數(shù)據(jù)倉庫權(quán)限發(fā)生更改。 處理步驟 檢查Hive默認(rèn)數(shù)據(jù)倉庫權(quán)限情況。 以ro
策的過程。數(shù)據(jù)會來自多個數(shù)據(jù)源，并整合到一個數(shù)據(jù)庫中。理不清的數(shù)據(jù)倉庫和數(shù)據(jù)庫兩者區(qū)別？數(shù)據(jù)庫是面向事務(wù)的設(shè)計，數(shù)據(jù)倉庫是面向主題設(shè)計的。數(shù)據(jù)庫一般存儲在線交易數(shù)據(jù)，數(shù)據(jù)倉庫存儲的一般是歷史數(shù)據(jù)。數(shù)據(jù)庫設(shè)計是盡量避免冗余，數(shù)據(jù)倉庫在設(shè)計是有意引入冗余。數(shù)據(jù)庫是為捕獲數(shù)據(jù)而設(shè)計，數(shù)
SQL-Server語法遷移 表遷移 數(shù)據(jù)類型遷移 父主題： DSC
運(yùn)行環(huán)境 支持的數(shù)據(jù)庫 DataCheck支持的源數(shù)據(jù)庫如所示。 表1 支持的源數(shù)據(jù)庫 數(shù)據(jù)庫名稱 數(shù)據(jù)庫版本 MySQL 8.0 PostgreSQL 42.6.0 DWS 8.1.0及以上集群版本 DataCheck支持的目標(biāo)數(shù)據(jù)庫如所示。 表2 支持的目標(biāo)數(shù)據(jù)庫 數(shù)據(jù)庫名稱 數(shù)據(jù)庫版本
COMPRESS短語 該功能通過對COMPRESS設(shè)置，遷移過程中默認(rèn)注釋掉COMPRESS短語。 輸入：COMPRESS短語 1 2 3 4 5 6 7 8 9 10 11 12 13 CREATE TABLE test_tab ( id
索引 在DWS中創(chuàng)建索引期間，索引名不能與模式名一起指定。該索引將在創(chuàng)建索引表的模式中自動創(chuàng)建。 圖1 輸入：索引 圖2 輸出：索引 輸入：基于CASE函數(shù)的索引 函數(shù)索引是基于列函數(shù)或表達(dá)式計算結(jié)果創(chuàng)建的索引。 輸入 1 2 3 4 5 6 7 8 9 CREATE UNIQUE
