數(shù)據(jù)倉(cāng)庫(kù)服務(wù)
華為云 數(shù)據(jù)倉(cāng)庫(kù) DWS新一代、全場(chǎng)景數(shù)據(jù)倉(cāng)庫(kù),一站式分析,性能、容量無限擴(kuò)展,守護(hù)高價(jià)值數(shù)據(jù)、創(chuàng)享高價(jià)值分析,是基于華為融合數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品的 云原生 服務(wù)。
數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS入門 數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS入門 新一代、全場(chǎng)景數(shù)據(jù)倉(cāng)庫(kù),一站式分析,性能、容量無限擴(kuò)展,守護(hù)高價(jià)值數(shù)據(jù)、創(chuàng)享高價(jià)值分析,企業(yè)數(shù)字化轉(zhuǎn)型堅(jiān)實(shí)伙伴 新一代、全場(chǎng)景數(shù)據(jù)倉(cāng)庫(kù),一站式分析,性能、容量無限擴(kuò)展,守護(hù)高價(jià)值數(shù)據(jù)、創(chuàng)享高價(jià)值分析,企業(yè)數(shù)字化轉(zhuǎn)型堅(jiān)實(shí)伙伴 購(gòu)買
數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS資源 數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS資源 新一代、全場(chǎng)景數(shù)據(jù)倉(cāng)庫(kù),一站式分析,性能、容量無限擴(kuò)展,守護(hù)高價(jià)值數(shù)據(jù)、創(chuàng)享高價(jià)值分析,企業(yè)數(shù)字化轉(zhuǎn)型堅(jiān)實(shí)伙伴 新一代、全場(chǎng)景數(shù)據(jù)倉(cāng)庫(kù),一站式分析,性能、容量無限擴(kuò)展,守護(hù)高價(jià)值數(shù)據(jù)、創(chuàng)享高價(jià)值分析,企業(yè)數(shù)字化轉(zhuǎn)型堅(jiān)實(shí)伙伴 購(gòu)買
功能概覽 數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS 功能 新一代、全場(chǎng)景數(shù)據(jù)倉(cāng)庫(kù),一站式分析,性能、容量無限擴(kuò)展,守護(hù)高價(jià)值數(shù)據(jù)、創(chuàng)享高價(jià)值分析,企業(yè)數(shù)字化轉(zhuǎn)型堅(jiān)實(shí)伙伴 購(gòu)買 控制臺(tái) 文檔 企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)和標(biāo)準(zhǔn)SQL的支持 當(dāng)創(chuàng)建好DWS集群后,用戶就可以使用SQL客戶端工具連接集群,然后執(zhí)行創(chuàng)建數(shù)
計(jì)費(fèi)說明 數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS 定價(jià) 新一代、全場(chǎng)景數(shù)據(jù)倉(cāng)庫(kù),一站式分析,性能、容量無限擴(kuò)展,守護(hù)高價(jià)值數(shù)據(jù)、創(chuàng)享高價(jià)值分析,企業(yè)數(shù)字化轉(zhuǎn)型堅(jiān)實(shí)伙伴 價(jià)格計(jì)算器 專家咨詢 計(jì)費(fèi)項(xiàng) 華為云DWS根據(jù)您選擇的數(shù)據(jù)倉(cāng)庫(kù)節(jié)點(diǎn)規(guī)格及使用的相關(guān)資源進(jìn)行計(jì)費(fèi)。 計(jì)費(fèi)項(xiàng) 計(jì)費(fèi)說明 數(shù)據(jù)倉(cāng)庫(kù)節(jié)點(diǎn)
GaussDB(DWS)場(chǎng)景與案例 GaussDB(DWS)場(chǎng)景與案例 標(biāo)準(zhǔn)數(shù)倉(cāng)、實(shí)時(shí)數(shù)倉(cāng)、云數(shù)倉(cāng)等多種產(chǎn)品形態(tài),覆蓋政府、金融、企業(yè)、教育、通信、互聯(lián)網(wǎng)等各種行業(yè)的各種應(yīng)用場(chǎng)景。 標(biāo)準(zhǔn)數(shù)倉(cāng)、實(shí)時(shí)數(shù)倉(cāng)、云數(shù)倉(cāng)等多種產(chǎn)品形態(tài),覆蓋政府、金融、企業(yè)、教育、通信、互聯(lián)網(wǎng)等各種行業(yè)的各種應(yīng)用場(chǎng)景。
數(shù)據(jù)倉(cāng)庫(kù)服務(wù) GaussDB(DWS)備份恢復(fù) GaussDB(DWS)提供了多層次、多類型的備份/恢復(fù)方案,無懼誤刪,讓您的數(shù)據(jù)更安全。 技術(shù)特點(diǎn): 支持多種介質(zhì) 支持備份集群數(shù)據(jù)庫(kù)到磁盤、OBS、愛數(shù)、NBU等多種存儲(chǔ)方式。 支持全量+增量備份 支持全量物理備份,差異增量,累積增量等多種類型備份。
數(shù)據(jù)倉(cāng)庫(kù)服務(wù) GaussDB(DWS)兼容性 GaussDB(DWS)采用開放性的設(shè)計(jì)理念,不但支持標(biāo)準(zhǔn)數(shù)倉(cāng)功能,還致力于融合大數(shù)據(jù)平臺(tái)、與云原生服務(wù)互聯(lián)互通。 無縫對(duì)接Hadoop GaussDB(DWS)可以無縫對(duì)接HDFS存儲(chǔ),通過外表機(jī)制,能夠交互式查詢分析Hadoop平
數(shù)據(jù)倉(cāng)庫(kù)服務(wù) GaussDB(DWS)產(chǎn)品架構(gòu) 介紹GaussDB(DWS)的產(chǎn)品架構(gòu)、集群邏輯架構(gòu)和技術(shù)特點(diǎn)。 產(chǎn)品架構(gòu) GaussDB(DWS)由數(shù)據(jù)庫(kù)內(nèi)核部分及一系列相關(guān)工具組成,其產(chǎn)品架構(gòu)如圖1-1所示。 圖 1-1 GaussDB(DWS)產(chǎn)品架構(gòu) GaussDB(DWS)支持標(biāo)準(zhǔn)ANSI
數(shù)據(jù)倉(cāng)庫(kù)服務(wù) GaussDB(DWS)核心技術(shù) GaussDB(DWS)采用分布式shared-nothing集群架構(gòu),支持行列混合存儲(chǔ)計(jì)算,集成高可用、高可靠、高安全、高可擴(kuò)展、智能化技術(shù)棧。 Shared-nothing架構(gòu) GaussDB(DWS)各個(gè)數(shù)據(jù)庫(kù)實(shí)例(DN)擁有
nse商品服務(wù)監(jiān)管流程進(jìn)行交付。注2:此商品為軟件License,企業(yè)需要另行購(gòu)買虛擬機(jī)、網(wǎng)絡(luò)部署軟件;此商品需配套華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)進(jìn)行使用,數(shù)據(jù)倉(cāng)庫(kù)服務(wù)規(guī)格需企業(yè)根據(jù)實(shí)際業(yè)務(wù)需求另行購(gòu)買;此商品不包含前端數(shù)據(jù)ETL工具,企業(yè)根據(jù)業(yè)務(wù)需求自行購(gòu)買配置。 注3:服務(wù)可以通過云市場(chǎng)商品“Yonghong
nse商品服務(wù)監(jiān)管流程進(jìn)行交付。注2:此商品為軟件License,企業(yè)需要另行購(gòu)買虛擬機(jī)、網(wǎng)絡(luò)部署軟件;此商品需配套華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)進(jìn)行使用,數(shù)據(jù)倉(cāng)庫(kù)服務(wù)規(guī)格需企業(yè)根據(jù)實(shí)際業(yè)務(wù)需求另行購(gòu)買;此商品不包含前端數(shù)據(jù)ETL工具,企業(yè)根據(jù)業(yè)務(wù)需求自行購(gòu)買配置。注3:服務(wù)可以通過云市場(chǎng)商品“Yonghong
nse商品服務(wù)監(jiān)管流程進(jìn)行交付。注2:此商品為軟件License,企業(yè)需要另行購(gòu)買虛擬機(jī)、網(wǎng)絡(luò)部署軟件;此商品需配套華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)進(jìn)行使用,數(shù)據(jù)倉(cāng)庫(kù)服務(wù)規(guī)格需企業(yè)根據(jù)實(shí)際業(yè)務(wù)需求另行購(gòu)買;此商品不包含前端數(shù)據(jù)ETL工具,企業(yè)根據(jù)業(yè)務(wù)需求自行購(gòu)買配置。注3:服務(wù)可以通過云市場(chǎng)商品“Yonghong
se商品服務(wù)監(jiān)管流程進(jìn)行交付。 注2:此商品為軟件License,企業(yè)需要另行購(gòu)買虛擬機(jī)、網(wǎng)絡(luò)部署軟件;此商品需配套華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)進(jìn)行使用,數(shù)據(jù)倉(cāng)庫(kù)服務(wù)規(guī)格需企業(yè)根據(jù)實(shí)際業(yè)務(wù)需求另行購(gòu)買;此商品不包含前端數(shù)據(jù)ETL工具,企業(yè)根據(jù)業(yè)務(wù)需求自行購(gòu)買配置。 注3:服務(wù)可以通過云市場(chǎng)商品“Yonghong
se商品服務(wù)監(jiān)管流程進(jìn)行交付。 注2:此商品為軟件License,企業(yè)需要另行購(gòu)買虛擬機(jī)、網(wǎng)絡(luò)部署軟件;此商品需配套華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)進(jìn)行使用,數(shù)據(jù)倉(cāng)庫(kù)服務(wù)規(guī)格需企業(yè)根據(jù)實(shí)際業(yè)務(wù)需求另行購(gòu)買;此商品不包含前端數(shù)據(jù)ETL工具,企業(yè)根據(jù)業(yè)務(wù)需求自行購(gòu)買配置。 注3:服務(wù)可以通過云市場(chǎng)商品“Yonghong
nse商品服務(wù)監(jiān)管流程進(jìn)行交付。注2:此商品為軟件License,企業(yè)需要另行購(gòu)買虛擬機(jī)、網(wǎng)絡(luò)部署軟件;此商品需配套華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)進(jìn)行使用,數(shù)據(jù)倉(cāng)庫(kù)服務(wù)規(guī)格需企業(yè)根據(jù)實(shí)際業(yè)務(wù)需求另行購(gòu)買;此商品不包含前端數(shù)據(jù)ETL工具,企業(yè)根據(jù)業(yè)務(wù)需求自行購(gòu)買配置。注3:服務(wù)可以通過云市場(chǎng)商品“Yonghong
nse商品服務(wù)監(jiān)管流程進(jìn)行交付。注2:此商品為軟件License,企業(yè)需要另行購(gòu)買虛擬機(jī)、網(wǎng)絡(luò)部署軟件;此商品需配套華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)進(jìn)行使用,數(shù)據(jù)倉(cāng)庫(kù)服務(wù)規(guī)格需企業(yè)根據(jù)實(shí)際業(yè)務(wù)需求另行購(gòu)買;此商品不包含前端數(shù)據(jù)ETL工具,企業(yè)根據(jù)業(yè)務(wù)需求自行購(gòu)買配置。注3:服務(wù)可以通過云市場(chǎng)商品“Yonghong
se商品服務(wù)監(jiān)管流程進(jìn)行交付。 注2:此商品為軟件License,企業(yè)需要另行購(gòu)買虛擬機(jī)、網(wǎng)絡(luò)部署軟件;此商品需配套華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)進(jìn)行使用,數(shù)據(jù)倉(cāng)庫(kù)服務(wù)規(guī)格需企業(yè)根據(jù)實(shí)際業(yè)務(wù)需求另行購(gòu)買;此商品不包含前端數(shù)據(jù)ETL工具,企業(yè)根據(jù)業(yè)務(wù)需求自行購(gòu)買配置。 注3:服務(wù)可以通過云市場(chǎng)商品“Yonghong
nse商品服務(wù)監(jiān)管流程進(jìn)行交付。注2:此商品為軟件License,企業(yè)需要另行購(gòu)買虛擬機(jī)、網(wǎng)絡(luò)部署軟件;此商品需配套華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)進(jìn)行使用,數(shù)據(jù)倉(cāng)庫(kù)服務(wù)規(guī)格需企業(yè)根據(jù)實(shí)際業(yè)務(wù)需求另行購(gòu)買;此商品不包含前端數(shù)據(jù)ETL工具,企業(yè)根據(jù)業(yè)務(wù)需求自行購(gòu)買配置。注3:服務(wù)可以通過云市場(chǎng)商品“Yonghong
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)_SQL on Anywhere 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)GaussDB(DWS)_SQL on Anywhere 華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)-SQL on Anywhere 華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)-SQL on Anywhere 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(Data Warehouse Service,
操作方式。 如何給指定用戶賦予某個(gè)SCHEMA的權(quán)限? 給指定用戶授權(quán)某個(gè)SCHEMA的權(quán)限的具體操作步驟。 更多精選文章推薦 什么是數(shù)據(jù)倉(cāng)庫(kù)服務(wù)GaussDB(DWS) 怎樣選擇彈性云服務(wù)器 ECS彈性云服務(wù)器 如何實(shí)時(shí)查看日志? 如何配置云日志告警? 如何使用EIP? 彈性公網(wǎng)IP有什么作用?
API接口 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)所提供的接口為自研接口,您可以使用數(shù)據(jù)倉(cāng)庫(kù)服務(wù)的可用區(qū)、集群管理、快照管理、事件管理、數(shù)據(jù)源、審計(jì)日志、資源管理、告警管理、連接管理、標(biāo)簽管理、配額管理、容災(zāi)管理、任務(wù)管理以及主機(jī)監(jiān)控等功能。 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)所提供的接口為自研接口,您可以使用數(shù)據(jù)倉(cāng)庫(kù)服務(wù)的可用區(qū)
Demo體驗(yàn) 用戶云上快速創(chuàng)建DWS數(shù)據(jù)倉(cāng)庫(kù)集群,并將OBS源數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù),完成數(shù)據(jù)的簡(jiǎn)易查詢。 DWS熱門視頻 看視頻輕松了解和使用DWS 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)產(chǎn)品介紹 04:38 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)快速入門 03:29 DWS助力消費(fèi)者BG大數(shù)據(jù)平臺(tái)云化 05:30 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)集群管理 05:30
冷熱數(shù)據(jù)管理優(yōu)秀實(shí)踐 分區(qū)自動(dòng)管理優(yōu)秀實(shí)踐 導(dǎo)入數(shù)據(jù)最佳實(shí)踐 GaussDB(DWS)產(chǎn)品詳情 GaussDB(DWS)產(chǎn)品介紹 什么是數(shù)據(jù)倉(cāng)庫(kù)服務(wù) GaussDB(DWS) 集群管理指南 如何使用數(shù)據(jù)倉(cāng)庫(kù)服務(wù) GaussDB(DWS)開發(fā)指南 如何查詢和維護(hù)數(shù)據(jù)倉(cāng)庫(kù)所需的信息 更多精選文章推薦
、處理以及分析。利用數(shù)據(jù)倉(cāng)庫(kù)服務(wù),帶您探索球星薪酬影響的決定性因素。 了解詳情 【初級(jí)】球星薪酬決定性因素分析 隨著大數(shù)據(jù)、云計(jì)算的發(fā)展,數(shù)據(jù)規(guī)模也隨之?dāng)U大,也更加關(guān)注數(shù)據(jù)的存放、處理以及分析。利用數(shù)據(jù)倉(cāng)庫(kù)服務(wù),帶您探索球星薪酬影響的決定性因素。 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)結(jié)合Python對(duì)球
。利用數(shù)據(jù)倉(cāng)庫(kù)服務(wù),帶您探索球星薪酬影響的決定性因素。 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)結(jié)合Python對(duì)球星薪酬進(jìn)行分析,探索影響球星薪酬的決定性因素 適合人群:對(duì)大數(shù)據(jù)技術(shù)感興趣的人員,社會(huì)大眾和高校師生 培訓(xùn)方案:數(shù)據(jù)倉(cāng)庫(kù)服務(wù)結(jié)合球星薪酬決定性因素分析的實(shí)踐 技術(shù)能力:掌握數(shù)據(jù)倉(cāng)庫(kù)服務(wù)等云服務(wù)的使用,提高大數(shù)據(jù)分析能力
。利用數(shù)據(jù)倉(cāng)庫(kù)服務(wù),帶您探索球星薪酬影響的決定性因素。 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)結(jié)合Python對(duì)球星薪酬進(jìn)行分析,探索影響球星薪酬的決定性因素 適合人群:對(duì)大數(shù)據(jù)技術(shù)感興趣的人員,社會(huì)大眾和高校師生 培訓(xùn)方案:數(shù)據(jù)倉(cāng)庫(kù)服務(wù)結(jié)合球星薪酬決定性因素分析的實(shí)踐 技術(shù)能力:掌握數(shù)據(jù)倉(cāng)庫(kù)服務(wù)等云服務(wù)的使用,提高大數(shù)據(jù)分析能力
。利用數(shù)據(jù)倉(cāng)庫(kù)服務(wù),帶您探索球星薪酬影響的決定性因素。 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)結(jié)合Python對(duì)球星薪酬進(jìn)行分析,探索影響球星薪酬的決定性因素 適合人群:對(duì)大數(shù)據(jù)技術(shù)感興趣的人員,社會(huì)大眾和高校師生 培訓(xùn)方案:數(shù)據(jù)倉(cāng)庫(kù)服務(wù)結(jié)合球星薪酬決定性因素分析的實(shí)踐 技術(shù)能力:掌握數(shù)據(jù)倉(cāng)庫(kù)服務(wù)等云服務(wù)的使用,提高大數(shù)據(jù)分析能力
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)
功能描述
DLI 將Flink作業(yè)從數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DWS)中讀取數(shù)據(jù)。DWS 數(shù)據(jù)庫(kù) 內(nèi)核兼容 PostgreSQL ,PostgreSQL數(shù)據(jù)庫(kù)可存儲(chǔ)更加復(fù)雜類型的數(shù)據(jù),支持空間信息服務(wù)、多版本并發(fā)控制(MVCC)、高并發(fā),適用場(chǎng)景包括位置應(yīng)用、金融保險(xiǎn)、互聯(lián)網(wǎng)電商等。
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(Data Warehouse Service,簡(jiǎn)稱DWS)是一種基于基礎(chǔ)架構(gòu)和平臺(tái)的在線數(shù)據(jù)處理數(shù)據(jù)庫(kù),為用戶提供海量數(shù)據(jù)挖掘和分析服務(wù)。DWS的更多信息,請(qǐng)參見《數(shù)據(jù)倉(cāng)庫(kù)服務(wù)管理指南》。
前提條件
- 請(qǐng)務(wù)必確保您的賬戶下已在數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DWS)里創(chuàng)建了DWS集群。
如何創(chuàng)建DWS集群,請(qǐng)參考《數(shù)據(jù)倉(cāng)庫(kù)服務(wù)管理指南》中“創(chuàng)建集群”章節(jié)。
- 請(qǐng)確保已創(chuàng)建DWS數(shù)據(jù)庫(kù)表。
- 該場(chǎng)景作業(yè)需要運(yùn)行在DLI的獨(dú)享隊(duì)列上,因此要與DWS集群建立增強(qiáng)型跨源連接,且用戶可以根據(jù)實(shí)際所需設(shè)置相應(yīng)安全組規(guī)則。
- 如何建立增強(qiáng)型跨源連接,請(qǐng)參考《 數(shù)據(jù)湖探索 用戶指南》中增強(qiáng)型跨源連接章節(jié)。
- 如何設(shè)置安全組規(guī)則,請(qǐng)參見《 虛擬私有云 用戶指南》中“安全組”章節(jié)。
- Flink跨源開發(fā)場(chǎng)景中直接配置跨源認(rèn)證信息存在密碼泄露的風(fēng)險(xiǎn),優(yōu)先推薦您使用DLI提供的跨源認(rèn)證。
跨源認(rèn)證簡(jiǎn)介及操作方法請(qǐng)參考跨源認(rèn)證簡(jiǎn)介。
注意事項(xiàng)
- 創(chuàng)建Flink OpenSource SQL作業(yè)時(shí),在作業(yè)編輯界面的“運(yùn)行參數(shù)”處,“Flink版本”需要選擇“1.15”,勾選“保存作業(yè)日志”并設(shè)置保存作業(yè)日志的 OBS 桶,方便后續(xù)查看作業(yè)日志。
- 認(rèn)證用的username和password等硬編碼到代碼中或者明文存儲(chǔ)都有很大的安全風(fēng)險(xiǎn),建議使用 DEW 管理憑證。配置文件或者環(huán)境變量中密文存放,使用時(shí)解密,確保安全。Flink Opensource SQL使用DEW管理訪問憑據(jù)
- with參數(shù)中字段只能使用單引號(hào),不能使用雙引號(hào)。
語(yǔ)法格式
1 2 3 4 5 6 7 8 910111213 |
create table dwsSource ( attr_name attr_type (',' attr_name attr_type)* (','PRIMARY KEY (attr_name, ...) NOT ENFORCED) (',' watermark for rowtime_column_name as watermark-strategy_expression))with ( 'connector' = 'gaussdb', 'url' = '', 'table-name' = '', 'username' = '', 'password' = ''); |
參數(shù)說明
|
參數(shù) |
是否必選 |
默認(rèn)值 |
數(shù)據(jù)類型 |
說明 |
|---|---|---|---|---|
|
connector |
是 |
無 |
String |
connector類型,需配置為'gaussdb'。 |
|
url |
是 |
無 |
String |
jdbc連接地址?!皍rl”參數(shù)中的ip地址請(qǐng)使用DWS的內(nèi)網(wǎng)地址。 使用gsjdbc4驅(qū)動(dòng)連接時(shí),格式為:jdbc:postgresql://${ip}:${port}/${dbName} 。 使用gsjdbc200驅(qū)動(dòng)連接時(shí),格式為:jdbc:gaussdb://${ip}:${port}/${dbName}。 |
|
table-name |
是 |
無 |
String |
操作的DWS表名。如果該DWS表在某schema下,則具體可以參考如果該DWS表在某schema下的說明。 |
|
driver |
否 |
org.postgresql.Driver |
String |
jdbc連接驅(qū)動(dòng),默認(rèn)為: org.postgresql.Driver。
|
|
username |
否 |
無 |
String |
DWS數(shù)據(jù)庫(kù)認(rèn)證用戶名,需要和'password'參數(shù)一起配置。 |
|
password |
否 |
無 |
String |
DWS數(shù)據(jù)庫(kù)認(rèn)證密碼,需要和'username'參數(shù)一起配置。 |
|
scan.partition.column |
否 |
無 |
String |
用于對(duì)輸入進(jìn)行分區(qū)的列名。 注意:該參數(shù)與scan.partition.lower-bound、scan.partition.upper-bound、 scan.partition.num參數(shù)必須同時(shí)配置或者同時(shí)都不配置。 |
|
scan.partition.lower-bound |
否 |
無 |
Integer |
第一個(gè)分區(qū)的最小值。 與scan.partition.column、scan.partition.upper-bound、 scan.partition.num必須同時(shí)配置或者同時(shí)都不配置。 |
|
scan.partition.upper-bound |
否 |
無 |
Integer |
最后一個(gè)分區(qū)的最大值。 與scan.partition.column、scan.partition.lower-bound、 scan.partition.num必須同時(shí)配置或者同時(shí)都不配置。 |
|
scan.partition.num |
否 |
無 |
Integer |
分區(qū)的個(gè)數(shù)。 與scan.partition.column、scan.partition.upper-bound、 scan.partition.upper-bound必須同時(shí)配置或者同時(shí)都不配置。 |
|
scan.fetch-size |
否 |
0 |
Integer |
每次從數(shù)據(jù)庫(kù)拉取數(shù)據(jù)的行數(shù)。默認(rèn)值為0,表示不限制。 |
示例
該示例是從DWS數(shù)據(jù)源中讀取數(shù)據(jù),并寫入到Print結(jié)果表中,其具體步驟參考如下:
- 在DWS中創(chuàng)建相應(yīng)的表,表名為dws_order,SQL語(yǔ)句參考如下。
create table public.dws_order( order_id VARCHAR, order_channel VARCHAR, order_time VARCHAR, pay_amount FLOAT8, real_pay FLOAT8, pay_time VARCHAR, user_id VARCHAR, user_name VARCHAR, area_id VARCHAR);
在DWS中執(zhí)行以下SQL語(yǔ)句,向dws_order表中插入數(shù)據(jù)。insert into public.dws_order (order_id, order_channel, order_time, pay_amount, real_pay, pay_time, user_id, user_name, area_id) values ('202103241000000001', 'webShop', '2021-03-24 10:00:00', '100.00', '100.00', '2021-03-24 10:02:03', '0001', 'Alice', '330106'), ('202103251202020001', 'miniAppShop', '2021-03-25 12:02:02', '60.00', '60.00', '2021-03-25 12:03:00', '0002', 'Bob', '330110'); - 參考增強(qiáng)型跨源連接,根據(jù)DWS所在的虛擬 私有云 和子網(wǎng)創(chuàng)建相應(yīng)的增強(qiáng)型跨源,并綁定所要使用的Flink彈性資源池。
- 設(shè)置DWS的安全組,添加入向規(guī)則使其對(duì)Flink的隊(duì)列網(wǎng)段放通。參考測(cè)試地址連通性根據(jù)DWS的地址測(cè)試隊(duì)列連通性。若能連通,則表示跨源已經(jīng)綁定成功,否則表示未成功。
- 參考創(chuàng)建Flink OpenSource作業(yè),創(chuàng)建flink opensource sql作業(yè),輸入以下作業(yè)運(yùn)行腳本,提交運(yùn)行作業(yè)。該作業(yè)腳本將DWS作為數(shù)據(jù)源,Print作為結(jié)果表。
注意:創(chuàng)建作業(yè)時(shí),在作業(yè)編輯界面的“運(yùn)行參數(shù)”處,“Flink版本”選擇“1.15”,勾選“保存作業(yè)日志”并設(shè)置保存作業(yè)日志的OBS桶,方便后續(xù)查看作業(yè)日志。如下腳本中的加粗參數(shù)請(qǐng)根據(jù)實(shí)際環(huán)境修改。
CREATE TABLE dwsSource ( order_id string, order_channel string, order_time string, pay_amount double, real_pay double, pay_time string, user_id string, user_name string, area_id string) WITH ( 'connector' = 'gaussdb', 'url' = 'jdbc:postgresql://DWSIP:DWSPort/DWSdbName', 'table-name' = 'dws_order', 'driver' = 'org.postgresql.Driver', 'username' = 'DWSUserName', 'password' = 'DWSPassword');CREATE TABLE printSink ( order_id string, order_channel string, order_time string, pay_amount double, real_pay double, pay_time string, user_id string, user_name string, area_id string) WITH ( 'connector' = 'print');insert into printSink select * from dwsSource;
- 按照如下操作查看taskmanager.out文件中的數(shù)據(jù)結(jié)果。
- 登錄DLI管理控制臺(tái),選擇“作業(yè)管理 > Flink作業(yè)”。
- 單擊對(duì)應(yīng)的Flink作業(yè)名稱,選擇“運(yùn)行日志”,單擊“OBS桶”,根據(jù)作業(yè)運(yùn)行的日期,找到對(duì)應(yīng)日志的文件夾。
- 進(jìn)入對(duì)應(yīng)日期的文件夾后,找到名字中包含“taskmanager”的文件夾進(jìn)入,下載獲取taskmanager.out文件查看結(jié)果日志。
數(shù)據(jù)結(jié)果參考如下:
+I(202103241000000001,webShop,2021-03-24 10:00:00,100.0,100.0,2021-03-24 10:02:03,0001,Alice,330106)+I(202103251202020001,miniAppShop,2021-03-25 12:02:02,60.0,60.0,2021-03-25 12:03:00,0002,Bob,330110)
常見問題
- Q:作業(yè)運(yùn)行失敗,運(yùn)行日志中有如下報(bào)錯(cuò)信息,應(yīng)該怎么解決?
java.io.IOException: unable to open JDBC writer...Caused by: org.postgresql.util.PSQLException: The connection attempt failed....Caused by: java.net.SocketTimeoutException: connect timed out
A:應(yīng)考慮是跨源沒有綁定,或者跨源沒有綁定成功。- 參考增強(qiáng)型跨源連接章節(jié),重新配置跨源。參考DLI跨源連接DWS失敗進(jìn)行問題排查。
- Q:如果該DWS表在某schema下,應(yīng)該如何配置?
A:如下示例是使用schema為dbuser2下的表dws_order。
CREATE TABLE dwsSource ( order_id string, order_channel string, order_time string, pay_amount double, real_pay double, pay_time string, user_id string, user_name string, area_id string) WITH ( 'connector' = 'gaussdb', 'url' = 'jdbc:postgresql://DWSIP:DWSPort/DWSdbName', 'table-name' = 'dbuser2.dws_order', 'driver' = 'org.postgresql.Driver', 'username' = 'DWSUserName', 'password' = 'DWSPassword');
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)常見問題
更多常見問題 >>-
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)基于華為FusionInsight LibrA企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)核,提供即開即用、可擴(kuò)展且完全托管的分析型數(shù)據(jù)庫(kù)服務(wù)。兼容PostgreSQL生態(tài),您可基于標(biāo)準(zhǔn)SQL,結(jié)合商業(yè)智能工具,經(jīng)濟(jì)高效地挖掘和分析海量數(shù)據(jù)。
-
GaussDB是華為自主創(chuàng)新研發(fā)的分布式關(guān)系型數(shù)據(jù)庫(kù)。具備企業(yè)級(jí)復(fù)雜事務(wù)混合負(fù)載能力,同時(shí)支持分布式事務(wù),同城跨AZ部署,數(shù)據(jù)0丟失,支持1000+節(jié)點(diǎn)的擴(kuò)展能力,PB級(jí)海量存儲(chǔ)。
-
DWS基于Shared-nothing分布式架構(gòu),具備MPP大規(guī)模并行處理引擎,由眾多擁有獨(dú)立且互不共享的CPU、內(nèi)存、存儲(chǔ)等系統(tǒng)資源的邏輯節(jié)點(diǎn)組成。
-
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(GaussDB(DWS) )支持按需計(jì)費(fèi),同時(shí)您也可以選擇更經(jīng)濟(jì)的包年包月套餐計(jì)費(fèi)模式。華為云GaussDB(DWS) 根據(jù)您選擇的數(shù)據(jù)倉(cāng)庫(kù)節(jié)點(diǎn)規(guī)格及使用的相關(guān)資源進(jìn)行計(jì)費(fèi)。
-
DWS數(shù)據(jù)庫(kù)內(nèi)核使用華為自主研發(fā)的GaussDB數(shù)據(jù)庫(kù),兼容PostgreSQL 9.2.4的數(shù)據(jù)庫(kù)內(nèi)核引擎,從單機(jī)OLTP數(shù)據(jù)庫(kù)改造為企業(yè)級(jí)MPP(大規(guī)模并行處理)架構(gòu)的OLAP分布式數(shù)據(jù)庫(kù),其主要面向海量數(shù)據(jù)分析場(chǎng)景。
-
在大數(shù)據(jù)時(shí)代,數(shù)據(jù)是用戶的核心資產(chǎn)。公有云將繼續(xù)秉承多年來向社會(huì)做出的“上不碰應(yīng)用,下不碰數(shù)據(jù)”的承諾,保證用戶核心資產(chǎn)的安全。這是我們對(duì)用戶和社會(huì)的承諾,也是公有云及其伙伴商業(yè)成功的保障和基石。
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)教程視頻
最佳實(shí)踐視頻幫助您快速了解搭建流程 了解更多
-
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)_快速入門
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(Data Warehouse Service,簡(jiǎn)稱DWS)是一種基于公有云基礎(chǔ)架構(gòu)和平臺(tái)的在線分析型數(shù)據(jù)庫(kù),為用戶的海量數(shù)據(jù)提供挖掘和分析服務(wù)。本視頻提供數(shù)據(jù)倉(cāng)庫(kù)服務(wù)快速入門的使用介紹。 -
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)_快照管理
DWS服務(wù)提供對(duì)于集群的快速備份和恢復(fù)的功能,本視頻展示對(duì)DWS集群的快照和恢復(fù)的操作步驟。 -
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)_ 集群管理
"DWS服務(wù)簡(jiǎn)單易用的統(tǒng)一管理控制臺(tái),簡(jiǎn)化運(yùn)維管理, 本視頻展示管理控制臺(tái)提供的基本的集群管理操作。"
更多相關(guān)專題
- 熱門產(chǎn)品
- 大模型即服務(wù)平臺(tái) MaaS
- Flexus云服務(wù)
- 云服務(wù)器
- 盤古大模型
- SSL證書
- 華為云WeLink
- 實(shí)用工具
- 文字識(shí)別
- 漏洞掃描
- 華為云會(huì)議
- 云服務(wù)健康看板
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:B1.B2-20200593 | 域名注冊(cè)服務(wù)機(jī)構(gòu)許可:黔D3-20230001 | 代理域名注冊(cè)服務(wù)機(jī)構(gòu):新網(wǎng)、西數(shù)
