5步快速使用數(shù)據(jù)倉庫服務(wù)
5步快速使用數(shù)據(jù)倉庫服務(wù)
01 注冊華為云并實(shí)名認(rèn)證
打開華為云網(wǎng)站,單擊”注冊“,根據(jù)提示信息完成注冊,注冊成功后,按指引完成個(gè)人或企業(yè)實(shí)名認(rèn)證。
02 創(chuàng)建集群
針對不同分析場景和業(yè)務(wù)規(guī)模,可以選擇標(biāo)準(zhǔn)數(shù)倉、實(shí)時(shí)數(shù)倉和IoT數(shù)倉,并選擇合適的數(shù)據(jù)存儲(chǔ)容量。為了保證業(yè)務(wù)連接無單點(diǎn)斷連風(fēng)險(xiǎn),需搭配彈性負(fù)載均衡ELB一起使用。
03 連接集群
支持多種連接方式,包括JDBC/ODBC,Python,gsql客戶端,WebSQL界面工具DAS、Data Studio。
04 導(dǎo)入數(shù)據(jù)
支持多種數(shù)據(jù)源和導(dǎo)入工具完成數(shù)據(jù)入庫:支持OBS外表、GDS外表導(dǎo)入;支持CDM、DRS、DLI實(shí)時(shí)入庫;支持訪問遠(yuǎn)端MRS數(shù)據(jù)源;支持元數(shù)據(jù)導(dǎo)入和導(dǎo)出;支持DSC進(jìn)行SQL腳本遷移等等。
05 數(shù)據(jù)分析
導(dǎo)入數(shù)據(jù)后,通過SQL命令完成各種業(yè)務(wù)場景數(shù)據(jù)分析。
數(shù)據(jù)分析實(shí)驗(yàn)室--手把手教您使用云數(shù)倉
數(shù)據(jù)分析實(shí)驗(yàn)室--手把手教您使用云數(shù)倉
快速入門
一鍵式創(chuàng)建DWS集群,上傳csv本地?cái)?shù)據(jù)到云存儲(chǔ)OBS桶,通過創(chuàng)建OBS外表實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入并簡單分析。
大數(shù)據(jù)融合分析:訪問MRS中的Hive數(shù)據(jù)源
創(chuàng)建數(shù)據(jù)倉庫集群DWS,并導(dǎo)入MRS的Hive數(shù)據(jù),實(shí)現(xiàn)跨集群進(jìn)行大數(shù)據(jù)融合分析。
零售業(yè)經(jīng)營多維度分析
環(huán)境已預(yù)置樣例數(shù)據(jù)在OBS桶,通過創(chuàng)建OBS外表導(dǎo)入樣例數(shù)據(jù),再使用聚合函數(shù)、group by、order by、視圖進(jìn)行多維度分析。
權(quán)限管理
通過實(shí)驗(yàn)創(chuàng)建不同用戶,不同Schema,基于權(quán)限管理實(shí)現(xiàn)數(shù)據(jù)的隔離和互訪,了解用戶、角色的關(guān)系,了解grant的基本用法,了解基于角色的權(quán)限管理(RBAC)。
使用Java進(jìn)行二次開發(fā)
使用JDBC驅(qū)動(dòng)連接DWS進(jìn)行二次開發(fā),熟悉簡單的適配DWS的Java開發(fā)用例。
最佳實(shí)踐
最佳實(shí)踐
數(shù)據(jù)遷移實(shí)踐
Oracle遷移、MySQL實(shí)時(shí)同步、Kafka實(shí)時(shí)寫入DWS。
表設(shè)計(jì)調(diào)優(yōu)實(shí)踐
介紹如何設(shè)計(jì)DWS表結(jié)構(gòu)(包括選擇表存儲(chǔ)方式、壓縮級別、分布方式、分布列以及使用分區(qū)表和局部聚簇等),從而實(shí)現(xiàn)表性能的優(yōu)化。
查看或?qū)隡RS的Hive數(shù)據(jù)
大數(shù)據(jù)融合分析時(shí)代,DWS如需遠(yuǎn)端訪問或讀取MRS數(shù)據(jù)源,可參考本教程通過建立HDFS外表實(shí)現(xiàn)。
分區(qū)自動(dòng)管理優(yōu)秀實(shí)踐
DWS引入了分區(qū)自動(dòng)管理特性。可通過設(shè)置表級參數(shù)period、ttl開啟分區(qū)自動(dòng)管理功能,使分區(qū)表可以自動(dòng)創(chuàng)建新分區(qū)和刪除過期分區(qū),降低分區(qū)表的維護(hù)成本,改善查詢性能。
冷熱數(shù)據(jù)管理優(yōu)秀實(shí)踐
根據(jù)業(yè)務(wù)系統(tǒng)中用戶對不同時(shí)期數(shù)據(jù)的不同使用需求,對膨脹的數(shù)據(jù)進(jìn)行“冷熱”分級管理,不僅可以提高數(shù)據(jù)分析性能還能降低業(yè)務(wù)成本。
資源管理實(shí)踐
演示DWS的資源管理功能,幫助企業(yè)客戶解決數(shù)據(jù)分析過程中,多用戶查詢作業(yè)遇到的性能瓶頸,最終實(shí)現(xiàn)多用戶執(zhí)行SQL作業(yè)互不影響,節(jié)省資源消耗。