操作場景

數(shù)據(jù)倉庫服務(wù)DWS是完全托管的企業(yè)級云上數(shù)據(jù)倉庫服務(wù)，具備免運(yùn)維、在線擴(kuò)展、高效的多源數(shù)據(jù)加載能力，兼容 PostgreSQL 生態(tài)。助力企業(yè)經(jīng)濟(jì)高效地對海量數(shù)據(jù)進(jìn)行在線分析，實(shí)現(xiàn)數(shù)據(jù)快速變現(xiàn)。

本文以創(chuàng)建3節(jié)點(diǎn)的DWS集群為例，通過導(dǎo)入 OBS 桶上csv格式的數(shù)據(jù)，完成簡單的數(shù)據(jù)查詢。

DWS集群不支持跨區(qū)域訪問OBS桶數(shù)據(jù)，創(chuàng)建DWS集群前需規(guī)劃好DWS集群與OBS桶在同一個區(qū)域內(nèi)，本文以“華北-北京四”為例。

• 計(jì)費(fèi)方式：按需
• 版本選擇：存算一體
• 集群節(jié)點(diǎn)：3
• 連接集群方式：SQL編輯器
• 存儲容量：20G/節(jié)點(diǎn)
• 數(shù)據(jù)源：OBS桶的csv數(shù)據(jù)
• 集群版本：8.1.3.x

視頻介紹

操作流程

準(zhǔn)備工作

• 已注冊賬號并實(shí)名認(rèn)證，且在使用DWS 前檢查賬號狀態(tài)，賬號不能處于欠費(fèi)或凍結(jié)狀態(tài)。
• 獲取此賬號的“AK/SK”，參見訪問密鑰。
• 已創(chuàng)建VPC和子網(wǎng)。

步驟一：創(chuàng)建DWS集群

1. 登錄DWS管理控制臺購買頁面。
2. 參見表2進(jìn)行基礎(chǔ)配置。

   表2 基礎(chǔ)配置

   參數(shù)	示例	說明
   區(qū)域	選擇“華北-北京四”。 說明： 本指導(dǎo)以“華北-北京四”為例進(jìn)行介紹，如果您需要選擇其他區(qū)域，請確保其他云服務(wù)均在同一區(qū)域。	請就近選擇靠近您業(yè)務(wù)的區(qū)域，可以降低網(wǎng)絡(luò)時延、提高訪問速度。DWS創(chuàng)建后無法更換區(qū)域，請謹(jǐn)慎選擇。 更多信息，請參見區(qū)域和可用分區(qū)。
   計(jì)費(fèi)模式	按需計(jì)費(fèi)。	支持包年/包月計(jì)費(fèi)、按需計(jì)費(fèi)。如長期使用，建議使用包年/包月，可享受更大折扣。 更多信息，請參見計(jì)費(fèi)說明。
   可用分區(qū)	單AZ，可用區(qū)1（如規(guī)格售罄，可選擇其他可用區(qū)）。	單AZ：集群的所有節(jié)點(diǎn)部署在同一個AZ內(nèi)。 多AZ：集群的節(jié)點(diǎn)部署在多個AZ內(nèi)，滿足集群跨AZ高可用要求，對高可用要求更高的業(yè)務(wù)，建議使用多AZ。

   圖1 基礎(chǔ)配置
   

3. 參見表3，進(jìn)行數(shù)據(jù)倉庫配置。

   表3 數(shù)據(jù)倉庫配置

   參數(shù)	示例	說明
   版本選擇	存算一體	存算一體：數(shù)據(jù)存儲在計(jì)算節(jié)點(diǎn)的本地磁盤。 存算分離：計(jì)算節(jié)點(diǎn)本地盤僅做數(shù)據(jù)緩存和存儲元數(shù)據(jù)，用戶數(shù)據(jù)存儲在OBS 對象存儲 上。
   存儲類型	SSD云盤	SSD云盤：使用SSD類型的 EVS 作為數(shù)據(jù)存儲介質(zhì)，存儲容量更加靈活，支持磁盤擴(kuò)容。 SSD本地盤：使用 ECS 規(guī)格自帶的本地磁盤作為數(shù)據(jù)存儲介質(zhì)，容量固定，性能更高，不支持磁盤擴(kuò)容。 更多信息，請參見SSD云盤和本地盤的區(qū)別。
   CPU架構(gòu)	鯤鵬	集群節(jié)點(diǎn)的CPU架構(gòu)：支持鯤鵬和X86。
   節(jié)點(diǎn)規(guī)格	dwsk2.xlarge 說明： 如規(guī)格售罄，可選擇其他可用區(qū)或規(guī)格。	節(jié)點(diǎn)規(guī)格是衡量DWS算力的一個指標(biāo)，包含vCPUs和內(nèi)存，請根據(jù)業(yè)務(wù)需求合理選擇，通常對查詢性能要求越高，選擇的規(guī)格越大。 更多信息，請參見數(shù)據(jù)倉庫規(guī)格。
   熱數(shù)據(jù)存儲	20GB / 節(jié)點(diǎn)	每節(jié)點(diǎn)可用存儲容量。界面上顯示的是業(yè)務(wù)數(shù)據(jù)實(shí)際存儲容量，例如20GB/節(jié)點(diǎn)，節(jié)點(diǎn)總數(shù)3，則業(yè)務(wù)數(shù)據(jù)總?cè)萘繛?0GB。對于業(yè)務(wù)數(shù)據(jù)量較大的客戶，請合理規(guī)劃存儲容量。
   節(jié)點(diǎn)數(shù)量	3	集群節(jié)點(diǎn)的數(shù)量。支持的節(jié)點(diǎn)數(shù)范圍為3～256。

   圖2 數(shù)據(jù)倉庫配置
   

4. 單擊“下一步：網(wǎng)絡(luò)配置”。
5. 參見表4進(jìn)行網(wǎng)絡(luò)配置。

   表4 網(wǎng)絡(luò)配置

   參數(shù)	示例	說明
   虛擬私有云	vpc-default	DWS所在的虛擬 私有云 網(wǎng)絡(luò)。
   子網(wǎng)	subnet-default(192.168.0.0/24)	虛擬私有云的子網(wǎng)。
   安全組	自動創(chuàng)建安全組	支持“自動創(chuàng)建安全組”或選擇已創(chuàng)建的安全組。 系統(tǒng)默認(rèn)選中“自動創(chuàng)建安全組”，設(shè)置為該選項(xiàng)時，系統(tǒng)將會自動創(chuàng)建一個默認(rèn)安全組。 默認(rèn)安全組的規(guī)則如下：出方向允許所有訪問，入方向只開放用戶設(shè)置的DWS 集群的數(shù)據(jù)庫端口8000。
   公網(wǎng)訪問	暫不使用	如果連接DWS的客戶端跟DWS不在一個虛擬私有云網(wǎng)絡(luò)內(nèi)，需要選擇使用 彈性公網(wǎng)IP 。
   彈性負(fù)載均衡	暫不使用	用戶使用客戶端連接DWS集群時，如果用戶僅連接一個CN節(jié)點(diǎn)地址，通過該CN節(jié)點(diǎn)內(nèi)網(wǎng)IP或彈性 公網(wǎng)IP 連接時，只能連接到固定的CN節(jié)點(diǎn)上，存在CN單點(diǎn)問題。 利用 ELB 健康檢查機(jī)制可將集群的CN請求快速轉(zhuǎn)發(fā)到正常工作的CN節(jié)點(diǎn)上，當(dāng)有CN故障節(jié)點(diǎn)時，也能第一時間切換流量到健康節(jié)點(diǎn)上，最大化降低集群訪問故障。 更多信息，請參見集群綁定和解綁ELB。

   圖3 網(wǎng)絡(luò)配置
   

6. 單擊“下一步：高級配置”，參見表5進(jìn)行高級配置。

   表5 高級配置

   參數(shù)	示例	說明
   集群名稱	dws-demo	集群名稱，用戶自定義，支持后續(xù)修改。
   集群版本	使用推薦版本	每個版本支持的數(shù)據(jù)庫功能不同，默認(rèn)選擇推薦版本。如需使用高版本功能，請選擇更高版本。 說明： 白名單客戶界面，會顯示其他集群版本，請根據(jù)界面實(shí)際情況選擇。 集群各版本支持功能，請參見產(chǎn)品公告。
   管理員用戶	dbadmin	指定數(shù)據(jù)庫系統(tǒng)管理員的用戶名，默認(rèn)即可。 數(shù)據(jù)庫系統(tǒng)管理員默認(rèn)具有SYSADMIN屬性，非三權(quán)分立模式下，擁有數(shù)據(jù)庫最高權(quán)限?？捎糜谝?guī)劃數(shù)據(jù)庫對象，例如創(chuàng)建數(shù)據(jù)庫、用戶、授權(quán)用戶角色等操作。 更多信息，請參見數(shù)據(jù)庫用戶。
   管理員密碼	-	數(shù)據(jù)庫系統(tǒng)管理員密碼。
   確認(rèn)密碼	-	數(shù)據(jù)庫系統(tǒng)管理員密碼。
   數(shù)據(jù)庫端口	8000	客戶端連接DWS數(shù)據(jù)庫的端口，默認(rèn)8000即可。
   企業(yè)項(xiàng)目	default	僅當(dāng)使用企業(yè)類型的賬號創(chuàng)建DWS時，會顯示該參數(shù)。 用于按項(xiàng)目統(tǒng)一管理云資源。
   高級配置	默認(rèn)配置	高級配置支持“默認(rèn)配置”和“自定義”。當(dāng)選擇“自定義”時，支持以下高級配置： 備份設(shè)備：OBS或者NFS。 CN部署量：在大規(guī)模集群下，建議部署多個CN。 標(biāo)簽：在DWS中，當(dāng)用戶創(chuàng)建集群后，如果想對集群添加如項(xiàng)目名稱、業(yè)務(wù)類別、背景信息等相關(guān)信息的標(biāo)識，用戶可以通過添加標(biāo)簽來實(shí)現(xiàn)。如果用戶在其他云服務(wù)中使用了標(biāo)簽，那么建議用戶為同一個業(yè)務(wù)所使用的云資源創(chuàng)建相同的標(biāo)簽鍵值對以保持一致性。 加密數(shù)據(jù)庫。開啟后，DWS將使用KMS（密鑰管理服務(wù)）為集群及其快照的數(shù)據(jù)啟用加密功能。

   圖4 高級配置
   

7. 單擊“下一步：確認(rèn)配置”，確認(rèn)無誤后，單擊“立即購買”。

   等待約10分鐘，集群創(chuàng)建成功。

步驟二：上傳數(shù)據(jù)到OBS桶

1. 創(chuàng)建OBS桶，參見OBS用戶指南。

   關(guān)鍵參數(shù)按如下填寫，其他參數(shù)默認(rèn)即可。

   

   不支持跨區(qū)域訪問OBS桶數(shù)據(jù)，OBS桶需跟DWS創(chuàng)在同一個區(qū)域。例如“華北-北京四”。

   • 區(qū)域：華北-北京四
   • 桶名稱：dws-obs01 （如提示沖突，可以依次遞增到02、03）
   • 桶策略：私有

2. 創(chuàng)建OBS桶成功后，左側(cè)選擇“桶列表”，單擊新創(chuàng)建的dws-obs01桶名，左側(cè)導(dǎo)航選擇“對象”，單擊“新建文件夾”，文件夾名稱為“input_data”，單擊“確定”。
   圖5 新建文件夾
   

3. 在本地PC創(chuàng)建3個csv數(shù)據(jù)文件，名字（含格式后綴）分別為product_info0.csv、product_info1.csv、product_info2.csv。
   圖6 創(chuàng)建csv文件
   

4. 使用文本編輯工具分別打開3個csv文件，復(fù)制以下內(nèi)容到每個csv文件中。
   • product_info0.csv：

     12345

     100,XHDK-A,2017-09-01,A,2017 Shirt Women,red,M,328,2017-09-04,715,good! 205,KDKE-B,2017-09-01,A,2017 T-shirt Women,pink,L,584,2017-09-05,40,very good! 300,JODL-X,2017-09-01,A,2017 T-shirt men,red,XL,15,2017-09-03,502,Bad. 310,QQPX-R,2017-09-02,B,2017 jacket women,red,L,411,2017-09-05,436,It's nice. 150,ABEF-C,2017-09-03,B,2017 Jeans Women,blue,M,123,2017-09-06,120,good.

   • product_info1.csv：

     12345

     200,BCQP-E,2017-09-04,B,2017 casual pants men,black,L,997,2017-09-10,301,good quality. 250,EABE-D,2017-09-10,A,2017 dress women,black,S,841,2017-09-15,299,This dress fits well. 108,CDXK-F,2017-09-11,A,2017 dress women,red,M,85,2017-09-14,22,It's really amazing to buy. 450,MMCE-H,2017-09-11,A,2017 jacket women,white,M,114,2017-09-14,22,very good. 260,OCDA-G,2017-09-12,B,2017 woolen coat women,red,L,2004,2017-09-15,826,Very comfortable.

   • product_info2.csv：

     1 2 3 4 5 6 7 8 910

     980,"ZKDS-J",2017-09-13,"B","2017 Women's Cotton Clothing","red","M",112,,, 98,"FKQB-I",2017-09-15,"B","2017 new shoes men","red","M",4345,2017-09-18,547350,"DMQY-K",2017-09-21,"A","2017 pants men","red","37",28,2017-09-25,58,"good","good","good"80,"GKLW-l",2017-09-22,"A","2017 Jeans Men","red","39",58,2017-09-25,72,"Very comfortable."30,"HWEC-L",2017-09-23,"A","2017 shoes women","red","M",403,2017-09-26,607,"good!"40,"IQPD-M",2017-09-24,"B","2017 new pants Women","red","M",35,2017-09-27,52,"very good."50,"LPEC-N",2017-09-25,"B","2017 dress Women","red","M",29,2017-09-28,47,"not good at all."60,"NQAB-O",2017-09-26,"B","2017 jacket women","red","S",69,2017-09-29,70,"It's beautiful."70,"HWNB-P",2017-09-27,"B","2017 jacket women","red","L",30,2017-09-30,55,"I like it so much"80,"JKHU-Q",2017-09-29,"C","2017 T-shirt","red","M",90,2017-10-02,82,"very good."

5. 使用文本編輯工具轉(zhuǎn)為UTF-8編碼，并保存。
6. 回到瀏覽器上的OBS控制臺，左側(cè)導(dǎo)航選擇“桶列表”，單擊新創(chuàng)建的dws-obs01桶名。
7. 左側(cè)導(dǎo)航選擇“對象”，單擊“input_data”文件夾。
8. 單擊“上傳對象”，單擊“添加文件”。
9. 將product_info0.csv、product_info1.csv、product_info2.csv 3個文件上傳到OBS桶。

步驟三：連接DWS集群并導(dǎo)入數(shù)據(jù)進(jìn)行分析

1. 瀏覽器切換到DWS管理控制臺。
2. 左側(cè)導(dǎo)航選擇“數(shù)據(jù) > SQL編輯器”，單擊“新增數(shù)據(jù)源”。
3. 填寫數(shù)據(jù)庫連接信息。
   • 集群：選擇本文創(chuàng)建的dws-demo集群。
   • 數(shù)據(jù)庫：保持gaussdb默認(rèn)。
   • 數(shù)據(jù)源名稱：dws-demo-01。
   • 用戶名：dbadmin
   • 密碼：步驟一：創(chuàng)建DWS集群中創(chuàng)建DWS時設(shè)置的密碼。

4. 勾選“記住密碼”，單擊“測試連接”。
   圖7 數(shù)據(jù)庫連接信息
   

5. 單擊“確定”。

   如下圖，數(shù)據(jù)源名稱前面圖標(biāo)為綠色，表示數(shù)據(jù)庫連接成功。右側(cè)區(qū)域?yàn)镾QL編輯器窗口，可進(jìn)行后續(xù)的SQL編寫并執(zhí)行SQL語句。

   圖8 連接數(shù)據(jù)庫成功
   
   

   后續(xù)連接會話超時，或者瀏覽器重新刷新時，圖標(biāo)置為灰色，表示連接斷開，可以直接雙擊數(shù)據(jù)源名稱重新連接數(shù)據(jù)庫。

   

6. 將以下SQL語句復(fù)制到SQL編輯器窗口中，并將OBS桶名稱、AK值、SK值，替換成實(shí)際值。

   本文OBS桶名為dws-obs01，AK值和SK值從訪問密鑰獲取。

   1 2 3 4 5 6 7 8 9101112131415161718192021222324252627282930

   CREATE FOREIGN TABLE product_info_ext ( product_price integer not null, product_id char(30) not null, product_time date, product_level char(10), product_name varchar(200), product_type1 varchar(20), product_type2 char(10), product_monthly_sales_cnt integer, product_comment_time date, product_comment_num integer, product_comment_content varchar(200) ) SERVER gsmpp_server OPTIONS( LOCATION 'obs://OBS桶名稱/input_data/', FORMAT ' CS V' , DELIMITER ',', ENCODING 'utf8', HEADER 'false', A CCE SS_KEY 'AK值', SECRET_AC CES S_KEY 'SK值', FILL_MISSING_FIELDS 'true', IGNORE_EXTRA_DATA 'true' )READ ONLY LOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited';

   圖9 創(chuàng)建OBS外表
   

7. 核對SQL語句無誤，單擊“運(yùn)行”，創(chuàng)建OBS外表成功。
   圖10 創(chuàng)建OBS外表成功
   

8. 復(fù)制以下SQL語句，在SQL窗口中執(zhí)行，創(chuàng)建普通表。

   1 2 3 4 5 6 7 8 91011121314151617181920

   CREATE TABLE product_info ( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) WITH( orientation = column, compression=middle ) DISTRIBUTE BY hash (product_id);

9. 復(fù)制以下SQL語句，在SQL窗口中執(zhí)行，通過INSERT語句將OBS外表數(shù)據(jù)導(dǎo)入DWS數(shù)據(jù)庫。

   1	INSERT INTO product_info SELECT * FROM product_info_ext;

10. 復(fù)制以下SQL語句，在SQL窗口中執(zhí)行，進(jìn)行VACUUM和ANALYZE操作。

    了解更多語法，請參考相關(guān)SQL語法章節(jié)。

    12	VACUUM FULL product_info; ANALYZE product_info;

11. 復(fù)制以下SQL語句，在SQL窗口中執(zhí)行，查詢數(shù)據(jù)明細(xì)成功。

    1	SELECT * FROM product_info;

    圖11 查詢數(shù)據(jù)成功