華為云計算 云知識 dli相關(guān)問題
dli相關(guān)問題

數(shù)據(jù)湖探索 (Data Lake Insight,簡稱DLI)是完全兼容Apache Spark和Apache Flink生態(tài),實現(xiàn)批流一體的Serverless 大數(shù)據(jù) 計算分析服務(wù)。DLI支持多模引擎,企業(yè)僅需使用SQL或程序就可輕松完成異構(gòu)數(shù)據(jù)源的批處理、流處理、內(nèi)存計算、機器學(xué)習(xí)等,挖掘和探索數(shù)據(jù)價值。

DLI服務(wù)適用于海量 日志分析 、異構(gòu)數(shù)據(jù)源聯(lián)邦分析、大數(shù)據(jù)ETL處理。

DLI支持如下數(shù)據(jù)格式:

Parquet

CSV

ORC

Json

Carbon

Carbondata(只支持DLI表)

Avro

DLI服務(wù)的數(shù)據(jù)可存儲在如下地方:

OBS:SQL作業(yè),Spark作業(yè),F(xiàn)link作業(yè)使用的數(shù)據(jù)均可以存儲在OBS服務(wù)中,降低存儲成本。

DLI:DLI內(nèi)部使用的是列存的Parquet格式,即數(shù)據(jù)以Parquet格式存儲。存儲成本較高。

跨源作業(yè)可將數(shù)據(jù)存儲在對應(yīng)的服務(wù)中,目前支持CloudTable,CSS,DCS,DDS,DWS,MRS,RDS等。

不上傳數(shù)據(jù)到OBS,如何使用DLI?當(dāng)前DLI只支持對云上數(shù)據(jù)分析,數(shù)據(jù)還是要傳到云上;但是用戶可以折中處理:將待分析的數(shù)據(jù)脫敏后上傳到OBS臨時存放,分析完之后將結(jié)果導(dǎo)出使用,同時將OBS臨時存放數(shù)據(jù)刪除;該方法主要適用于定期(如每天)對增量數(shù)據(jù)一次性分析統(tǒng)計,然后利用分析結(jié)果支撐業(yè)務(wù)的場景;對頻繁需要分析的數(shù)據(jù),還是建議將數(shù)據(jù)上傳到云上。

如何獲取用戶支持?為了更好的幫助和服務(wù)用戶,我們提供多種方式的用戶支持,詳見聯(lián)系我們頁面。

什么是區(qū)域、可用區(qū)?

我們用區(qū)域和可用區(qū)來描述數(shù)據(jù)中心的位置,您可以在特定的區(qū)域、可用區(qū)創(chuàng)建資源。

區(qū)域(Region):從地理位置和網(wǎng)絡(luò)時延維度劃分,同一個Region內(nèi)共享彈性計算、塊存儲、 對象存儲 、VPC網(wǎng)絡(luò)、 彈性公網(wǎng)IP 鏡像 等公共服務(wù)。Region分為通用Region和專屬Region,通用Region指面向公共租戶提供通用云服務(wù)的Region;專屬Region指只承載同一類業(yè)務(wù)或只面向特定租戶提供業(yè)務(wù)服務(wù)的專用Region。

可用區(qū)(AZ,Availability Zone):一個AZ是一個或多個物理數(shù)據(jù)中心的集合,有獨立的風(fēng)火水電,AZ內(nèi)邏輯上再將計算、網(wǎng)絡(luò)、存儲等資源劃分成多個集群。一個Region中的多個AZ間通過高速光纖相連,以滿足用戶跨AZ構(gòu)建高可用性系統(tǒng)的需求。

dli相關(guān)問題