復雜SQL實時查詢,10+表格聯(lián)合運算,秒級返回結果 實時入倉批流融合60萬/秒/節(jié)點,T+0完成數(shù)據(jù)分析 多源數(shù)據(jù)融合,一站式統(tǒng)一平臺,助力非傳統(tǒng)數(shù)倉工程師便捷使用數(shù)據(jù) 多應用場景全覆蓋,打造大數(shù)據(jù)時代新型數(shù)據(jù)倉庫 傳統(tǒng)數(shù)倉替換 一站式BI解決方案 數(shù)據(jù)湖分析 實時數(shù)據(jù)分析 傳統(tǒng)數(shù)倉替換 傳統(tǒng)數(shù)倉替換
FusionInsight全景圖 類別 場景 服務 優(yōu)勢 多元分析 一站式大數(shù)據(jù)平臺 云原生數(shù)據(jù)湖 MRS 全球累計交付30萬+節(jié)點,30%性價比提升 全托管大數(shù)據(jù)服務 數(shù)據(jù)湖探索 DLI 流、批、交互式一體,AIl in SQL,秒級擴縮容 數(shù)據(jù)倉庫 云數(shù)據(jù)倉庫 GaussDB(DWS)
程序和數(shù)據(jù)到HDFS。 購買集群 進入MapReduce管理控制臺,單擊“購買集群”并配置相關參數(shù)。用戶可以指定集群類型用于離線數(shù)據(jù)分析和流處理任務,指定集群中預置的彈性云服務器實例規(guī)格、實例數(shù)量、數(shù)據(jù)盤類型、要安裝的組件。 提交作業(yè) 您可以通過MRS控制臺界面提交作業(yè),也可以通過MRS集群節(jié)點使用命令提交作業(yè)。
建議搭配使用 數(shù)據(jù)湖探索 DLI MapReduce服務 數(shù)據(jù)湖治理中心 DGC 實時數(shù)據(jù)分析 移動互聯(lián)網、IoT場景下會產生大量實時數(shù)據(jù),為了快速獲取數(shù)據(jù)價值,需要對數(shù)據(jù)進行實時分析,DWS的快速入庫和查詢能力可支持實時數(shù)據(jù)分析 優(yōu)勢 流式數(shù)據(jù)實時入庫 IoT、互聯(lián)網等數(shù)據(jù)經過流計算及AI服務處理后,可實時寫入DWS
之旅 開始使用 您可能感興趣的產品 您可能感興趣的產品 數(shù)據(jù)治理中心 DataArts Studio 一站式數(shù)據(jù)開發(fā)與治理平臺 數(shù)據(jù)湖探索 DLI 流處理、批處理的融合處理分析服務 數(shù)據(jù)可視化 DLV 提供可視化組件定制和應用數(shù)據(jù)大屏
入自定義工作流中 提供多種圖表類型實時展示作業(yè)數(shù)據(jù)輸出,用戶可以通過API網關服務自由訪問作業(yè)數(shù)據(jù),接入自定義工作流中 應用場景 實時流分析場景 物聯(lián)網IoT場景 實時流分析場景 提供易用、低時延、高吞吐的實時流分析服務。支持Stream SQL和用戶自定義作業(yè)做流分析 優(yōu)勢 易用
統(tǒng)一開發(fā)者體驗 通過對零碼、低碼、流程、大屏、高低碼結合等場景覆蓋,統(tǒng)一開發(fā)者體驗 華為云Astro工作流 快速構建工作流應用 滿足企業(yè)中人財事物的調、轉、入、離、審、評、批等任務的數(shù)智化需求 場景詳情 華為云Astro大屏應用 快速搭建大屏應用 滿足運營,業(yè)務監(jiān)控,風險預警等多
合能源等新興業(yè)務發(fā)展。 華為云助力山東黃金建立國際一流礦山運營模式 華為云助力山東黃金實現(xiàn)勘探、化驗、地測采選、產供銷等全鏈路數(shù)據(jù)采集,為礦山的安全生產、經營管理提供實時、精準的數(shù)據(jù)支撐,建設基于智能決策和遠程集中控制的國際一流礦山運營模式。 華為云助力深圳機場集團“智慧機場”數(shù)字化轉型
DIS提供百萬連接并發(fā),單數(shù)據(jù)流最高支持每日TB級別的數(shù)據(jù)量寫入,每個分區(qū)(partition)支持最高每日百GB級別的寫入量 DIS提供百萬連接并發(fā),單數(shù)據(jù)流最高支持每日TB級別的數(shù)據(jù)量寫入,每個分區(qū)(partition)支持最高每日百GB級別的寫入量 每個數(shù)據(jù)流的吞吐能力可以通過動態(tài)增加partition進行擴展
批處理、實時檢索、實時流處理、批流合一計算平臺等。規(guī)格:培訓時長5天,每班最大人數(shù)20人 產品技術培訓1.華為云數(shù)據(jù)治理高級工程師培訓面向需要了解數(shù)據(jù)治理理論,使用華為數(shù)據(jù)湖治理中心 DGC進行數(shù)據(jù)治理、建模及集成的工程師。課程內容:深入講解華為云數(shù)據(jù)湖治理中心 DGC產品知識
Apache Hudi是下一代流數(shù)據(jù)湖平臺,它直接在數(shù)據(jù)湖中引入了核心的倉庫和數(shù)據(jù)庫功能。Hudi提供了兩種原語,使得除了經典的批處理之外,還可以在數(shù)據(jù)湖上進行流處理。Apache Hudi,也被發(fā)音為“hoodie”,是下一代流數(shù)據(jù)湖平臺。它直接在數(shù)據(jù)湖中引入了核心的倉庫和數(shù)據(jù)庫功
Pulsar是Apache軟件基金會的頂級項目,也是下一代云原生分布式消息流平臺。它集消息、存儲、輕量化函數(shù)式計算為一體,采用計算與存儲分離架構設計。Pulsar的主要特性包括:①支持多種消息模型:Pulsar提供了靈活的消息模型和直觀的客戶端API,支持發(fā)布-訂閱模式和點對點模
同空間的數(shù)據(jù)互相隔離,保障企業(yè)數(shù)據(jù)安全。6. 單點登錄。支持多種企業(yè)內部單點登錄系統(tǒng)對接。 數(shù)據(jù)資產底座,實時數(shù)據(jù)中臺,數(shù)智一體化,湖倉一體,流批一體
發(fā):無侵入的實現(xiàn)實時數(shù)倉。2. 數(shù)據(jù)開發(fā)平臺數(shù)據(jù)開發(fā)平臺用于大數(shù)據(jù)開發(fā)的IDE套件;滿足用戶對于變量開發(fā)、任務調度、運維監(jiān)控以及流批一體等需求。該平臺以豐富的算法組件,實現(xiàn)拖、拉、拽式的開發(fā)模式,以全圖形化的運維界面,降低數(shù)據(jù)開發(fā)、數(shù)據(jù)挖掘以及數(shù)據(jù)運維環(huán)節(jié)對于使用者技術能
易流E-TMS,以“互聯(lián)網+”模式重構物流運輸業(yè)務,助力企業(yè)打造端到端透明的物流業(yè)務體系;基于大數(shù)據(jù)分析賦能,提升運輸管理、路徑優(yōu)化等能力,實現(xiàn)高效協(xié)同過程可視、智能優(yōu)化。易流E-TMS是易流科技在物流透明管理實踐15年,戰(zhàn)略全面轉型為“供應鏈物流行業(yè)數(shù)字化(IoT)基礎設施”,
地連接起來,從而為企業(yè)提供一套完善的供應鏈解決方案,實現(xiàn)企業(yè)間產銷供、業(yè)務與財務稅務的一體化運作。其社會化協(xié)作功能可確保上下游企業(yè),包括供應商、制造商和分銷商之間的商業(yè)流、物流、信息流和資金流整體運作。通過開放性的生態(tài)服務,供應鏈能提供更全面的供應鏈服務,幫助企業(yè)提升供應鏈管理能
數(shù)據(jù)‘主動溝通’能力,資源協(xié)同、變更管理、過程審批7.項目進度可視化 - 隨時隨地管理項目進度8.過程數(shù)據(jù)分析 - 多維度數(shù)據(jù)統(tǒng)計分析,配置型管理看板對全局把控,業(yè)數(shù)一體反哺企業(yè)業(yè)務流shiyo那個 全方位、多維度看板查看,助力數(shù)據(jù)分析,透視數(shù)據(jù)價值,可直接在甘特圖中拖拽實現(xiàn)任務創(chuàng)建,直觀化、可視化進行任務周期調整、綁定關聯(lián)關系
G7易流E-TMS,以“互聯(lián)網+”模式重構物流運輸業(yè)務,助力企業(yè)打造端到端透明的物流業(yè)務體系;基于大數(shù)據(jù)分析賦能,提升運輸管理、路徑優(yōu)化等能力,實現(xiàn)高效協(xié)同過程可視、智能優(yōu)化。G7易流E-TMS是易流科技在物流透明管理實踐15年,戰(zhàn)略全面轉型為“供應鏈物流行業(yè)數(shù)字化(IoT)基礎
數(shù)據(jù)鏈路實時性提升至10分鐘,支撐實時線損分析、有序用電、負荷預測等 電力計量大數(shù)據(jù) 實時數(shù)據(jù)湖,千萬級終端采集頻率提升到分鐘級 實時數(shù)據(jù)湖,千萬級終端采集頻率提升到分鐘級 電網營銷2.0 流批一體計算,數(shù)據(jù)讀寫性能提升8倍,電費測算提效20倍 流批一體計算,數(shù)據(jù)讀寫性能提升8倍,電費測算提效20倍 油氣 油氣云
MRS提供多種主流計算引擎:MapReduce(批處理)、Tez(DAG模型)、Spark(內存計算)、SparkStreaming(微批流計算)、Storm(流計算)、Flink(流計算),滿足多種大數(shù)據(jù)應用場景,將數(shù)據(jù)進行結構和邏輯的轉換,轉化成滿足業(yè)務目標的數(shù)據(jù)模型。 數(shù)據(jù)呈現(xiàn)調度 用于數(shù)據(jù)分
豐富的流生態(tài)圈。數(shù)據(jù)湖探索的流生態(tài)分為云服務生態(tài)和開源生態(tài): 開源生態(tài):通過增強型跨源連接建立與其他VPC的網絡連接后,用戶可以在數(shù)據(jù)湖探索的租戶獨享隊列中訪問所有Flink和Spark支持的數(shù)據(jù)源與輸出源,如Kafka、Hbase、ElasticSearch等。 數(shù)據(jù)湖探索應用場景
MapReduce提供多種主流計算引擎:MapReduce(批處理)、Tez(DAG模型)、Spark(內存計算)、SparkStreaming(微批流計算)、Storm(流計算)、Flink(流計算),滿足多種大數(shù)據(jù)應用場景,將數(shù)據(jù)進行結構和邏輯的轉換,轉化成滿足業(yè)務目標的數(shù)據(jù)模型。 基于預設的數(shù)據(jù)模型,使用
什么是函數(shù)工作流 什么是函數(shù)工作流 由淺入深,帶您認識華為云函數(shù)工作流 FunctionGraph 由淺入深,帶您認識華為云函數(shù)工作流 FunctionGraph 函數(shù)工作流 FunctionGraph 函數(shù)工作流(FunctionGraph),是一項基于事件驅動的函數(shù)托管計算服
了快速獲取數(shù)據(jù)價值,需要對數(shù)據(jù)進行實時分析,DWS的快速入庫和查詢能力可支持實時數(shù)據(jù)分析 優(yōu)勢 流式數(shù)據(jù)實時入庫:IoT、互聯(lián)網等數(shù)據(jù)經過流計算及AI服務處理后,可實時寫入DWS。 實時監(jiān)控與預測:圍繞數(shù)據(jù)進行分析和預測,對設備進行監(jiān)控,對行為進行預測,實現(xiàn)控制和優(yōu)化。 AI融合
ERP軟件系統(tǒng) 八神ERP,是基于各行業(yè)特性,整合商流、物流、信息流和資金流,助力企業(yè)建立扁平化、平臺化的供應鏈;建立以交易為核心、更智能的財務管理與服務體系。 八神ERP,是基于各行業(yè)特性,整合商流、物流、信息流和資金流,助力企業(yè)建立扁平化、平臺化的供應鏈;建立以交易為核心、更智能的財務管理與服務體系。
Hudi服務介紹 MRS Hudi是一種數(shù)據(jù)湖的存儲格式,在Hadoop文件系統(tǒng)之上提供了更新數(shù)據(jù)和刪除數(shù)據(jù)的能力以及消費變化數(shù)據(jù)的能力。支持多種計算引擎,提供IUD接口,在HDFS的數(shù)據(jù)集上提供了插入更新和增量拉取的流原語。 MRS Hudi是一種數(shù)據(jù)湖的存儲格式,在Hadoop文件系
展,能夠通過SQL語句、Spark作業(yè)或者Flink作業(yè)訪問其他數(shù)據(jù)存儲服務并導入、查詢、分析處理其中的數(shù)據(jù),數(shù)據(jù)湖探索跨源連接的功能是打通數(shù)據(jù)源之間的網絡連接。 數(shù)據(jù)湖探索跨源連接的功能是打通數(shù)據(jù)源之間的網絡連接,目前DLI支持跨源連接訪問的數(shù)據(jù)源包括:CloudTable HBase,CloudTable
數(shù)據(jù)湖批流一體是什么
如今隨著互聯(lián)網以及物聯(lián)網等技術的不斷發(fā)展,越來越多數(shù)據(jù)被生產出來, 數(shù)據(jù)管理 工具也得到了飛速的發(fā)展,大數(shù)據(jù)相關概念如雨后春筍一般應運而生,如從 數(shù)據(jù)庫 、 數(shù)據(jù)倉庫 、數(shù)據(jù)湖、湖倉一體等。這些概念分別指的是什么,又有著怎樣的聯(lián)系,同時,華為對應的產品與方案又是什么呢?本文將一一進行對比介紹。
什么是數(shù)據(jù)庫?
數(shù)據(jù)庫是“按照數(shù)據(jù)結構來組織、存儲和管理數(shù)據(jù)的倉庫”。
廣義上的數(shù)據(jù)庫,在20世紀60年代已經在計算機中應用了。但這個階段的數(shù)據(jù)庫結構主要是層次或網狀的,且數(shù)據(jù)和程序之間具備非常強的依賴性,應用較為有限。
現(xiàn)在通常所說的數(shù)據(jù)庫指的是關系型數(shù)據(jù)庫。關系數(shù)據(jù)庫是指采用了關系模型來組織數(shù)據(jù)的數(shù)據(jù)庫,其以行和列的形式存儲數(shù)據(jù),具有結構化程度高,獨立性強,冗余度低等優(yōu)點。1970年關系型數(shù)據(jù)庫的誕生,真正徹底把軟件中的數(shù)據(jù)和程序分開來,成為主流計算機系統(tǒng)不可或缺的組成部分。關系型數(shù)據(jù)庫已經成為目前 數(shù)據(jù)庫產品 中最重要的一員,幾乎所有的數(shù)據(jù)庫廠商新出的數(shù)據(jù)庫產品都支持關系型數(shù)據(jù)庫,即使一些非關系數(shù)據(jù)庫產品也幾乎都有支持關系數(shù)據(jù)庫的接口。
關系型數(shù)據(jù)庫主要用于聯(lián)機事務處理OLTP(OnLine Transaction Processing),主要進行基本的、日常的事務處理,例如銀行交易等場景。
什么是數(shù)據(jù)倉庫?
隨著數(shù)據(jù)庫的大規(guī)模應用,使信息行業(yè)的數(shù)據(jù)爆炸式地增長。為了研究數(shù)據(jù)之間的關系,挖掘數(shù)據(jù)隱藏的價值,人們越來越多的需要使用聯(lián)機分析處理OLAP(On-Line Analytical Processing)進行數(shù)據(jù)分析,探究一些深層次的關系和信息。但是不同的數(shù)據(jù)庫之間很難做到數(shù)據(jù)共享,數(shù)據(jù)之間的集成與分析也存在非常大的挑戰(zhàn)。
為解決企業(yè)的數(shù)據(jù)集成與分析問題,數(shù)據(jù)倉庫之父比爾·恩門于1990年提出數(shù)據(jù)倉庫(Data Warehouse)。數(shù)據(jù)倉庫主要功能是將OLTP經年累月所累積的大量數(shù)據(jù),通過數(shù)據(jù)倉庫特有的數(shù)據(jù)儲存架構進行OLAP,最終幫助決策者能快速有效地從大量數(shù)據(jù)中,分析出有價值的信息,提供決策支持。自從數(shù)據(jù)倉庫出現(xiàn)之后,信息產業(yè)就開始從以關系型數(shù)據(jù)庫為基礎的運營式系統(tǒng)慢慢向決策支持系統(tǒng)發(fā)展。
數(shù)據(jù)倉庫相比數(shù)據(jù)庫,主要有以下兩個特點:
- 數(shù)據(jù)倉庫是面向主題集成的。數(shù)據(jù)倉庫是為了支撐各種業(yè)務而建立的,數(shù)據(jù)來自于分散的操作型數(shù)據(jù)。因此需要將所需數(shù)據(jù)從多個異構的數(shù)據(jù)源中抽取出來,進行加工與集成,按照主題進行重組,最終進入數(shù)據(jù)倉庫。
- 數(shù)據(jù)倉庫主要用于支撐企業(yè)決策分析,所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢。因此數(shù)據(jù)倉庫通過表結構優(yōu)化、存儲方式優(yōu)化等方式提高查詢速度、降低開銷。
|
維度 |
數(shù)據(jù)倉庫 |
數(shù)據(jù)庫 |
|---|---|---|
|
應用場景 |
OLAP |
OLTP |
|
數(shù)據(jù)來源 |
多數(shù)據(jù)源 |
單數(shù)據(jù)源 |
|
數(shù)據(jù)標準化 |
非標準化Schema |
高度標準化的靜態(tài)Schema |
|
數(shù)據(jù)讀取優(yōu)勢 |
針對讀操作進行優(yōu)化 |
針對寫操作進行優(yōu)化 |
什么是數(shù)據(jù)湖?
在企業(yè)內部,數(shù)據(jù)是一類重要資產已經成為了共識。隨著企業(yè)的持續(xù)發(fā)展,數(shù)據(jù)不斷堆積,企業(yè)希望把生產經營中的所有相關數(shù)據(jù)都完整保存下來,進行有效管理與集中治理,挖掘和探索數(shù)據(jù)價值。
數(shù)據(jù)湖就是在這種背景下產生的。數(shù)據(jù)湖是一個集中存儲各類結構化和非結構化數(shù)據(jù)的大型數(shù)據(jù)倉庫,它可以存儲來自多個數(shù)據(jù)源、多種數(shù)據(jù)類型的原始數(shù)據(jù),數(shù)據(jù)無需經過結構化處理,就可以進行存取、處理、分析和傳輸。數(shù)據(jù)湖能幫助企業(yè)快速完成異構數(shù)據(jù)源的聯(lián)邦分析、挖掘和探索數(shù)據(jù)價值。
- 數(shù)據(jù)存儲架構:要有足夠的擴展性和可靠性,可以存儲海量的任意類型的數(shù)據(jù),包括結構化、半結構化和非結構化數(shù)據(jù)。
- 數(shù)據(jù)處理工具,則分為兩大類:
- 第一類工具,聚焦如何把數(shù)據(jù)“搬到”湖里。包括定義數(shù)據(jù)源、制定數(shù)據(jù)同步策略、移動數(shù)據(jù)、編制數(shù)據(jù)目錄等。
- 第二類工具,關注如何對湖中的數(shù)據(jù)進行分析、挖掘、利用。數(shù)據(jù)湖需要具備完善的數(shù)據(jù)管理能力、多樣化的數(shù)據(jù)分析能力、全面的數(shù)據(jù)生命周期管理能力、安全的數(shù)據(jù)獲取和數(shù)據(jù)發(fā)布能力。如果沒有這些數(shù)據(jù)治理工具,元數(shù)據(jù)缺失,湖里的數(shù)據(jù)質量就沒法保障,最終會由數(shù)據(jù)湖變質為數(shù)據(jù)沼澤。
隨著大數(shù)據(jù)和AI的發(fā)展,數(shù)據(jù)湖中數(shù)據(jù)的價值逐漸水漲船高,價值被重新定義。數(shù)據(jù)湖能給企業(yè)帶來多種能力,例如實現(xiàn)數(shù)據(jù)的集中式管理,幫助企業(yè)構建更多優(yōu)化后的運營模型,也能為企業(yè)提供其他能力,如預測分析、推薦模型等,這些模型能刺激企業(yè)能力的后續(xù)增長。
對于數(shù)據(jù)倉庫與數(shù)據(jù)湖的不同之處,可以類比為倉庫和湖泊的區(qū)別:倉庫存儲著來自特定來源的貨物;而湖泊的水來自河流、溪流和其他來源,并且是原始數(shù)據(jù)。
|
維度 |
數(shù)據(jù)湖 |
數(shù)據(jù)倉庫 |
|---|---|---|
|
應用場景 |
可以探索性分析所有類型的數(shù)據(jù),包括機器學習、數(shù)據(jù)發(fā)現(xiàn)、特征分析、預測等 |
通過歷史的結構化數(shù)據(jù)進行數(shù)據(jù)分析 |
|
使用成本 |
起步成本低,后期成本較高 |
起步成本高,后期成本較低 |
|
數(shù)據(jù)質量 |
包含大量原始數(shù)據(jù),使用前需要清洗和標準化處理 |
質量高,可作為事實依據(jù) |
|
適用對象 |
數(shù)據(jù)科學家、數(shù)據(jù)開發(fā)人員為主 |
業(yè)務分析師為主 |
華為 智能數(shù)據(jù)湖 方案
華為數(shù)據(jù)使能服務 DataArts Studio ,為大型政企客戶量身定制跨越孤立系統(tǒng)、感知業(yè)務的數(shù)據(jù)資源智能管理解決方案,實現(xiàn)全域數(shù)據(jù)入湖,幫助政企客戶從多角度、多層次、多粒度挖掘數(shù)據(jù)價值,實現(xiàn)數(shù)據(jù)驅動的數(shù)字化轉型。
DataArts Studio的核心主要是華為智能數(shù)據(jù)湖 FusionInsight ,包含數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖等各計算引擎和 數(shù)據(jù)治理中心 DataArts Studio平臺,提供了數(shù)據(jù)使能的全套能力,支持數(shù)據(jù)的采集、匯聚、計算、資產管理、數(shù)據(jù)開放服務的全生命周期管理。
華為FusionInsight解決方案,對應的各服務如下:
- 數(shù)據(jù)庫:
- 關系型數(shù)據(jù)庫包括: 云數(shù)據(jù)庫 RDS、云數(shù)據(jù)庫 TaurusDB、云數(shù)據(jù)庫 GaussDB 、云數(shù)據(jù)庫 PostgreSQL 、云數(shù)據(jù)庫 SQL Server等。
- 非關系型數(shù)據(jù)庫包括: 文檔數(shù)據(jù)庫服務 DDS、云數(shù)據(jù)庫 GeminiDB(兼容Influx、Redis、Mongo以及Cassandra多種協(xié)議)等。
- 數(shù)據(jù)倉庫:數(shù)據(jù)倉庫服務DWS。
- 數(shù)據(jù)湖: 云原生 大數(shù)據(jù) MRS 、數(shù)據(jù)湖探索DLI等。
- 數(shù)據(jù)治理平臺:數(shù)據(jù)治理中心DataArts Studio。
數(shù)據(jù)湖批流一體是什么常見問題
更多常見問題 >>-
數(shù)據(jù)湖探索(Data Lake Insight,簡稱DLI)是完全兼容Apache Spark和Apache Flink生態(tài), 實現(xiàn)批流一體的Serverless大數(shù)據(jù)計算分析服務。DLI支持多模引擎,企業(yè)僅需使用SQL或程序就可輕松完成異構數(shù)據(jù)源的批處理、流處理等,挖掘和探索數(shù)據(jù)價值。
-
數(shù)據(jù)湖探索DLI用戶可以通過可視化界面、Restful API、JDBC、ODBC、Beeline等多種接入方式對云上CloudTable、RDS和DWS等異構數(shù)據(jù)源進行查詢分析,數(shù)據(jù)格式兼容CSV、JSON、Parquet、Carbon和ORC五種主流數(shù)據(jù)格式。
-
智能數(shù)據(jù)湖運營平臺(DAYU)是數(shù)據(jù)全生命周期一站式開發(fā)運營平臺,提供數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)服務等功能,支持行業(yè)知識庫智能化建設,支持大數(shù)據(jù)存儲、大數(shù)據(jù)計算分析引擎等數(shù)據(jù)底座,幫助企業(yè)客戶快速構建數(shù)據(jù)運營能力。
-
數(shù)據(jù)湖探索的計費包括存儲計費和計算計費。數(shù)據(jù)湖探索的計費詳情及樣例,請參見以下說明。數(shù)據(jù)湖探索服務目前支持三種作業(yè):SQL作業(yè),F(xiàn)link作業(yè)和Spark作業(yè)。 SQL作業(yè)的計費包括存儲計費和計算計費,其中計算計費包括包年包月計費和按需計費兩種。 包年包月計費根據(jù)購買周期進行扣費,推薦使用包年包月模式,價格優(yōu)惠且在周期內獨享計算資源。
-
數(shù)據(jù)湖探索(Data Lake Insight,簡稱DLI)是完全兼容Apache Spark和Apache Flink生態(tài), 實現(xiàn)批流一體的Serverless大數(shù)據(jù)計算分析服務。DLI支持多模引擎,企業(yè)僅需使用SQL或程序就可輕松完成異構數(shù)據(jù)源的批處理、流處理等,挖掘和探索數(shù)據(jù)價值
-
隨著大數(shù)據(jù)技術的發(fā)展,政企數(shù)字化轉型的首要任務是充分利用大數(shù)據(jù)和分析。然而,在使用大數(shù)據(jù)技術的過程中,企業(yè)仍然面臨許多挑戰(zhàn)。為了解決這些挑戰(zhàn),華為云Stack推出了FusionInsight智能數(shù)據(jù)湖,以幫助企業(yè)建立完整的大數(shù)據(jù)云服務產品組合,提升數(shù)據(jù)處理能力和業(yè)務效率。
數(shù)據(jù)湖批流一體是什么教程視頻
最佳實踐視頻幫助您快速了解搭建流程 了解更多
更多相關專題
增值電信業(yè)務經營許可證:B1.B2-20200593 | 域名注冊服務機構許可:黔D3-20230001 | 代理域名注冊服務機構:新網、西數(shù)