華為云計算 云知識 數(shù)據(jù)湖工廠服務(wù)的功能
數(shù)據(jù)湖工廠服務(wù)的功能

數(shù)據(jù)湖 工廠服務(wù)(簡稱數(shù)據(jù)開發(fā)模塊)是華為云 大數(shù)據(jù) 重要的平臺產(chǎn)品,它可管理多種大數(shù)據(jù)服務(wù),提供一站式的大數(shù)據(jù)開發(fā)環(huán)境、全托管的大數(shù)據(jù)調(diào)度能力,極大降低用戶使用大數(shù)據(jù)的門檻,幫助用戶快速構(gòu)建大數(shù)據(jù)處理中心。

數(shù)據(jù)管理

支持管理DWS、DLI、MRS Hive等多種 數(shù)據(jù)倉庫 。

支持可視化和DDL方式管理 數(shù)據(jù)庫 表。

數(shù)據(jù)集

云數(shù)據(jù)遷移 服務(wù)( CDM )無縫集成,依托CDM的強力支撐,支持20多種異構(gòu)數(shù)據(jù)源之間可靠高效的數(shù)據(jù)傳輸,輕松實現(xiàn)多數(shù)據(jù)源集成到數(shù)據(jù)倉庫。

腳本開發(fā)

提供在線腳本編輯器,支持多人協(xié)作進行SQL、Shell腳本在線代碼開發(fā)和調(diào)測。

支持使用變量和函數(shù)。

作業(yè)開發(fā)

提供圖形化設(shè)計器,支持拖拉拽方式快速構(gòu)建數(shù)據(jù)處理工作流。

預(yù)設(shè)數(shù)據(jù)集成、SQL、MR、Spark、Shell、機器學(xué)習(xí)等多種任務(wù)類型,通過任務(wù)間依賴完成復(fù)雜數(shù)據(jù)分析處理。

支持導(dǎo)入和導(dǎo)出作業(yè)。

資源管理

支持統(tǒng)一管理在腳本開發(fā)和作業(yè)開發(fā)使用到的file、jar、archive類型的資源。

作業(yè)調(diào)度

支持單次調(diào)度、周期調(diào)度和事件驅(qū)動調(diào)度,周期調(diào)度支持分鐘、小時、天、周、月多種調(diào)度周期。

運維監(jiān)控

支持對作業(yè)進行運行、暫停、恢復(fù)、終止等多種操作。

支持查看作業(yè)和其內(nèi)各任務(wù)節(jié)點的運行詳情。

支持配置多種方式報警,作業(yè)和任務(wù)發(fā)生錯誤時可及時通知相關(guān)人,保證業(yè)務(wù)正常運行。