數(shù)據(jù)湖 工廠服務(wù)(簡稱數(shù)據(jù)開發(fā)模塊)是華為云 大數(shù)據(jù) 重要的平臺產(chǎn)品,它可管理多種大數(shù)據(jù)服務(wù),提供一站式的大數(shù)據(jù)開發(fā)環(huán)境、全托管的大數(shù)據(jù)調(diào)度能力,極大降低用戶使用大數(shù)據(jù)的門檻,幫助用戶快速構(gòu)建大數(shù)據(jù)處理中心。
支持管理DWS、DLI、MRS Hive等多種 數(shù)據(jù)倉庫 。
支持可視化和DDL方式管理 數(shù)據(jù)庫 表。
與 云數(shù)據(jù)遷移 服務(wù)( CDM )無縫集成,依托CDM的強力支撐,支持20多種異構(gòu)數(shù)據(jù)源之間可靠高效的數(shù)據(jù)傳輸,輕松實現(xiàn)多數(shù)據(jù)源集成到數(shù)據(jù)倉庫。
腳本開發(fā)
提供在線腳本編輯器,支持多人協(xié)作進行SQL、Shell腳本在線代碼開發(fā)和調(diào)測。
支持使用變量和函數(shù)。
作業(yè)開發(fā)
提供圖形化設(shè)計器,支持拖拉拽方式快速構(gòu)建數(shù)據(jù)處理工作流。
預(yù)設(shè)數(shù)據(jù)集成、SQL、MR、Spark、Shell、機器學(xué)習(xí)等多種任務(wù)類型,通過任務(wù)間依賴完成復(fù)雜數(shù)據(jù)分析處理。
支持導(dǎo)入和導(dǎo)出作業(yè)。
資源管理
支持統(tǒng)一管理在腳本開發(fā)和作業(yè)開發(fā)使用到的file、jar、archive類型的資源。
作業(yè)調(diào)度
支持單次調(diào)度、周期調(diào)度和事件驅(qū)動調(diào)度,周期調(diào)度支持分鐘、小時、天、周、月多種調(diào)度周期。
運維監(jiān)控
支持對作業(yè)進行運行、暫停、恢復(fù)、終止等多種操作。
支持查看作業(yè)和其內(nèi)各任務(wù)節(jié)點的運行詳情。
支持配置多種方式報警,作業(yè)和任務(wù)發(fā)生錯誤時可及時通知相關(guān)人,保證業(yè)務(wù)正常運行。