使用功能
一站式數(shù)據(jù)運(yùn)營平臺
貫穿數(shù)據(jù)全流程的一站式治理運(yùn)營平臺,幫助企業(yè)構(gòu)建完整的數(shù)據(jù)中臺解決方案。
豐富的數(shù)據(jù)開發(fā)類型
支持多人在線協(xié)作開發(fā),提供豐富的調(diào)度配置策略與海量的作業(yè)調(diào)度能力。
統(tǒng)一調(diào)度和運(yùn)維
全面托管的調(diào)度,支持多種調(diào)度周期。
管理功能
數(shù)據(jù)集成
多種方式異構(gòu)數(shù)據(jù)源高效接入,支持用戶穩(wěn)定高效地對海量數(shù)據(jù)進(jìn)行移動。
數(shù)據(jù)架構(gòu)
數(shù)據(jù)建模可視化、自動化、智能化。通過統(tǒng)一指標(biāo)平臺建設(shè)實(shí)現(xiàn)規(guī)范化指標(biāo)體系。
數(shù)據(jù)服務(wù)
提升訪問查詢檢索效率。為您提供快速將數(shù)據(jù)表生成數(shù)據(jù)API的能力。
作業(yè)開發(fā)流程
開發(fā)作業(yè)前,您可以通過下圖了解數(shù)據(jù)開發(fā)模塊作業(yè)開發(fā)的基本流程。
數(shù)據(jù)治理中心數(shù)據(jù)開發(fā)使用指導(dǎo)
-
作業(yè)調(diào)度支持每月最后一天
在配置作業(yè)配置調(diào)度時(shí),可以選擇每個(gè)月的最后一天執(zhí)行。
在配置作業(yè)配置調(diào)度時(shí),可以選擇每個(gè)月的最后一天執(zhí)行。
-
補(bǔ)數(shù)據(jù)場景使用介紹
補(bǔ)數(shù)據(jù)特性幫助用戶補(bǔ)充以前時(shí)間段內(nèi)的歷史業(yè)務(wù)數(shù)據(jù)。
補(bǔ)數(shù)據(jù)特性幫助用戶補(bǔ)充以前時(shí)間段內(nèi)的歷史業(yè)務(wù)數(shù)據(jù)。
-
生成元數(shù)據(jù)
通過創(chuàng)建數(shù)據(jù)表去定義元數(shù)據(jù)的屬性、類型等。通過關(guān)聯(lián)數(shù)據(jù)表會自動生成元數(shù)據(jù)。
通過創(chuàng)建數(shù)據(jù)表去定義元數(shù)據(jù)的屬性、類型等。通過關(guān)聯(lián)數(shù)據(jù)表會自動生成元數(shù)據(jù)。
-
獲取SQL節(jié)點(diǎn)的輸出結(jié)果值
獲取SQL節(jié)點(diǎn)的輸出結(jié)果值,并將結(jié)果應(yīng)用于后續(xù)作業(yè)節(jié)點(diǎn)或進(jìn)行判斷。
獲取SQL節(jié)點(diǎn)的輸出結(jié)果值,并將結(jié)果應(yīng)用于后續(xù)作業(yè)節(jié)點(diǎn)或進(jìn)行判斷。
-
IF條件判斷教程
在進(jìn)行作業(yè)編排時(shí),想要實(shí)現(xiàn)通過設(shè)置條件,選擇不同的執(zhí)行路徑,可使用IF條件判斷。
在進(jìn)行作業(yè)編排時(shí),想要實(shí)現(xiàn)通過設(shè)置條件,選擇不同的執(zhí)行路徑,可使用IF條件判斷。
-
For Each節(jié)點(diǎn)使用介紹
開發(fā)作業(yè)時(shí),任務(wù)的參數(shù)有差異但處理邏輯一致,通過For Each節(jié)點(diǎn)避免重復(fù)開發(fā)作業(yè)。
開發(fā)作業(yè)時(shí),任務(wù)的參數(shù)有差異但處理邏輯一致,通過For Each節(jié)點(diǎn)避免重復(fù)開發(fā)作業(yè)。
-
獲取Rest Client節(jié)點(diǎn)返回值教程
-
開發(fā)一個(gè)Python腳本
本教程介紹如何在數(shù)據(jù)開發(fā)模塊上開發(fā)并執(zhí)行Python腳本示例。
本教程介紹如何在數(shù)據(jù)開發(fā)模塊上開發(fā)并執(zhí)行Python腳本示例。
-
開發(fā)一個(gè)Hive SQL作業(yè)
本教程介紹如何在數(shù)據(jù)開發(fā)模塊上進(jìn)行Hive SQL開發(fā)。
本教程介紹如何在數(shù)據(jù)開發(fā)模塊上進(jìn)行Hive SQL開發(fā)。
-
開發(fā)一個(gè)DWS SQL作業(yè)
本教程介紹如何在數(shù)據(jù)開發(fā)模塊上通過DWS SQL節(jié)點(diǎn)進(jìn)行作業(yè)開發(fā)。
本教程介紹如何在數(shù)據(jù)開發(fā)模塊上通過DWS SQL節(jié)點(diǎn)進(jìn)行作業(yè)開發(fā)。
-
開發(fā)一個(gè)DLI Spark作業(yè)
本教程通過一個(gè)例子演示如何在數(shù)據(jù)開發(fā)模塊中提交一個(gè)Spark作業(yè)。
本教程通過一個(gè)例子演示如何在數(shù)據(jù)開發(fā)模塊中提交一個(gè)Spark作業(yè)。
-
開發(fā)一個(gè)MRS Flink作業(yè)
本教程介紹如何在數(shù)據(jù)開發(fā)模塊上進(jìn)行MRS Flink作業(yè)開發(fā)。通過MRS Flink作業(yè)實(shí)現(xiàn)統(tǒng)計(jì)單詞的個(gè)數(shù)。
本教程介紹如何在數(shù)據(jù)開發(fā)模塊上進(jìn)行MRS Flink作業(yè)開發(fā)。通過MRS Flink作業(yè)實(shí)現(xiàn)統(tǒng)計(jì)單詞的個(gè)數(shù)。
-
開發(fā)一個(gè)MRS Spark Python作業(yè)
本教程介紹如何在數(shù)據(jù)開發(fā)模塊上進(jìn)行MRS Spark Python作業(yè)開發(fā)。
本教程介紹如何在數(shù)據(jù)開發(fā)模塊上進(jìn)行MRS Spark Python作業(yè)開發(fā)。
-
Env內(nèi)嵌對象
-
Job內(nèi)嵌對象
提供獲取作業(yè)中上一節(jié)點(diǎn)的輸出消息、作業(yè)調(diào)度計(jì)劃時(shí)間、作業(yè)執(zhí)行時(shí)間等屬性和方法。
提供獲取作業(yè)中上一節(jié)點(diǎn)的輸出消息、作業(yè)調(diào)度計(jì)劃時(shí)間、作業(yè)執(zhí)行時(shí)間等屬性和方法。
-
StringUtil內(nèi)嵌對象
StringUtil內(nèi)嵌對象提供一系列字符串操作方法,例如從一個(gè)字符串中截取一個(gè)子字符串。
StringUtil內(nèi)嵌對象提供一系列字符串操作方法,例如從一個(gè)字符串中截取一個(gè)子字符串。
-
DateUtil內(nèi)嵌對象
DateUtil內(nèi)嵌對象提供了一系列時(shí)間格式化、時(shí)間計(jì)算方法。
DateUtil內(nèi)嵌對象提供了一系列時(shí)間格式化、時(shí)間計(jì)算方法。
-
JSONUtil內(nèi)嵌對象
-
Loop內(nèi)嵌對象
使用Loop內(nèi)嵌對象可獲取For Each節(jié)點(diǎn)數(shù)據(jù)集中的數(shù)據(jù)。
使用Loop內(nèi)嵌對象可獲取For Each節(jié)點(diǎn)數(shù)據(jù)集中的數(shù)據(jù)。
-
OBSUtil內(nèi)嵌對象
OBSUtil內(nèi)嵌對象提供了一系列針對OBS的操作方法,例如判斷OBS文件或目錄是否存在。
OBSUtil內(nèi)嵌對象提供了一系列針對OBS的操作方法,例如判斷OBS文件或目錄是否存在。
-
常用的EL表達(dá)式
該指導(dǎo)總體介紹數(shù)據(jù)開發(fā)中常用的EL表達(dá)式以及應(yīng)用示例。
該指導(dǎo)總體介紹數(shù)據(jù)開發(fā)中常用的EL表達(dá)式以及應(yīng)用示例。
-
簡易變量集
簡易變量集提供一系列自定義變量,自定義參數(shù)會根據(jù)任務(wù)調(diào)度的業(yè)務(wù)日期、計(jì)劃時(shí)間等自動替換為具體的值,實(shí)現(xiàn)動態(tài)替換。
提供一系列自定義變量,自定義參數(shù)會根據(jù)任務(wù)調(diào)度的業(yè)務(wù)日期、計(jì)劃時(shí)間等自動替換為具體的值,實(shí)現(xiàn)動態(tài)替換。
-
表達(dá)式使用示例
在數(shù)據(jù)開發(fā)中EL表達(dá)式的靈活應(yīng)用(如何在腳本中使用變量、作業(yè)傳遞參數(shù)給SQL腳本變量、參數(shù)中如何使用EL表達(dá)式)。
通過本示例,用戶可以了解數(shù)據(jù)開發(fā)模塊EL表達(dá)式的使用方法。
-
配置環(huán)境變量
配置作業(yè)參數(shù)時(shí),當(dāng)某參數(shù)隸屬于多個(gè)作業(yè),可將此參數(shù)提取出來作為環(huán)境變量,環(huán)境變量支持導(dǎo)入和導(dǎo)出。
配置作業(yè)參數(shù)時(shí),當(dāng)某參數(shù)隸屬于多個(gè)作業(yè),可將此參數(shù)提取出來作為環(huán)境變量,環(huán)境變量支持導(dǎo)入和導(dǎo)出。
-
配置調(diào)度身份
配置作業(yè)調(diào)度身份后,作業(yè)執(zhí)行過程中,以配置的調(diào)度身份與其他服務(wù)交互。調(diào)度身份分為委托和IAM賬戶兩大類。
配置作業(yè)調(diào)度身份后,作業(yè)執(zhí)行過程中,以配置的調(diào)度身份與其他服務(wù)交互。調(diào)度身份分為委托和IAM賬戶兩大類。
-
配置節(jié)點(diǎn)并發(fā)數(shù)
設(shè)置一個(gè)作業(yè)空間同一時(shí)間允許正在運(yùn)行的作業(yè)的最大并發(fā)數(shù)。用戶根據(jù)實(shí)際業(yè)務(wù)需要配置節(jié)點(diǎn)的最大并發(fā)數(shù)。
設(shè)置一個(gè)作業(yè)空間同一時(shí)間允許正在運(yùn)行的作業(yè)的最大并發(fā)數(shù)。用戶根據(jù)實(shí)際業(yè)務(wù)需要配置節(jié)點(diǎn)的最大并發(fā)數(shù)。
-
配置默認(rèn)項(xiàng)
主要介紹默認(rèn)項(xiàng)的配置。當(dāng)前只有DAYU Administrator或Tenant Administrator權(quán)限的用戶才有默認(rèn)配置項(xiàng)的相關(guān)操作權(quán)限。
主要介紹默認(rèn)項(xiàng)的配置。當(dāng)前只有DAYU Administrator或Tenant Administrator權(quán)限的用戶才有默認(rèn)配置項(xiàng)的相關(guān)操作權(quán)限。