Flexus L實(shí)例
即開即用，輕松運(yùn)維，開啟簡單上云第一步
立即查看
免費(fèi)體驗(yàn)中心
免費(fèi)領(lǐng)取體驗(yàn)產(chǎn)品，快速開啟云上之旅
立即前往
企業(yè)級(jí)DeepSeek
支持API調(diào)用、知識(shí)庫和聯(lián)網(wǎng)搜索，滿足企業(yè)級(jí)業(yè)務(wù)需求
立即購買
免費(fèi)體驗(yàn)中心
免費(fèi)領(lǐng)取體驗(yàn)產(chǎn)品，快速開啟云上之旅
立即前往
企業(yè)級(jí)DeepSeek
支持API調(diào)用、知識(shí)庫和聯(lián)網(wǎng)搜索，滿足企業(yè)級(jí)業(yè)務(wù)需求
立即前往
Flexus L實(shí)例
即開即用，輕松運(yùn)維，開啟簡單上云第一步
立即查看
免費(fèi)體驗(yàn)中心
免費(fèi)領(lǐng)取體驗(yàn)產(chǎn)品，快速開啟云上之旅
立即前往
Flexus L實(shí)例
即開即用，輕松運(yùn)維，開啟簡單上云第一步
立即前往
企業(yè)級(jí)DeepSeek
支持API調(diào)用、知識(shí)庫和聯(lián)網(wǎng)搜索，滿足企業(yè)級(jí)業(yè)務(wù)需求
立即購買
- 數(shù)據(jù)湖工廠 內(nèi)容精選 換一換
-
否則跳轉(zhuǎn)2。 多租戶模式下，確認(rèn)其他租戶的作業(yè)是否正常。 如果所有租戶的作業(yè)執(zhí)行spark sql都有問題，跳轉(zhuǎn)3。 否則，跳轉(zhuǎn)4。 進(jìn)一步確認(rèn)：用dlf建個(gè)腳本，選擇直連連接，執(zhí)行一條spark sql，看是否報(bào)time out的錯(cuò)（甚至可能數(shù)據(jù)庫都list不出來）。如果有以上現(xiàn)象，大概率是 MRS 集群的jdbc來自：幫助中心9c5/stop 響應(yīng)示例 成功響應(yīng) HTTP狀態(tài)碼 204 失敗響應(yīng) HTTP狀態(tài)碼 400 { "error_code":"DLF.6205", "error_msg":"The script running history does not exist." }來自：幫助中心
- 數(shù)據(jù)湖工廠 相關(guān)內(nèi)容
-
參數(shù) 是否必選 參數(shù)類型 描述 datasource_type 是 String 數(shù)據(jù)源類型： ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS 云數(shù)據(jù)庫 RDS(for MySQL)、 OPEN_FOR_MYS來自：幫助中心參數(shù) 是否必選 參數(shù)類型 描述 datasource_type 是 String 數(shù)據(jù)源類型： ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云數(shù)據(jù)庫RDS(for MySQL)、 OPEN_FOR_MYS來自：幫助中心
- 數(shù)據(jù)湖工廠 更多內(nèi)容
-
![]()
{"package_ids":["12","13"]} 響應(yīng)示例 成功響應(yīng) HTTP狀態(tài)碼 200 失敗響應(yīng) HTTP狀態(tài)碼 400 { "error_code": "DLF.0810", "error_msg": "Task does not exist." } 父主題： 作業(yè)開發(fā)API來自：幫助中心![]()
CreateJob 功能介紹 此接口可以創(chuàng)建一個(gè)新作業(yè)，作業(yè)由一個(gè)或多個(gè)相互依賴的節(jié)點(diǎn)構(gòu)成，支持Hive SQL、 CDM Job等節(jié)點(diǎn)。DLF有兩類型作業(yè)：批處理作業(yè)和實(shí)時(shí)作業(yè)。 調(diào)試 您可以在API Explorer中調(diào)試該接口，支持自動(dòng)認(rèn)證鑒權(quán)。 授權(quán)信息 賬號(hào)具備所有API來自：幫助中心![]()
OBS 服務(wù)支持按需和包周期計(jì)費(fèi)，套餐包暫不支持退訂。本例中使用按需計(jì)費(fèi)，完成后刪除新建的存儲(chǔ)桶即可；另外， DataArts Studio 作業(yè)日志和 DLI 臟數(shù)據(jù)默認(rèn)存儲(chǔ)在以dlf-log-{Project id}命名的OBS桶中，在退訂DataArts Studio后可以一并刪除。 DWS DWS計(jì)費(fèi)說明 DWS服來自：幫助中心![]()
MetaDataMigrationParameter 參數(shù) 參數(shù)類型 描述 datasource_type String 數(shù)據(jù)源類型： ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云數(shù)據(jù)庫RDS(for MySQL)、 OPEN_FOR_MYS來自：幫助中心![]()
"2019-07-25" } } 響應(yīng)示例 成功響應(yīng) HTTP狀態(tài)碼 200 失敗響應(yīng) HTTP狀態(tài)碼 400 { "error_code":"DLF.6201", "error_msg":"The script does not exist." } 狀態(tài)碼 狀態(tài)碼請(qǐng)參見狀態(tài)碼。來自：幫助中心![]()
通過KMS加解密數(shù)據(jù)源認(rèn)證信息，選擇KMS中的任一默認(rèn)密鑰或自定義密鑰即可。 說明： 第一次通過DataArts Studio或KPS使用KMS加密時(shí)，會(huì)自動(dòng)生成默認(rèn)密鑰dlf/default或kps/default。關(guān)于默認(rèn)密鑰的更多信息，請(qǐng)參見什么是默認(rèn)密鑰。 僅支持通過對(duì)稱密鑰加密，暫不支持非對(duì)稱密鑰。 綁定Agent來自：幫助中心![]()
d40ab3f0005" } ] } 失敗響應(yīng) HTTP狀態(tài)碼 400 { "error_code":"DLF.20810", "error_msg":"Task[008aae2e675d3bcb01675d40ab3f0005] does來自：幫助中心![]()
"package_id": 23 } ] } 失敗響應(yīng) HTTP狀態(tài)碼 400 { "error_code": "DLF.0810", "error_msg": "Task does not exist." } 父主題： 作業(yè)開發(fā)API來自：幫助中心![]()
通過KMS加解密數(shù)據(jù)源認(rèn)證信息，選擇KMS中的任一默認(rèn)密鑰或自定義密鑰即可。 說明： 第一次通過DataArts Studio或KPS使用KMS加密時(shí)，會(huì)自動(dòng)生成默認(rèn)密鑰dlf/default或kps/default。關(guān)于默認(rèn)密鑰的更多信息，請(qǐng)參見什么是默認(rèn)密鑰。 僅支持通過對(duì)稱密鑰加密，暫不支持非對(duì)稱密鑰。 綁定Agent來自：幫助中心![]()
}] }], "status": "FINISHED" } 失敗響應(yīng) HTTP狀態(tài)碼 400 { "error_code":"DLF.6201", "error_msg":"The script does not exist." } 狀態(tài)碼 狀態(tài)碼請(qǐng)參見狀態(tài)碼。來自：幫助中心![]()
通過KMS加解密數(shù)據(jù)源認(rèn)證信息，選擇KMS中的任一默認(rèn)密鑰或自定義密鑰即可。 說明： 第一次通過DataArts Studio或KPS使用KMS加密時(shí)，會(huì)自動(dòng)生成默認(rèn)密鑰dlf/default或kps/default。關(guān)于默認(rèn)密鑰的更多信息，請(qǐng)參見什么是默認(rèn)密鑰。 僅支持通過對(duì)稱密鑰加密，暫不支持非對(duì)稱密鑰。 綁定Agent來自：幫助中心![]()
通過KMS加解密數(shù)據(jù)源認(rèn)證信息，選擇KMS中的任一默認(rèn)密鑰或自定義密鑰即可。 說明： 第一次通過DataArts Studio或KPS使用KMS加密時(shí)，會(huì)自動(dòng)生成默認(rèn)密鑰dlf/default或kps/default。關(guān)于默認(rèn)密鑰的更多信息，請(qǐng)參見什么是默認(rèn)密鑰。 僅支持通過對(duì)稱密鑰加密，暫不支持非對(duì)稱密鑰。 綁定Agent來自：幫助中心![]()
通過KMS加解密數(shù)據(jù)源認(rèn)證信息，選擇KMS中的任一默認(rèn)密鑰或自定義密鑰即可。 說明： 第一次通過DataArts Studio或KPS使用KMS加密時(shí)，會(huì)自動(dòng)生成默認(rèn)密鑰dlf/default或kps/default。關(guān)于默認(rèn)密鑰的更多信息，請(qǐng)參見什么是默認(rèn)密鑰。 僅支持通過對(duì)稱密鑰加密，暫不支持非對(duì)稱密鑰。 綁定Agent來自：幫助中心![]()
開啟委托功能，即可以在無需持有永久AK\SK的情況下創(chuàng)建數(shù)據(jù)連接，根據(jù)DLF配置的調(diào)度身份執(zhí)行CDM作業(yè)。 公共委托 是 使用委托為是時(shí)顯示該參數(shù)。 僅涉及用于測試該連接委托功能是否正常，作業(yè)運(yùn)行將根據(jù)DLF配置的調(diào)度身份執(zhí)行CDM作業(yè)。 訪問標(biāo)識(shí)(AK) 是 “數(shù)據(jù)集成”參數(shù)開來自：幫助中心![]()
選擇要檢查的實(shí)例，在空間管理中選擇使用的空間，單擊“編輯”。 查看作業(yè)日志OBS路徑中的值，并復(fù)制OBS桶名。如果作業(yè)日志OBS路徑為空，則默認(rèn)桶名為“dlf-log-{projectId}/{workspaceId}”。 其中： projectId為租戶的項(xiàng)目ID。 workspaceId為空間ID。來自：幫助中心![]()
通過KMS加解密數(shù)據(jù)源認(rèn)證信息，選擇KMS中的任一默認(rèn)密鑰或自定義密鑰即可。 說明： 第一次通過DataArts Studio或KPS使用KMS加密時(shí)，會(huì)自動(dòng)生成默認(rèn)密鑰dlf/default或kps/default。關(guān)于默認(rèn)密鑰的更多信息，請(qǐng)參見什么是默認(rèn)密鑰。 僅支持通過對(duì)稱密鑰加密，暫不支持非對(duì)稱密鑰。 綁定Agent來自：幫助中心![]()
桶和對(duì)象，系統(tǒng)將基于工作空間全局配置作業(yè)日志OBS桶。 如果不配置該參數(shù)，DataArts Studio數(shù)據(jù)開發(fā)的作業(yè)日志默認(rèn)存儲(chǔ)在以“dlf-log-{projectId}”命名的OBS桶中。{projectId}即項(xiàng)目ID，您可以參考如下步驟進(jìn)行獲取。 注冊并登錄管理控制臺(tái)。來自：幫助中心
看了本文的人還看了
- 數(shù)據(jù)湖工廠服務(wù)DLF
- 數(shù)據(jù)湖工廠Hive SQL開發(fā)指南
- 數(shù)據(jù)湖工廠1.7.3（20181018）版本新功能介紹
- 華為云數(shù)據(jù)湖工廠DLF于2020年3月31日00:00（北京時(shí)間）退市通知
- 參加《21天晉級(jí)大數(shù)據(jù)實(shí)戰(zhàn)營》——DAY11 讓編排變的簡單-數(shù)據(jù)湖工廠實(shí)驗(yàn)小結(jié)
- 【數(shù)據(jù)湖案例】電影評(píng)分、標(biāo)簽分析
- 【數(shù)據(jù)湖案例】一站式大數(shù)據(jù)庫業(yè)務(wù)開發(fā)
- 【資料合集】21天晉級(jí)大數(shù)據(jù)實(shí)戰(zhàn)營
- [活動(dòng)/公告] 【21天專題系列活動(dòng)】重磅來襲！21天晉級(jí)大數(shù)據(jù)實(shí)戰(zhàn)營課程匯總
- 【實(shí)時(shí)報(bào)警平臺(tái)】學(xué)習(xí)筆記