Flexus L實(shí)例
即開(kāi)即用，輕松運(yùn)維，開(kāi)啟簡(jiǎn)單上云第一步
立即查看
免費(fèi)體驗(yàn)中心
免費(fèi)領(lǐng)取體驗(yàn)產(chǎn)品，快速開(kāi)啟云上之旅
立即前往
企業(yè)級(jí)DeepSeek
支持API調(diào)用、知識(shí)庫(kù)和聯(lián)網(wǎng)搜索，滿足企業(yè)級(jí)業(yè)務(wù)需求
立即購(gòu)買(mǎi)
免費(fèi)體驗(yàn)中心
免費(fèi)領(lǐng)取體驗(yàn)產(chǎn)品，快速開(kāi)啟云上之旅
立即前往
企業(yè)級(jí)DeepSeek
支持API調(diào)用、知識(shí)庫(kù)和聯(lián)網(wǎng)搜索，滿足企業(yè)級(jí)業(yè)務(wù)需求
立即前往
Flexus L實(shí)例
即開(kāi)即用，輕松運(yùn)維，開(kāi)啟簡(jiǎn)單上云第一步
立即查看
免費(fèi)體驗(yàn)中心
免費(fèi)領(lǐng)取體驗(yàn)產(chǎn)品，快速開(kāi)啟云上之旅
￥0.00
元
Flexus L實(shí)例
即開(kāi)即用，輕松運(yùn)維，開(kāi)啟簡(jiǎn)單上云第一步
立即前往
企業(yè)級(jí)DeepSeek
支持API調(diào)用、知識(shí)庫(kù)和聯(lián)網(wǎng)搜索，滿足企業(yè)級(jí)業(yè)務(wù)需求
立即購(gòu)買(mǎi)
- 數(shù)據(jù)湖工廠 內(nèi)容精選 換一換
-
來(lái)自：幫助中心OBS服務(wù)支持按需和包周期計(jì)費(fèi)，套餐包暫不支持退訂。本例中使用按需計(jì)費(fèi)，完成后刪除新建的存儲(chǔ)桶即可；另外， DataArts Studio 作業(yè)日志和 DLI 臟數(shù)據(jù)默認(rèn)存儲(chǔ)在以dlf-log-{Project id}命名的OBS桶中，在退訂DataArts Studio后可以一并刪除。 DLI DLI計(jì)費(fèi)說(shuō)明 DLI服來(lái)自：幫助中心
- 數(shù)據(jù)湖工廠 相關(guān)內(nèi)容
-
否則跳轉(zhuǎn)2。 多租戶模式下，確認(rèn)其他租戶的作業(yè)是否正常。 如果所有租戶的作業(yè)執(zhí)行spark sql都有問(wèn)題，跳轉(zhuǎn)3。 否則，跳轉(zhuǎn)4。 進(jìn)一步確認(rèn)：用dlf建個(gè)腳本，選擇直連連接，執(zhí)行一條spark sql，看是否報(bào)time out的錯(cuò)（甚至可能數(shù)據(jù)庫(kù)都list不出來(lái)）。如果有以上現(xiàn)象，大概率是 MRS 集群的jdbc來(lái)自：幫助中心{"package_ids":["12","13"]} 響應(yīng)示例 成功響應(yīng) HTTP狀態(tài)碼 200 失敗響應(yīng) HTTP狀態(tài)碼 400 { "error_code": "DLF.0810", "error_msg": "Task does not exist." } 父主題： 作業(yè)開(kāi)發(fā)API來(lái)自：幫助中心
- 數(shù)據(jù)湖工廠 更多內(nèi)容
-
![]()
參數(shù) 是否必選 參數(shù)類(lèi)型 描述 datasource_type 是 String 數(shù)據(jù)源類(lèi)型： ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS 云數(shù)據(jù)庫(kù) RDS(for MySQL)、 OPEN_FOR_MYS來(lái)自：幫助中心![]()
參數(shù) 是否必選 參數(shù)類(lèi)型 描述 datasource_type 是 String 數(shù)據(jù)源類(lèi)型： ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云數(shù)據(jù)庫(kù)RDS(for MySQL)、 OPEN_FOR_MYS來(lái)自：幫助中心![]()
創(chuàng)建作業(yè) 功能介紹 此接口可以創(chuàng)建一個(gè)新作業(yè)，作業(yè)由一個(gè)或多個(gè)相互依賴的節(jié)點(diǎn)構(gòu)成，支持Hive SQL、CDM Job等節(jié)點(diǎn)。DLF有兩類(lèi)型作業(yè)：批處理作業(yè)和實(shí)時(shí)作業(yè)。 調(diào)試 您可以在API Explorer中調(diào)試該接口，支持自動(dòng)認(rèn)證鑒權(quán)。 URI URI格式 POST /v1/{project_id}/jobs來(lái)自：幫助中心![]()
OBS服務(wù)支持按需和包周期計(jì)費(fèi)，套餐包暫不支持退訂。本例中使用按需計(jì)費(fèi)，完成后刪除新建的存儲(chǔ)桶即可；另外，DataArts Studio作業(yè)日志和DLI臟數(shù)據(jù)默認(rèn)存儲(chǔ)在以dlf-log-{Project id}命名的OBS桶中，在退訂DataArts Studio后可以一并刪除。 DWS DWS計(jì)費(fèi)說(shuō)明 DWS服來(lái)自：幫助中心![]()
MetaDataMigrationParameter 參數(shù) 參數(shù)類(lèi)型 描述 datasource_type String 數(shù)據(jù)源類(lèi)型： ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云數(shù)據(jù)庫(kù)RDS(for MySQL)、 OPEN_FOR_MYS來(lái)自：幫助中心![]()
d40ab3f0005" } ] } 失敗響應(yīng) HTTP狀態(tài)碼 400 { "error_code":"DLF.20810", "error_msg":"Task[008aae2e675d3bcb01675d40ab3f0005] does來(lái)自：幫助中心![]()
"package_id": 23 } ] } 失敗響應(yīng) HTTP狀態(tài)碼 400 { "error_code": "DLF.0810", "error_msg": "Task does not exist." } 父主題： 作業(yè)開(kāi)發(fā)API來(lái)自：幫助中心![]()
戶被授予授權(quán)項(xiàng)所對(duì)應(yīng)的策略，該用戶才能成功調(diào)用該接口。例如，用戶要調(diào)用接口來(lái)查詢作業(yè)列表，那么這個(gè) IAM 用戶被授予的策略中必須包含允許“dlf:job:list”的授權(quán)項(xiàng)，該接口才能調(diào)用成功。 支持的授權(quán)項(xiàng) 策略包含系統(tǒng)策略和自定義策略，如果系統(tǒng)策略不滿足授權(quán)要求，管理員可以創(chuàng)建來(lái)自：幫助中心![]()
}] }], "status": "FINISHED" } 失敗響應(yīng) HTTP狀態(tài)碼 400 { "error_code":"DLF.6201", "error_msg":"The script does not exist." } 狀態(tài)碼 狀態(tài)碼請(qǐng)參見(jiàn)狀態(tài)碼。來(lái)自：幫助中心![]()
通過(guò)KMS加解密數(shù)據(jù)源認(rèn)證信息，選擇KMS中的任一默認(rèn)密鑰或自定義密鑰即可。 說(shuō)明： 第一次通過(guò)DataArts Studio或KPS使用KMS加密時(shí)，會(huì)自動(dòng)生成默認(rèn)密鑰dlf/default或kps/default。關(guān)于默認(rèn)密鑰的更多信息，請(qǐng)參見(jiàn)什么是默認(rèn)密鑰。 僅支持通過(guò)對(duì)稱(chēng)密鑰加密，暫不支持非對(duì)稱(chēng)密鑰。 綁定Agent來(lái)自：幫助中心![]()
通過(guò)KMS加解密數(shù)據(jù)源認(rèn)證信息，選擇KMS中的任一默認(rèn)密鑰或自定義密鑰即可。 說(shuō)明： 第一次通過(guò)DataArts Studio或KPS使用KMS加密時(shí)，會(huì)自動(dòng)生成默認(rèn)密鑰dlf/default或kps/default。關(guān)于默認(rèn)密鑰的更多信息，請(qǐng)參見(jiàn)什么是默認(rèn)密鑰。 僅支持通過(guò)對(duì)稱(chēng)密鑰加密，暫不支持非對(duì)稱(chēng)密鑰。 綁定Agent來(lái)自：幫助中心![]()
通過(guò)KMS加解密數(shù)據(jù)源認(rèn)證信息，選擇KMS中的任一默認(rèn)密鑰或自定義密鑰即可。 說(shuō)明： 第一次通過(guò)DataArts Studio或KPS使用KMS加密時(shí)，會(huì)自動(dòng)生成默認(rèn)密鑰dlf/default或kps/default。關(guān)于默認(rèn)密鑰的更多信息，請(qǐng)參見(jiàn)什么是默認(rèn)密鑰。 僅支持通過(guò)對(duì)稱(chēng)密鑰加密，暫不支持非對(duì)稱(chēng)密鑰。 綁定Agent來(lái)自：幫助中心![]()
通過(guò)KMS加解密數(shù)據(jù)源認(rèn)證信息，選擇KMS中的任一默認(rèn)密鑰或自定義密鑰即可。 說(shuō)明： 第一次通過(guò)DataArts Studio或KPS使用KMS加密時(shí)，會(huì)自動(dòng)生成默認(rèn)密鑰dlf/default或kps/default。關(guān)于默認(rèn)密鑰的更多信息，請(qǐng)參見(jiàn)什么是默認(rèn)密鑰。 僅支持通過(guò)對(duì)稱(chēng)密鑰加密，暫不支持非對(duì)稱(chēng)密鑰。 綁定Agent來(lái)自：幫助中心![]()
開(kāi)啟委托功能，即可以在無(wú)需持有永久AK\SK的情況下創(chuàng)建數(shù)據(jù)連接，根據(jù)DLF配置的調(diào)度身份執(zhí)行CDM作業(yè)。 公共委托 是 使用委托為是時(shí)顯示該參數(shù)。 僅涉及用于測(cè)試該連接委托功能是否正常，作業(yè)運(yùn)行將根據(jù)DLF配置的調(diào)度身份執(zhí)行CDM作業(yè)。 訪問(wèn)標(biāo)識(shí)(AK) 是 “數(shù)據(jù)集成”參數(shù)開(kāi)來(lái)自：幫助中心![]()
"success": true, "total": 1 } 失敗響應(yīng) HTTP狀態(tài)碼 400 { "error_code":"DLF.3051", "error_msg":"The request parameter is invalid." } 父主題： 作業(yè)開(kāi)發(fā)API來(lái)自：幫助中心![]()
選擇要檢查的實(shí)例，在空間管理中選擇使用的空間，單擊“編輯”。 查看作業(yè)日志OBS路徑中的值，并復(fù)制OBS桶名。如果作業(yè)日志OBS路徑為空，則默認(rèn)桶名為“dlf-log-{projectId}/{workspaceId}”。 其中： projectId為租戶的項(xiàng)目ID。 workspaceId為空間ID。來(lái)自：幫助中心
看了本文的人還看了
- 數(shù)據(jù)湖工廠服務(wù)DLF
- 數(shù)據(jù)湖工廠Hive SQL開(kāi)發(fā)指南
- 數(shù)據(jù)湖工廠1.7.3（20181018）版本新功能介紹
- 華為云數(shù)據(jù)湖工廠DLF于2020年3月31日00:00（北京時(shí)間）退市通知
- 參加《21天晉級(jí)大數(shù)據(jù)實(shí)戰(zhàn)營(yíng)》——DAY11 讓編排變的簡(jiǎn)單-數(shù)據(jù)湖工廠實(shí)驗(yàn)小結(jié)
- 【數(shù)據(jù)湖案例】電影評(píng)分、標(biāo)簽分析
- 【數(shù)據(jù)湖案例】一站式大數(shù)據(jù)庫(kù)業(yè)務(wù)開(kāi)發(fā)
- 【資料合集】21天晉級(jí)大數(shù)據(jù)實(shí)戰(zhàn)營(yíng)
- [活動(dòng)/公告] 【21天專(zhuān)題系列活動(dòng)】重磅來(lái)襲！21天晉級(jí)大數(shù)據(jù)實(shí)戰(zhàn)營(yíng)課程匯總
- 【實(shí)時(shí)報(bào)警平臺(tái)】學(xué)習(xí)筆記