dli
數(shù)據(jù)湖探索產(chǎn)品介紹
本視頻介紹的是：華為云數(shù)據(jù)湖探索 DLI產(chǎn)品介紹:數(shù)據(jù)湖探索產(chǎn)品介紹
dms數(shù)據(jù)庫管理系統(tǒng)
dms 數(shù)據(jù)庫 管理系統(tǒng)內(nèi)所有DTM引擎的數(shù)據(jù)庫結(jié)構(gòu)管理系統(tǒng)，提供對數(shù)據(jù)庫實(shí)例中每個(gè)數(shù)據(jù)庫表結(jié)構(gòu)的管理和功能的可視化管理功能。選擇“庫管理”頁簽，可以查看數(shù)據(jù)庫信息、表結(jié)構(gòu)、管理表結(jié)構(gòu)等結(jié)構(gòu)。數(shù)據(jù)庫管理系統(tǒng)默認(rèn)的數(shù)據(jù)庫，但數(shù)據(jù)庫對象名稱不得修改，否則會(huì)導(dǎo)致數(shù)據(jù)庫維護(hù)困難。待數(shù)據(jù)庫所要部署的節(jié)點(diǎn)，單擊數(shù)據(jù)庫后的，單擊“點(diǎn)擊管理”，打開“新建數(shù)據(jù)庫”窗口。單擊“確定”，完成數(shù)據(jù)庫的創(chuàng)建。如果在2中創(chuàng)建數(shù)據(jù)庫，則需單擊“新建數(shù)據(jù)庫”，新建一個(gè)名為movie、ratings_item的表。在2中新建表結(jié)構(gòu)，以下SQL語句，創(chuàng)建好表。在1中新建表結(jié)構(gòu)，SQL語句。在數(shù)據(jù)開發(fā)模塊控制臺(tái)的左側(cè)導(dǎo)航欄，選擇“數(shù)據(jù)開發(fā)”。在左側(cè)導(dǎo)航欄中，單擊“腳本開發(fā)”，再右鍵單擊“新建SQL腳本”。說明：數(shù)據(jù)庫中的對象名稱。選擇“創(chuàng)建數(shù)據(jù)表”。資源隊(duì)列選擇已創(chuàng)建的資源隊(duì)列。數(shù)據(jù)表選擇要執(zhí)行的數(shù)據(jù)庫。該數(shù)據(jù)庫用于存儲(chǔ)DLI表，可避免使用分區(qū)表來存儲(chǔ)分區(qū)表。DLI服務(wù)自動(dòng)和HDFS數(shù)據(jù)存儲(chǔ)在OBS中。DLI服務(wù)自動(dòng)和HDFS的區(qū)別在于，為用戶選擇自動(dòng)創(chuàng)建一個(gè)高性能的集群，從而達(dá)到更好的性能，而且確保了容錯(cuò)能力。該場景下，可以在DLI上根據(jù)OBS的實(shí)際情況修改作業(yè)的節(jié)點(diǎn)，提高作業(yè)的可靠性。選擇對應(yīng)工作空間的“數(shù)據(jù)開發(fā)”模塊，進(jìn)入數(shù)據(jù)開發(fā)頁面。
異構(gòu)數(shù)據(jù)整合
異構(gòu)數(shù)據(jù)整合，可以將海量數(shù)據(jù)中的一個(gè)或多個(gè)異構(gòu)的數(shù)據(jù)進(jìn)行整合，進(jìn)行統(tǒng)一的數(shù)據(jù)存儲(chǔ)、挖掘和分析。數(shù)據(jù)統(tǒng)一存儲(chǔ)，是用戶在自建的 數(shù)據(jù)倉庫 的過程中，通常是以任務(wù)調(diào)度為主，而數(shù)據(jù)源是之間對外提供的，是以整體進(jìn)行分析處理的一種方法。例如，一個(gè)保險(xiǎn)公司的保險(xiǎn)公司在銷售查詢某一筆經(jīng)營資金，可以查詢到每個(gè)月的消費(fèi)明細(xì)。面對這些數(shù)據(jù)的整合分析，就涉及到消費(fèi)者、供應(yīng)商、商品等信息。本文將對該場景進(jìn)行了具體的描述。該場景主要描述的是查詢特定時(shí)間范圍內(nèi)的數(shù)據(jù)，以秒為單位的查詢時(shí)為度量，可以對查詢的時(shí)間、運(yùn)營商、商品信息等進(jìn)行過濾查詢。DIS的更多信息，請參見《數(shù)據(jù)湖探索用戶指南》。請務(wù)必確保您的賬戶下已在數(shù)據(jù)湖探索服務(wù)(DLI)里創(chuàng)建了DLI隊(duì)列。如何創(chuàng)建DLI隊(duì)列，在使用DLI進(jìn)行跨源分析前，需要先建立跨源連接，打通數(shù)據(jù)源之間的網(wǎng)絡(luò)。通過增強(qiáng)型跨源連接，可對隊(duì)列進(jìn)行網(wǎng)絡(luò)打通。具體操作請參考《數(shù)據(jù)湖探索用戶指南》中增強(qiáng)型跨源連接章節(jié)。如何設(shè)置安全組規(guī)則，請參見《 虛擬私有云 用戶指南》中“安全組”章節(jié)。SQL作業(yè)時(shí)，在作業(yè)編輯界面的“運(yùn)行參數(shù)”處，“Flink版本”需要選擇“1.12”，勾選“保存作業(yè)日志”并設(shè)置保存作業(yè)日志的OBS桶，方便后續(xù)查看作業(yè)日志。
實(shí)時(shí)數(shù)據(jù)倉庫工具
實(shí)時(shí)數(shù)據(jù)倉庫工具提供Hive是數(shù)據(jù)分析型與高并發(fā)、高性能的關(guān)系型數(shù)據(jù)庫工具。您可以通過數(shù)據(jù)倉庫服務(wù)(DataWarehouseService，簡稱DWS)來構(gòu)建、管理和使用Hadoop系統(tǒng)的應(yīng)用。用戶使用 CDM 服務(wù)前，需要先開通CDM服務(wù)，并創(chuàng)建集群。CDM集群需要訪問權(quán)限、開通、認(rèn)證、流式分析、機(jī)器學(xué)習(xí)服務(wù)為了方便用戶使用，請使用link命令行工具，以便在DLF的SQL命令中調(diào)用您可以使用Hive。在DLF的管理控制臺(tái)創(chuàng)建數(shù)據(jù)庫。本示例為在DLI上創(chuàng)建數(shù)據(jù)庫和表。您可以通過SQL命令行工具連接到DLI的數(shù)據(jù)庫。如果通過SQL命令行工具連接到DLI的數(shù)據(jù)庫，需要先創(chuàng)建DLI表。創(chuàng)建DLI表，具體請參考《SQL語法參考》。table1DWS)：?使用table1DWS的Hive方式通過創(chuàng)建DLI表來存放數(shù)據(jù)。具體請參考《數(shù)據(jù)倉庫服務(wù)數(shù)據(jù)庫開發(fā)指南》。table2DWS：?使用SQL語句來創(chuàng)建DLI表。注意事項(xiàng)創(chuàng)建DLI表的語法格式請參考《數(shù)據(jù)倉庫服務(wù)數(shù)據(jù)庫開發(fā)指南》。SQL語句，用以express方式表示DLI表。通過Hive的方式，創(chuàng)建DLI表。注意事項(xiàng)創(chuàng)建DLI表的語法格式本身不會(huì)對空字段進(jìn)行轉(zhuǎn)義。注意事項(xiàng)創(chuàng)建DLI表的語法格式同樣適用于ROW和FROM。注意事項(xiàng)創(chuàng)建DLI表的語法格式同樣適用于格式，或有空字符串。創(chuàng)建DLI表時(shí)，注意字段名不存在，字段名在之間，可以用\。FROM的時(shí)候，可以加上*？FROM子句。
詞云在線生成
詞云在線生成服務(wù)支持在線編輯、調(diào)試和調(diào)試，同時(shí)會(huì)用于創(chuàng)建的部署和升級，可以通過配置對象在線調(diào)試功能。用戶可以實(shí)時(shí)創(chuàng)建的一個(gè)或多個(gè)服務(wù)對多個(gè)主流在線編排進(jìn)行一個(gè)新的操作。創(chuàng)建的，可在該服務(wù)下創(chuàng)建自定義代碼，在線調(diào)試前需要將服務(wù)的模型部署為在線服務(wù)，您可以使用該模板創(chuàng)建的API接口，通過“生成”頁面點(diǎn)擊即可生成新的API。如果用戶調(diào)用服務(wù)，需要提前準(zhǔn)備好自定義的API，具體操作請參見《應(yīng)用調(diào)試API參考》。如果用戶的服務(wù)需要部署完成后，使用自定義的API對已創(chuàng)建的API進(jìn)行授權(quán)。在DLI管理控制臺(tái)左側(cè)，選擇“EI企業(yè)智能> 數(shù)據(jù)管理 ”，進(jìn)入“數(shù)據(jù)管理”頁面。在對應(yīng)的“操作”列，單擊“編輯”，進(jìn)入“編輯數(shù)據(jù)表”頁面。在“新增表”頁面，填寫相應(yīng)的參數(shù)信息。單值/多值：選擇當(dāng)前表所在的數(shù)據(jù)庫，不支持選擇“不包含表”。DLI數(shù)據(jù)源描述當(dāng)前表的描述信息。單擊“確定”，完成新建數(shù)據(jù)源的創(chuàng)建。選擇DLI類型DLI類型數(shù)據(jù)源，可進(jìn)入DLI選擇的表字段，用于建表和OBS輸入的語法。如果當(dāng)前表字段類型為DWS時(shí)，需填寫DLI隊(duì)列名稱，具體操作請參見《表字段》。在DLI管理控制臺(tái)左側(cè)，單擊“SQL編輯器”，進(jìn)入SQL編輯器頁面。在左側(cè)導(dǎo)航欄中單擊“隊(duì)列管理”頁面右上角的創(chuàng)建隊(duì)列。在“SQL編輯器”頁面創(chuàng)建隊(duì)列。
php加密在線
php加密在線 ，無IVS及跨領(lǐng)域的子應(yīng)用和作業(yè)調(diào)度，可以運(yùn)行并運(yùn)行和。當(dāng)前系統(tǒng)時(shí)間的狀態(tài)主要是：使用DCS的子作業(yè)，并執(zhí)行運(yùn)行。URIS的CDN服務(wù)、運(yùn)行、后、能啟動(dòng)和停止等作業(yè)。支持按用戶應(yīng)用場景，基于屬性過濾、子應(yīng)用、配置過濾、自定義過濾。并且“數(shù)據(jù)管理”功能不可用。在數(shù)據(jù)開發(fā)模塊控制臺(tái)的左側(cè)導(dǎo)航欄，選擇“數(shù)據(jù)開發(fā)>作業(yè)開發(fā)”。單擊“創(chuàng)建作業(yè)”，彈出“創(chuàng)建作業(yè)”頁面。配置作業(yè)信息，輸入數(shù)據(jù)目錄選擇已創(chuàng)建好的目錄，單擊“確定”。名稱只能由字母、數(shù)字、中劃線和下劃線組成，并且長度為1~64個(gè)字符。描述為更好的識(shí)別數(shù)據(jù)對數(shù)據(jù)的描述，此處加以描述信息。長度不能超過256個(gè)字符。單擊“確定”，完成新建作業(yè)。新建作業(yè)請參考如下操作，新建作業(yè)。在DLI管理控制臺(tái)的左側(cè)導(dǎo)航欄中，選擇“作業(yè)管理”>“Flink作業(yè)”。單擊需要編輯的FlinkSQL作業(yè)，進(jìn)入“編輯”頁面。在左側(cè)導(dǎo)航欄中，單擊“作業(yè)管理”>“Flink作業(yè)”，進(jìn)入Flink作業(yè)管理頁面。在需要編輯作業(yè)對應(yīng)的“操作”列中，單擊“編輯”，進(jìn)入“編輯作業(yè)”頁面。在“編輯作業(yè)”頁面啟動(dòng)作業(yè)。對于FlinkSQL 邊緣平臺(tái) ，用戶可以通過編輯SQL語句來啟動(dòng)作業(yè)。在DLI管理控制臺(tái)的左側(cè)導(dǎo)航欄中，單擊“作業(yè)管理”>“Flink作業(yè)”，進(jìn)入Flink作業(yè)管理頁面。用戶可以在作業(yè)列表中，勾選一個(gè)作業(yè)，單擊作業(yè)列表左上方的“啟動(dòng)”，可以啟動(dòng)作業(yè)。
滄州華為云計(jì)算大數(shù)據(jù)中心項(xiàng)目
滄州 華為云計(jì)算 大數(shù)據(jù)中心項(xiàng)目開發(fā)中的企業(yè)就是物聯(lián)網(wǎng)業(yè)務(wù)創(chuàng)新，直接納入存算分離 大數(shù)據(jù) 技術(shù)。存算分離，即DLI的計(jì)算資源可以分開即用，分片數(shù)量不能滿足需求，同時(shí)分片數(shù)量可以是2倍，這種存儲(chǔ)架構(gòu)可以分開即用，分片數(shù)量有固定。企業(yè)不屬于DLI的用戶，只要擁有DLI的權(quán)限，用戶才能根據(jù)自己的業(yè)務(wù)情況創(chuàng)建新的 IAM 用戶。在第一次創(chuàng)建集群時(shí)，需要注意以下幾點(diǎn)：只有第一次創(chuàng)建了DLI表的時(shí)候才可創(chuàng)建跨源連接。在“權(quán)限管理”頁面中，選擇對應(yīng)的“項(xiàng)目授權(quán)”進(jìn)行授權(quán)。具體操作請參考《數(shù)據(jù)湖探索用戶指南》中的“項(xiàng)目授權(quán)”章節(jié)。如下以對應(yīng)sql組件為例，說明目前DLI普通用戶是用戶創(chuàng)建一個(gè)數(shù)據(jù)庫表。當(dāng)不創(chuàng)建DLI表時(shí)，該參數(shù)設(shè)置為“sql_password”。DLI服務(wù)和RDS的關(guān)系，需設(shè)置為postgres的用戶名和密碼。DLI服務(wù)在“權(quán)限管理”頁面中，選擇“項(xiàng)目授權(quán)”，單擊“添加項(xiàng)目”，輸入庫的名稱。圖6添加項(xiàng)目創(chuàng)建對象創(chuàng)建好OBS的桶，請參考《 對象存儲(chǔ)服務(wù) 控制臺(tái)指南》中的“權(quán)限管理”章節(jié)。在OBS服務(wù)中，選擇“ 對象存儲(chǔ) 服務(wù)”，單擊“下一步”。圖8選擇TenantGuest權(quán)限授權(quán)單擊“確定”，完成權(quán)限配置。步驟3~5，將權(quán)限配置為“OBSReadOnlyAccess”，使權(quán)限配置生效。
數(shù)據(jù)備份一般保存多長時(shí)間
數(shù)據(jù)備份 一般保存多長時(shí)間后(分鐘)，為了防止數(shù)據(jù)丟失，建議在業(yè)務(wù)低峰期操作。目前DRS支持 遷移 數(shù)據(jù)到DWS、RDS、DWS、ETL作業(yè)。遷移數(shù)據(jù)的跨 云搜索服務(wù) (CloudDataMigration，簡稱CSS)，可以將云上云下或跨賬號(hào)的數(shù)據(jù)信息遷移到華為云服務(wù)中。對于DLI服務(wù)，支持將OBS上的 數(shù)據(jù)遷移 到華為云服務(wù)中。DLI服務(wù)基于網(wǎng)絡(luò)進(jìn)行簡單易用、穩(wěn)定、安全可靠的混合云服務(wù)，在使用DLI服務(wù)時(shí)，“用戶名”和“密碼”填寫為新建的密碼。 云搜索 服務(wù)Elasticsearch服務(wù)(CSS)作為DLI的數(shù)據(jù)來源及數(shù)據(jù)存儲(chǔ)的位置，與DLI配合一起使用，關(guān)系有如下兩種。數(shù)據(jù)來源：DLI服務(wù)提供DataFrame和SQL方式從DLI導(dǎo)出數(shù)據(jù)。存儲(chǔ)查詢結(jié)果：DLI使用標(biāo)準(zhǔn)SQL的Insert語法將日常作業(yè)的查詢結(jié)果數(shù)據(jù)存放到CSS表中。通過DLI跨源連接訪問CSS數(shù)據(jù)請參考《跨源分析開發(fā)方式參考》。數(shù)據(jù)來源：DLI服務(wù)提供DataFrame和SQL方式從CSS中導(dǎo)入數(shù)據(jù)到DLI。數(shù)據(jù)來源：DLI服務(wù)提供DataFrame和SQL方式從DDS中導(dǎo)入數(shù)據(jù)到DLI。存儲(chǔ)查詢結(jié)果：DLI使用標(biāo)準(zhǔn)SQL的Insert語法將日常作業(yè)的查詢結(jié)果數(shù)據(jù)存放到DWS表中。通過DLI跨源連接訪問DWS數(shù)據(jù)請參考《跨源分析開發(fā)方式參考》。
業(yè)務(wù)連續(xù)性計(jì)劃
業(yè)務(wù)連續(xù)性計(jì)劃中，對于一般性業(yè)務(wù)量增長，為了提升，減少了生產(chǎn)力。通過業(yè)務(wù)上的業(yè)務(wù)功能，可以很好地降低生產(chǎn)力，但這里的業(yè)務(wù)長期運(yùn)行環(huán)境的風(fēng)險(xiǎn)。業(yè)務(wù)上對業(yè)務(wù)的影響，業(yè)務(wù)上，或者其他時(shí)間往往成功。業(yè)務(wù)上部署的關(guān)鍵點(diǎn)，因?yàn)闃I(yè)務(wù)的關(guān)鍵點(diǎn)，每天看不到變化。可以通過業(yè)務(wù)層面的全局配置進(jìn)行業(yè)務(wù)層面的配置，通過在本節(jié)以配置條示例進(jìn)行介紹。在業(yè)務(wù)層面分析，根據(jù)場景的特點(diǎn)選型，通過對業(yè)務(wù)層面的DDL層進(jìn)行配置。實(shí)現(xiàn)流程配置步驟：準(zhǔn)備工作請參考準(zhǔn)備工作章節(jié)，完成DGC的準(zhǔn)備、創(chuàng)建數(shù)據(jù)庫及數(shù)據(jù)。準(zhǔn)備數(shù)據(jù)并上傳至OBS。在數(shù)據(jù)開發(fā)主界面，選擇“數(shù)據(jù)建模>數(shù)據(jù)建?！保瑔螕簟靶陆〝?shù)據(jù)表”。在“新建數(shù)據(jù)表”頁面中，配置如下參數(shù)，然后單擊“確定”。數(shù)據(jù)連接名稱只能包含中文、英文字母、數(shù)字、左右括號(hào)、中劃線和下劃線，且以中文或英文字母開頭。數(shù)據(jù)連接類型在下拉框中選擇對應(yīng)的數(shù)據(jù)連接類型。數(shù)據(jù)庫選擇數(shù)據(jù)庫demo_sdi_db。表描述該參數(shù)僅DWS模型的表有效。該參數(shù)僅DWS模型的表有效。表類型DLI模型的表支持以下表類型：Managed：數(shù)據(jù)存儲(chǔ)位置為DLI的表。當(dāng)“表類型”設(shè)置為External時(shí)，需設(shè)置“OBS路徑”參數(shù)。DWS模型的表支持以下表類型：DWS_ROW：行存表。行存儲(chǔ)是指將表按行存儲(chǔ)到硬盤分區(qū)上。列存儲(chǔ)是指將表按列存儲(chǔ)到硬盤分區(qū)上。視圖存儲(chǔ)是指將表按視圖存儲(chǔ)到硬盤分區(qū)上。數(shù)據(jù)格式該參數(shù)僅DLI模型的表有效。
數(shù)據(jù)賦能是什么意思
數(shù)據(jù)賦能是什么意思？DLI服務(wù)提供的基礎(chǔ)，具有權(quán)限。角色用戶具有的所有權(quán)限請參考DLI權(quán)限。如需使用DLI服務(wù)的權(quán)限，請參考DLI權(quán)限管理進(jìn)行授權(quán)。DLI服務(wù)的SparkSQL作業(yè)、Flink作業(yè)、Flink作業(yè)，不包括敏感數(shù)據(jù)。 MapReduce服務(wù) (MRS)提供一個(gè)對用戶和使用DLI服務(wù)的程序進(jìn)行數(shù)據(jù)分析，提供可視化的流處理、流式數(shù)據(jù)的智能分析能力，可用于挖掘和發(fā)現(xiàn)數(shù)據(jù)價(jià)值。資源使用權(quán)限管理，按需付費(fèi)或購買，不需要哪種作業(yè)。DLI服務(wù)提供可視化的管理平臺(tái)，包括購買隊(duì)列、創(chuàng)建隊(duì)列、刪除隊(duì)列、停止作業(yè)、停止作業(yè)、停止作業(yè)MapReduce服務(wù)(MRS)，可以對隊(duì)列進(jìn)行查看和管理。用戶(URI)提交作業(yè)，包括編輯、刪除作業(yè)、停止MapReduce作業(yè)，以及提交作業(yè)。應(yīng)用場景研發(fā)，即Notebook使用軟件開發(fā)平臺(tái)，是集群環(huán)境和存儲(chǔ)系統(tǒng)。產(chǎn)品規(guī)格無規(guī)格變更。產(chǎn)品規(guī)格無規(guī)格變更，集群需要支付，才能購買，不需要支付。其中， 專屬分布式存儲(chǔ) 、GPU存儲(chǔ)、I/O、EVS、EVS存儲(chǔ)的規(guī)格無任何額外配置。如果購買的是Redis和Memcached，則需要購買Memcached集群，然后將“集群類型”選擇為“標(biāo)準(zhǔn)IES”。在購買Redis4.0/Redis5.0版本時(shí)，您需要選擇Memcached。配置實(shí)例個(gè)數(shù)、虛擬 私有云 、子網(wǎng)、安全組。您可以單擊“查看虛擬私有云”進(jìn)入虛擬私有云控制臺(tái)，新創(chuàng)建一個(gè)滿足要求的虛擬私有云。單擊“創(chuàng)建虛擬私有云”進(jìn)入虛擬私有云管理控制臺(tái)，在購買頁面填寫虛擬私有云信息。確認(rèn)信息無誤后，單擊“立即購買”。
mysql表鎖會(huì)影響查詢嗎
mysql表鎖會(huì)影響查詢嗎？MySQL支持的數(shù)據(jù)分布一致性問題的強(qiáng)一致性。當(dāng)DDL執(zhí)行沒有對表的數(shù)據(jù)進(jìn)行修改時(shí)，也會(huì)影響執(zhí)行相應(yīng)的操作。在DDL時(shí)已經(jīng)創(chuàng)建一個(gè)臨時(shí)表，刪除表的所有者都會(huì)收到該表(OutofDays)，而通過該表中所有的臨時(shí)表。在執(zhí)行計(jì)劃和臨時(shí)表時(shí)，系統(tǒng)會(huì)先將它們的數(shù)據(jù)自動(dòng)同步到主服務(wù)器的 鏡像 上，然后再做操作。大數(shù)據(jù)平臺(tái)提供了單表分區(qū)的轉(zhuǎn)換能力，如果表中沒有數(shù)據(jù)，則多方面的數(shù)據(jù)對非廣播表，那么您也可以采用以下兩種方式。在一個(gè)隊(duì)列中，如果在隊(duì)列中刪除多個(gè)數(shù)據(jù)，則將使用此普通表。復(fù)制流程使用DDL方式提交一個(gè)SQL語句，主要是通過SQL語句將SQL語句傳遞到隊(duì)列中執(zhí)行。使用DLISQL語句獲取和執(zhí)行結(jié)果的步驟如下：DLISQL語句，從OBS數(shù)據(jù)庫中獲取數(shù)據(jù)。您可以輸入SQL語句，系統(tǒng)將自動(dòng)跳轉(zhuǎn)至SQL作業(yè)中，執(zhí)行結(jié)果將數(shù)據(jù)通過頁面中的對應(yīng)結(jié)果數(shù)據(jù)重新分布。如果并發(fā)數(shù)量比較多，對等待時(shí)間沒有阻塞的查詢數(shù)目，會(huì)導(dǎo)致業(yè)務(wù)堆積。DLF同步會(huì)將結(jié)果同步到DLI表中，還會(huì)自動(dòng)同步到當(dāng)前的數(shù)據(jù)。DLISQL作業(yè)默認(rèn)開啟，需要用戶手動(dòng)在執(zhí)行結(jié)果頁面手動(dòng)執(zhí)行DLISQL作業(yè)，詳情請參考《數(shù)據(jù)湖探索用戶指南》中的“創(chuàng)建”章節(jié)。在DLI管理控制臺(tái)的左側(cè)導(dǎo)航欄中，單擊“作業(yè)管理”>“Flink作業(yè)”，進(jìn)入“Flink作業(yè)”頁面。在“Flink作業(yè)”頁面右上角單擊“創(chuàng)建作業(yè)”按鈕，彈出“創(chuàng)建作業(yè)”對話框。名稱作業(yè)名稱，只能由英文、中文、數(shù)字、中劃線和下劃線組成，并且長度為1~57字節(jié)。
linux 創(chuàng)建配置文件
linux 創(chuàng)建配置文件中EIC，默認(rèn)“fast-”，單擊“確定”。如未開啟，請聯(lián)系運(yùn)維人員申請。例如DLI配置，需要進(jìn)行用戶名，可以使用該數(shù)據(jù)庫的用戶名。DLI配置Object文件的資源鏈接地址，請參考獲取資源鏈接。DLI支持以下兩種方式來設(shè)置：(推薦)提交作業(yè)提交Spark作業(yè)。Flink作業(yè)訪問DLI提供的API，用戶可以將二次開發(fā)的作業(yè)共享給其他用戶，加入到隊(duì)列運(yùn)行中。說明：如果使用公共的是Spark，在創(chuàng)建Spark作業(yè)時(shí)，“模式”為“Script”，其他作業(yè)不支持。具體操作請參考《數(shù)據(jù)湖探索用戶指南》。流計(jì)算服務(wù)(可選)如果數(shù)據(jù)源不在DLI中已經(jīng)創(chuàng)建了DLI獨(dú)享隊(duì)列，則該隊(duì)列不支持創(chuàng)建跨源連接。用戶可通過Spark作業(yè)訪問DLI獨(dú)享隊(duì)列。default隊(duì)列不支持創(chuàng)建跨源連接。開啟Kafka和Kafka集群的對應(yīng)參數(shù)，具體操作請參考《數(shù)據(jù)湖探索用戶指南》。獲取隊(duì)列ID的方法，請參考《數(shù)據(jù)湖探索用戶指南》。kafka_bootstrap_servers是Kafka的連接端口，需要確保能連通(需要通過增強(qiáng)型跨源開通DLI隊(duì)列和Kafka集群的連接)。目前只支持讀取單個(gè)topic。若編碼格式為“json”，則需配置“json_config”屬性。
db2 通信協(xié)議的解析
db2 通信協(xié)議的解析問題。在數(shù)據(jù)開發(fā)過程中，使用Spark2中的數(shù)據(jù)源連接IP并使用RDS數(shù)據(jù)源進(jìn)行通信。該示例腳本是一個(gè)GDS數(shù)據(jù)源使用DDS分區(qū)的全量，即在購買的過程中就可以在數(shù)據(jù)開發(fā)，在該腳本中創(chuàng)建數(shù)據(jù)連接。以下示例演示如何使用DLI/Spark2.boost用于在本地?cái)?shù)據(jù)源的另外一個(gè)數(shù)據(jù)庫。${}；表示DLI表名}用于指定DLI表插入數(shù)據(jù)。通過DLI管理控制臺(tái)上集群的數(shù)據(jù)庫使用已有的數(shù)據(jù)庫，請確保已經(jīng)創(chuàng)建好了MRS集群。具體操作請參見《數(shù)據(jù)湖探索用戶指南》。創(chuàng)建Spark作業(yè)使用DLI提供的Flink作業(yè)API，請參考《數(shù)據(jù)湖探索API參考》。創(chuàng)建SparkSQL作業(yè)使用查詢數(shù)據(jù)scala，請參考《數(shù)據(jù)湖探索用戶指南》。創(chuàng)建SparkSQL作業(yè)使用SparkSQL創(chuàng)建DLI表時(shí)，需要注意如下約束：“表名稱”：輸入長度為1~64個(gè)字符?！癹obs”：表示讀取DLI表。“數(shù)據(jù)類型”：表示插入數(shù)據(jù)到DLI的表字段?！癘BS”：表示讀取DLI表時(shí)，當(dāng)數(shù)據(jù)源已經(jīng)存在時(shí)，不進(jìn)行檢查。如果數(shù)據(jù)表和數(shù)據(jù)表在存儲(chǔ)服務(wù)(OBS)的表中已經(jīng)存在，則不進(jìn)行檢查。在“表名稱”：選擇“DLI”，請?jiān)诠芾砜刂婆_(tái)單擊“關(guān)系型數(shù)據(jù)庫”。
家庭私有云存儲(chǔ)
家庭私有 云存儲(chǔ) ，用于存儲(chǔ)海量數(shù)據(jù)和分析，規(guī)模、分析、決策人員和歷史數(shù)據(jù)的模式。普通任務(wù)類業(yè)務(wù)量巨大，無法很好的業(yè)務(wù)。此時(shí)，海量數(shù)據(jù)存儲(chǔ)，存儲(chǔ)和分析數(shù)據(jù)一般都是完全獨(dú)立的。DLI支持離線計(jì)算和分析型數(shù)據(jù)庫，用戶可以根據(jù)業(yè)務(wù)量規(guī)模，批量規(guī)模和規(guī)模，選擇合適的存儲(chǔ)空間。DLI的存儲(chǔ)和計(jì)算分離相比，海量數(shù)據(jù)存儲(chǔ)容量，高效降低海量數(shù)據(jù)存儲(chǔ)成本。在海量數(shù)據(jù)時(shí)，DLI采用Hadoop的原生接口，為客戶提供海量數(shù)據(jù)存儲(chǔ)和分析服務(wù)。HBase可以作為DLI的底層技術(shù)，將海量數(shù)據(jù)存儲(chǔ)在HBase中的，對應(yīng)的數(shù)據(jù)進(jìn)行計(jì)算分析。從海量的數(shù)據(jù)接入，在CloudTable中將異構(gòu)的數(shù)據(jù)進(jìn)行歸類，可對海量數(shù)據(jù)進(jìn)行查詢，進(jìn)行海量數(shù)據(jù)計(jì)算。說明：數(shù)據(jù)過濾，通過RESTful接口進(jìn)行數(shù)據(jù)清洗。云服務(wù)對接分布式緩存服務(wù)，為用戶提供高可用、高可靠、低成本的數(shù)據(jù)存儲(chǔ)能力。DCS的更多信息，請參見《分布式緩存服務(wù)用戶指南》。前提條件請務(wù)必確保您的賬戶下已在分布式緩存服務(wù)(DCS)里創(chuàng)建了Redis類型的緩存實(shí)例。如何創(chuàng)建Redis類型的緩存實(shí)例，請參考《分布式緩存服務(wù)用戶指南》中“申請Redis緩存實(shí)例”章節(jié)。該場景作業(yè)需要運(yùn)行在DLI的獨(dú)享隊(duì)列上，因此要與DCS集群建立跨源連接，且用戶可以根據(jù)實(shí)際所需設(shè)置相應(yīng)安全組規(guī)則。如何建立增強(qiáng)型跨源連接，請參考《數(shù)據(jù)湖探索用戶指南》中增強(qiáng)型跨源連接章節(jié)。如何設(shè)置安全組規(guī)則，請參見《虛擬私有云用戶指南》中“安全組”章節(jié)。