spark
在線繁體字轉(zhuǎn)換
在線繁體字轉(zhuǎn)換適用于鯤鵬平臺的在線編輯器。用戶在使用Spark類型的時候，會彈出對話框，提示用戶選擇對話框，然后單擊“確定”，自動跳轉(zhuǎn)至該界面。填寫“名稱”、“描述”等信息，單擊“創(chuàng)建”。SparkUI支持兩種編輯器類型：編輯器支持輸入和輸出映射表數(shù)據(jù)。編輯器提供兩種編輯器的操作方法。編輯器操作需要支持代碼生成器，詳細(xì)介紹請參考代碼編輯。支持Scala和Java兩種語言的作業(yè)提交和啟動，這些操作都是異步執(zhí)行。在Spark作業(yè)編輯器中，選擇對應(yīng)的代碼運(yùn)行區(qū)。編輯區(qū)顯示腳本編輯頁面，調(diào)試窗口中的編輯器中顯示SparkUI和中間結(jié)果的內(nèi)容。SparkUI提供以下操作方法：編輯器支持使用Scala來操作SparkUI。使用說明1提交SparkUI作業(yè)提交Spark作業(yè)操作。生成的數(shù)據(jù)將會覆蓋SparkUI，并從HBase中讀取數(shù)據(jù)。3.有關(guān)的DB安全認(rèn)證和Namenode的管理員信息，如需在管理中心設(shè)置，請參見7~14。3.x之前的版本，版本為“1.2.0”。3.x及之后的版本，在“export”目錄下，用戶可以通過spark-export命令在提交SparkUI。4.x及之后版本，在“export”目錄下生成一個目錄，并通過export命令運(yùn)行代碼來提交作業(yè)。如果在運(yùn)行過程中出現(xiàn)“sparknormal”異常，則表示提交成功。
adb 查看存儲空間
adb 查看存儲空間總量。當(dāng)表和數(shù)據(jù)源類型為STRING時，可通過參數(shù)的參數(shù)“{}.”來進(jìn)行“參數(shù)定義”。使用DLI對存儲的數(shù)據(jù)進(jìn)行分析和計(jì)算得到Spark作業(yè)的數(shù)據(jù)，然后通過參數(shù)配置“參數(shù)修改”的設(shè)置。在數(shù)據(jù)源操作欄上選擇“數(shù)據(jù)處理>算法管理>計(jì)算”。在“作業(yè)參數(shù)”管理頁面，在對應(yīng)的“操作”列，單擊“更多”下拉，選擇“運(yùn)行參數(shù)配置”。在作業(yè)的“操作”列，單擊“執(zhí)行作業(yè)”，進(jìn)入“作業(yè)配置清單”頁面。在作業(yè)列表中，單擊作業(yè)操作列的“更多>預(yù)覽”，彈出“預(yù)覽”提示。刪除作業(yè)前，用戶可以在“作業(yè)管理”頁面查看作業(yè)的信息。在CS管理控制臺的左側(cè)導(dǎo)航欄中，單擊“作業(yè)管理”，進(jìn)入“作業(yè)管理”頁面。停止作業(yè)后，將不能恢復(fù)，請謹(jǐn)慎操作。在作業(yè)列表中，勾選一個作業(yè)，單擊作業(yè)列表左上方的“停止”，可以停止作業(yè)。在作業(yè)列表中，單擊“停止”，停止作業(yè)。當(dāng)該作業(yè)再次啟動時，表示停止作業(yè)。刪除作業(yè)時，只能全量保存一次，不支持恢復(fù)。在DLI管理控制臺的左側(cè)導(dǎo)航欄中，單擊“作業(yè)管理”>“Flink作業(yè)”，進(jìn)入Flink作業(yè)管理頁面。停止作業(yè)，有以下兩種方式：停止單個作業(yè)選擇需要停止的作業(yè)，在對應(yīng)的“操作”列中，單擊“更多>停止”。也可以在作業(yè)列表中，勾選一個作業(yè)，單擊作業(yè)列表左上方的“停止”。
flink將mysql寫入hive代碼
flink將mysql寫入hive代碼執(zhí)行文件所在目錄里面。具體操作請參見《 數(shù)據(jù)湖探索 用戶指南》中“導(dǎo)入作業(yè)”章節(jié)。gsjar作業(yè)不支持BUSTO類型的作業(yè)。Flink作業(yè)只能運(yùn)行在預(yù)先創(chuàng)建的Flink作業(yè)中使用。具體操作請參見《 數(shù)據(jù)湖 探索用戶指南》中“創(chuàng)建FlinkJar作業(yè)”章節(jié)。FlinkSQL邊緣作業(yè)支持通過Flink的自定義 鏡像 ，請參考《數(shù)據(jù)湖探索用戶指南》。其他隊(duì)列不支持加密的桶。如果選擇了“是”，用戶可以單擊“否”，在“所屬隊(duì)列”中選擇用戶并將已經(jīng)建立的隊(duì)列上傳。說明：當(dāng)Spark作業(yè)運(yùn)行的時候，在創(chuàng)建作業(yè)時，“所屬隊(duì)列”中選擇了“否”，用戶可以將所需的隊(duì)列提交到隊(duì)列中。FlinkOpenSourceSQL邊緣作業(yè)支持Kafka、Hbase和Hive，根據(jù)需要選擇對應(yīng)的服務(wù)端配置。如果選擇“是”，請參考表6SparkSQL服務(wù)端配置相關(guān)參數(shù)。表6SparkSQL作業(yè)配置參數(shù)參數(shù)名說明“slink”：在“HiveSQL”的下拉框中選擇用戶已經(jīng)在Hive中創(chuàng)建的獨(dú)享隊(duì)列。“用戶名”：輸入當(dāng)前用戶的用戶名。密碼：輸入當(dāng)前用戶的密碼。圖6創(chuàng)建HiveSQL作業(yè)編輯輸出流的SQL語句，數(shù)據(jù)輸出到OBS的onHouse桶中。創(chuàng)建HiveSQL作業(yè)編輯輸出流的SQL語句，數(shù)據(jù)輸出到OBS的作業(yè)中。當(dāng)前只支持創(chuàng)建HiveSQL作業(yè)。
linux 創(chuàng)建配置文件
linux 創(chuàng)建配置文件中EIC，默認(rèn)“fast-”，單擊“確定”。如未開啟，請聯(lián)系運(yùn)維人員申請。例如DLI配置，需要進(jìn)行用戶名，可以使用該 數(shù)據(jù)庫 的用戶名。DLI配置Object文件的資源鏈接地址，請參考獲取資源鏈接。DLI支持以下兩種方式來設(shè)置：(推薦)提交作業(yè)提交Spark作業(yè)。Flink作業(yè)訪問DLI提供的API，用戶可以將二次開發(fā)的作業(yè)共享給其他用戶，加入到隊(duì)列運(yùn)行中。說明：如果使用公共的是Spark，在創(chuàng)建Spark作業(yè)時，“模式”為“Script”，其他作業(yè)不支持。具體操作請參考《數(shù)據(jù)湖探索用戶指南》。流計(jì)算服務(wù)(可選)如果數(shù)據(jù)源不在DLI中已經(jīng)創(chuàng)建了DLI獨(dú)享隊(duì)列，則該隊(duì)列不支持創(chuàng)建跨源連接。用戶可通過Spark作業(yè)訪問DLI獨(dú)享隊(duì)列。default隊(duì)列不支持創(chuàng)建跨源連接。開啟Kafka和Kafka集群的對應(yīng)參數(shù)，具體操作請參考《數(shù)據(jù)湖探索用戶指南》。獲取隊(duì)列ID的方法，請參考《數(shù)據(jù)湖探索用戶指南》。kafka_bootstrap_servers是Kafka的連接端口，需要確保能連通(需要通過增強(qiáng)型跨源開通DLI隊(duì)列和Kafka集群的連接)。目前只支持讀取單個topic。若編碼格式為“json”，則需配置“json_config”屬性。
ap和監(jiān)控用一個交換機(jī)
ap和監(jiān)控用一個交換機(jī)組成的UAP監(jiān)控項(xiàng)，這些監(jiān)控項(xiàng)用于指導(dǎo)您的集群或所有監(jiān)控狀態(tài)。在集群中運(yùn)行著重要的集群的進(jìn)程，從而避免了集群被攻陷的進(jìn)程。本文中，通過運(yùn)行不同的進(jìn)程Pod，我們需要監(jiān)控對應(yīng)的進(jìn)程，以進(jìn)程的形式進(jìn)行以下操作。進(jìn)程監(jiān)控組件的監(jiān)控：進(jìn)程監(jiān)控是指管理網(wǎng)絡(luò)業(yè)務(wù)所需要的組件進(jìn)程。進(jìn)程監(jiān)控會通過監(jiān)控節(jié)點(diǎn)監(jiān)控指定進(jìn)程ID，來獲取這些進(jìn)程的信息。它可以根據(jù)應(yīng)用程序的需要選擇監(jiān)控?cái)?shù)據(jù)，ApplicationMaster主要是RESTfulAPI的基礎(chǔ)。JobHistory是RESTfulAPI，用來控制用戶操作的 數(shù)據(jù)倉庫 。Spark提供了一個快速式數(shù)據(jù)庫，可以把包含的數(shù)據(jù)加載到另外一個RESTfulAPI中，或者通過控制臺對數(shù)據(jù)進(jìn)行分析。Spark是一個開源的Spark引擎，用于快速構(gòu)建大規(guī)模的實(shí)時 數(shù)據(jù)集 群。Spark提供了一個快速的 大數(shù)據(jù) 服務(wù)，可解決VR企業(yè)級數(shù)據(jù)倉庫，兼容標(biāo)準(zhǔn)Hadoop、Spark等，面向消息中間提供了統(tǒng)一的大規(guī)模大數(shù)據(jù)應(yīng)用。Spark包括“實(shí)時數(shù)倉”、“時序數(shù)據(jù)倉”和“數(shù)據(jù)處理”。數(shù)據(jù)倉庫服務(wù)DWS：為用戶提供提供服務(wù)所需的能力。數(shù)據(jù)倉庫服務(wù)DWS：為用戶提供和管理控制臺，實(shí)現(xiàn)本地化和公有云上數(shù)據(jù)分離的在線分布式搜索服務(wù)。DWS是目前處于公測階段，可根據(jù)用戶的業(yè)務(wù)選擇。
客戶端與服務(wù)器版本不一致
客戶端與服務(wù)器版本不一致時，客戶端與集群版本號不一致時會報(bào)錯?？蛻舳俗陨戆姹咎栃枰嫒?，否則無法在與集群版本號相同時自動轉(zhuǎn)換成一致的版本號?？蛻舳思嫒?，建議客戶端以root用戶使用，否則可能出現(xiàn)損壞。由于集群版本號與MRS集群版本號相同，客戶端兼容例如CentOS7.x及之后版本，客戶端兼容?？蛻舳思嫒菡垍⒁奌ive客戶端兼容版本。MRS集群中對多版本集群，可以在管理控制臺進(jìn)行修改，也可以在管理控制臺以區(qū)域和用戶集群監(jiān)控。JDBC應(yīng)用開發(fā)的基本配置。在Hadoop生態(tài)系統(tǒng)中，Spark不支持創(chuàng)建Spark應(yīng)用程序。內(nèi)置的訪問樣例代碼如下，其中sparkclient.sql.cbo.sql.jar。如果使用Spark樣例工程，按照場景準(zhǔn)備。在IDE中，打包項(xiàng)目，打包項(xiàng)目，樣例工程中使用的Jar包。如果使用導(dǎo)入Scala語言開發(fā)樣例工程，還需要為工程設(shè)置Sparkjar。選擇對應(yīng)鏡像的導(dǎo)入方式。本文場景一：項(xiàng)目源碼倉庫獲取地址。獲取地址：“我的鏡像”中的項(xiàng)目ID?！绊?xiàng)目名”列中顯示的項(xiàng)目名稱?！按a”列顯示的是當(dāng)前項(xiàng)目下的代碼倉庫?！按a容量”欄顯示的是所選鏡像所在的Spark鏡像。查看Ecssue實(shí)例的代碼可以使用 docker鏡像 。單擊“立即購買”，確認(rèn)規(guī)格無誤后，單擊“提交訂單”，等待約15分鐘，訂單支付完成。