mrsmanager
mysql數(shù)據(jù)庫(kù)操作命令行
mysql 數(shù)據(jù)庫(kù) 操作命令行的含義與使用shell命令不同。在創(chuàng)建mysql服務(wù)器中，如果已經(jīng)有訪(fǎng)問(wèn)外部數(shù)據(jù)源，可以直接使用外部數(shù)據(jù)源的shell進(jìn)行用戶(hù)管理(比如操作數(shù)據(jù)庫(kù)和用戶(hù)信息)，比如操作數(shù)據(jù)庫(kù)或者表。本章節(jié)適用于MRS集群。管理員可以在FusionInsightManager創(chuàng)建新用戶(hù)或者修改自己的權(quán)限策略，例如用戶(hù)。使用該功能前，請(qǐng)確保已通過(guò)Kerberos服務(wù)創(chuàng)建了用戶(hù)。選擇“系統(tǒng)設(shè)置>用戶(hù)管理”。當(dāng)用戶(hù)不再使用該功能時(shí)，請(qǐng)退出當(dāng)前用戶(hù)。刪除用戶(hù)后，該用戶(hù)相關(guān)的權(quán)限不會(huì)刪除，請(qǐng)謹(jǐn)慎操作。當(dāng)用戶(hù)想要查看權(quán)限策略時(shí)，請(qǐng)執(zhí)行該操作。在“用戶(hù)管理”頁(yè)面中，單擊“添加用戶(hù)”。在添加用戶(hù)頁(yè)面中，填寫(xiě)用戶(hù)信息，完成后單擊“下一步”。用戶(hù)名指定Manager的用戶(hù)名。將用戶(hù)加入到組的任一組中。MRS3.x之前版本，系統(tǒng)默認(rèn)輸入“Hive”用戶(hù)名，單擊“確定”?！坝脩?hù)名”是從MRSManager頁(yè)面通過(guò)Manager界面提交的用戶(hù)名。登錄成功后，系統(tǒng)自動(dòng)在用戶(hù)管理界面瀏覽話(huà)。初始化會(huì)導(dǎo)致客戶(hù)端連接失敗，用戶(hù)信息后，需要重新下載并安裝客戶(hù)端。Kafka客戶(hù)端的“conf”用戶(hù)名和密碼從MRSManager界面顯示修改后才會(huì)生效，請(qǐng)確保MRS集群管理員用戶(hù)的密碼全部失效。使用安裝客戶(hù)端的用戶(hù)登錄客戶(hù)端所在節(jié)點(diǎn)，并執(zhí)行如下命令進(jìn)行用戶(hù)認(rèn)證。在客戶(hù)端所在節(jié)點(diǎn)，執(zhí)行如下命令切換到客戶(hù)端目錄。cd/opt/hadoopclient執(zhí)行如下命令初始化環(huán)境變量。若在集群外使用客戶(hù)端，請(qǐng)切換到root用戶(hù)。準(zhǔn)備一個(gè)提交Flink作業(yè)的用戶(hù)。
spark直接讀取mysql一億條數(shù)據(jù)
spark直接讀取mysql一億條數(shù)據(jù)，可以存儲(chǔ)在HDFS中，提供了靈活的數(shù)據(jù)壓縮工具。本文以在集群上創(chuàng)建兩個(gè)GaussDB(DWS)集群。創(chuàng)建一個(gè)名為GaussDB(DWS)集群，該集群的管理員用戶(hù)和角色需要從對(duì)應(yīng)的VPC中訪(fǎng)問(wèn)。步驟1：創(chuàng)建MRS數(shù)據(jù)源連接。在左側(cè)導(dǎo)航欄中，單擊“集群管理”。在集群列表中，單擊指定集群的名稱(chēng)，再單擊“基本信息”頁(yè)簽。在“數(shù)據(jù)庫(kù)屬性”區(qū)域，用戶(hù)可以查看并獲取集群的資源。當(dāng)用戶(hù)想要查看某個(gè)集群的資源信息時(shí)，可以參考如下操作查看。當(dāng)用戶(hù)想要查看某個(gè)集群的資源信息時(shí)，可以參考如下操作查看：?jiǎn)螕簟安榭醇罕O(jiān)控”，可以查看到集群的節(jié)點(diǎn)監(jiān)控信息。當(dāng)用戶(hù)不需要對(duì)接MRS服務(wù)時(shí)，可以參考以下操作刪除MRS集群：登錄MRS管理控制臺(tái)。單擊“集群管理”，進(jìn)入集群信息頁(yè)面。在“集群管理”頁(yè)面，選擇需要?jiǎng)h除的集群，在“操作”列，單擊“刪除”。在彈出的窗口中，單擊“確定”。選擇“集群狀態(tài)”，即完成一個(gè)Master節(jié)點(diǎn)升級(jí)。對(duì)于MRS3.x及之后版本，且在打開(kāi)的時(shí)候，會(huì)對(duì)默認(rèn)安全集群的客戶(hù)端進(jìn)行用戶(hù)認(rèn)證。如果當(dāng)前集群未啟用Kerberos認(rèn)證，則無(wú)需執(zhí)行該步驟。kinit組件業(yè)務(wù)用戶(hù)配置在MRSManager，選擇“服務(wù)管理>HDFS>實(shí)例”，查看“概覽”。Flink自定義作業(yè)配置：選擇Spark自定義的資源隊(duì)列。
usg6000e服務(wù)器映射配置
usg6000e服務(wù)器映射配置方式，默認(rèn)使用virtualp。本章節(jié)指導(dǎo)用戶(hù)在高并發(fā)配置文件中使用。配置完成后，執(zhí)行步驟：登錄Linux服務(wù)器，執(zhí)行以下命令，配置vim。ssh_listenp3_listenerfs在以上場(chǎng)景中如果配置過(guò)，默認(rèn)配置文件中不存在，則默認(rèn)不設(shè)置。在此步驟后，由于某些場(chǎng)景下，需要手動(dòng)調(diào)整iptables文件的大小。配置文件中保存有用戶(hù)的權(quán)限和對(duì)應(yīng)的權(quán)限，具體操作如下。使用admin登錄Core節(jié)點(diǎn)，執(zhí)行以下命令，切換到客戶(hù)端目錄。cd/opt/client執(zhí)行以下命令配置環(huán)境變量。sourcebigdata_env如果集群為安全模式，執(zhí)行以下命令認(rèn)證當(dāng)前用戶(hù)。如果當(dāng)前集群未啟用Kerberos認(rèn)證，則無(wú)需執(zhí)行此命令。直接執(zhí)行Hive多實(shí)例的客戶(hù)端命令。啟用Kerberos認(rèn)證的MRS集群默認(rèn)創(chuàng)建一個(gè)屬于“hdfs_admin”，普通模式集群無(wú)法啟用Kerberos認(rèn)證。直接執(zhí)行Hive的用戶(hù)需要加入Hive組，具體操作請(qǐng)參考創(chuàng)建角色。安全模式下，“admin”用戶(hù)需要擁有Hive管理員權(quán)限。具體操作請(qǐng)參考創(chuàng)建用戶(hù)章節(jié)，創(chuàng)建一個(gè)擁有Hive和表的權(quán)限，然后在客戶(hù)端中通過(guò)配置文件加載用戶(hù)身份。參考修改用戶(hù)信息，創(chuàng)建一個(gè)擁有Hive表的權(quán)限。使用MRS服務(wù)的用戶(hù)登錄MRSManager頁(yè)面，具體請(qǐng)參考創(chuàng)建角色。
hadoop集群監(jiān)控工具
hadoop集群監(jiān)控工具，以安裝用戶(hù)。kinit組件安裝完成后，需要修改Yarn服務(wù)的omcat服務(wù)配置。該用戶(hù)用于在MRSManager修改后，會(huì)影響Yarn服務(wù)的健康運(yùn)行。集群中，“/opt/hadoop.<系統(tǒng)域名>”為用戶(hù)名，用戶(hù)的密碼遵循該用戶(hù)密碼策略，使其可以訪(fǎng)問(wèn)。HDFS多實(shí)例場(chǎng)景下，如果集群未配置相關(guān)服務(wù)的權(quán)限，則組件每次修改后仍然是屬于某個(gè)服務(wù)的實(shí)例。例如HDFS多實(shí)例，在使用過(guò)程中，如果使用了“--”，則不允許執(zhí)行該操作，需要重新創(chuàng)建角色實(shí)例。MRS3.x之前版本集群執(zhí)行以下命令，新建角色實(shí)例。stormjar<系統(tǒng)域名>：hacluster1>對(duì)于MRS3.x之前版本，在MRSManager頁(yè)面，單擊“系統(tǒng)設(shè)置”。單擊“添加角色”，輸入“角色名稱(chēng)”和“描述”。Yarn/HDFS目錄時(shí)，角色管理員由系統(tǒng)管理員在系統(tǒng)內(nèi)部使用。對(duì)系統(tǒng)的影響導(dǎo)出目錄，為隱藏目錄，設(shè)置屬主權(quán)限?！皺C(jī)機(jī)”用戶(hù)可在MRSManager查看導(dǎo)出的數(shù)據(jù)目錄。選擇“系統(tǒng)>權(quán)限>用戶(hù)”，在用戶(hù)所在行的“操作”列，選擇“更多>導(dǎo)出角色”，下載用戶(hù)身份認(rèn)證憑據(jù)文件，并補(bǔ)充key和keytab文件的注釋。僅FusionInsightManager的主備管理節(jié)點(diǎn)無(wú)權(quán)限需要重新下載keytab文件。選擇“系統(tǒng)>權(quán)限>用戶(hù)”，在已增加用戶(hù)所在行的“操作”列，選擇“更多>下載認(rèn)證憑據(jù)”。