mrsmanager
mysql數(shù)據(jù)庫操作命令行
mysql 數(shù)據(jù)庫 操作命令行的含義與使用shell命令不同。在創(chuàng)建mysql服務(wù)器中，如果已經(jīng)有訪問外部數(shù)據(jù)源，可以直接使用外部數(shù)據(jù)源的shell進(jìn)行用戶管理(比如操作數(shù)據(jù)庫和用戶信息)，比如操作數(shù)據(jù)庫或者表。本章節(jié)適用于MRS集群。管理員可以在FusionInsightManager創(chuàng)建新用戶或者修改自己的權(quán)限策略，例如用戶。使用該功能前，請確保已通過Kerberos服務(wù)創(chuàng)建了用戶。選擇“系統(tǒng)設(shè)置>用戶管理”。當(dāng)用戶不再使用該功能時(shí)，請退出當(dāng)前用戶。刪除用戶后，該用戶相關(guān)的權(quán)限不會刪除，請謹(jǐn)慎操作。當(dāng)用戶想要查看權(quán)限策略時(shí)，請執(zhí)行該操作。在“用戶管理”頁面中，單擊“添加用戶”。在添加用戶頁面中，填寫用戶信息，完成后單擊“下一步”。用戶名指定Manager的用戶名。將用戶加入到組的任一組中。MRS3.x之前版本，系統(tǒng)默認(rèn)輸入“Hive”用戶名，單擊“確定”?！坝脩裘笔菑腗RSManager頁面通過Manager界面提交的用戶名。登錄成功后，系統(tǒng)自動(dòng)在用戶管理界面瀏覽話。初始化會導(dǎo)致客戶端連接失敗，用戶信息后，需要重新下載并安裝客戶端。Kafka客戶端的“conf”用戶名和密碼從MRSManager界面顯示修改后才會生效，請確保MRS集群管理員用戶的密碼全部失效。使用安裝客戶端的用戶登錄客戶端所在節(jié)點(diǎn)，并執(zhí)行如下命令進(jìn)行用戶認(rèn)證。在客戶端所在節(jié)點(diǎn)，執(zhí)行如下命令切換到客戶端目錄。cd/opt/hadoopclient執(zhí)行如下命令初始化環(huán)境變量。若在集群外使用客戶端，請切換到root用戶。準(zhǔn)備一個(gè)提交Flink作業(yè)的用戶。
spark直接讀取mysql一億條數(shù)據(jù)
spark直接讀取mysql一億條數(shù)據(jù)，可以存儲在HDFS中，提供了靈活的數(shù)據(jù)壓縮工具。本文以在集群上創(chuàng)建兩個(gè)GaussDB(DWS)集群。創(chuàng)建一個(gè)名為GaussDB(DWS)集群，該集群的管理員用戶和角色需要從對應(yīng)的VPC中訪問。步驟1：創(chuàng)建MRS數(shù)據(jù)源連接。在左側(cè)導(dǎo)航欄中，單擊“集群管理”。在集群列表中，單擊指定集群的名稱，再單擊“基本信息”頁簽。在“數(shù)據(jù)庫屬性”區(qū)域，用戶可以查看并獲取集群的資源。當(dāng)用戶想要查看某個(gè)集群的資源信息時(shí)，可以參考如下操作查看。當(dāng)用戶想要查看某個(gè)集群的資源信息時(shí)，可以參考如下操作查看：單擊“查看集群監(jiān)控”，可以查看到集群的節(jié)點(diǎn)監(jiān)控信息。當(dāng)用戶不需要對接MRS服務(wù)時(shí)，可以參考以下操作刪除MRS集群：登錄MRS管理控制臺。單擊“集群管理”，進(jìn)入集群信息頁面。在“集群管理”頁面，選擇需要?jiǎng)h除的集群，在“操作”列，單擊“刪除”。在彈出的窗口中，單擊“確定”。選擇“集群狀態(tài)”，即完成一個(gè)Master節(jié)點(diǎn)升級。對于MRS3.x及之后版本，且在打開的時(shí)候，會對默認(rèn)安全集群的客戶端進(jìn)行用戶認(rèn)證。如果當(dāng)前集群未啟用Kerberos認(rèn)證，則無需執(zhí)行該步驟。kinit組件業(yè)務(wù)用戶配置在MRSManager，選擇“服務(wù)管理>HDFS>實(shí)例”，查看“概覽”。Flink自定義作業(yè)配置：選擇Spark自定義的資源隊(duì)列。
usg6000e服務(wù)器映射配置
usg6000e服務(wù)器映射配置方式，默認(rèn)使用virtualp。本章節(jié)指導(dǎo)用戶在高并發(fā)配置文件中使用。配置完成后，執(zhí)行步驟：登錄Linux服務(wù)器，執(zhí)行以下命令，配置vim。ssh_listenp3_listenerfs在以上場景中如果配置過，默認(rèn)配置文件中不存在，則默認(rèn)不設(shè)置。在此步驟后，由于某些場景下，需要手動(dòng)調(diào)整iptables文件的大小。配置文件中保存有用戶的權(quán)限和對應(yīng)的權(quán)限，具體操作如下。使用admin登錄Core節(jié)點(diǎn)，執(zhí)行以下命令，切換到客戶端目錄。cd/opt/client執(zhí)行以下命令配置環(huán)境變量。sourcebigdata_env如果集群為安全模式，執(zhí)行以下命令認(rèn)證當(dāng)前用戶。如果當(dāng)前集群未啟用Kerberos認(rèn)證，則無需執(zhí)行此命令。直接執(zhí)行Hive多實(shí)例的客戶端命令。啟用Kerberos認(rèn)證的MRS集群默認(rèn)創(chuàng)建一個(gè)屬于“hdfs_admin”，普通模式集群無法啟用Kerberos認(rèn)證。直接執(zhí)行Hive的用戶需要加入Hive組，具體操作請參考創(chuàng)建角色。安全模式下，“admin”用戶需要擁有Hive管理員權(quán)限。具體操作請參考創(chuàng)建用戶章節(jié)，創(chuàng)建一個(gè)擁有Hive和表的權(quán)限，然后在客戶端中通過配置文件加載用戶身份。參考修改用戶信息，創(chuàng)建一個(gè)擁有Hive表的權(quán)限。使用MRS服務(wù)的用戶登錄MRSManager頁面，具體請參考創(chuàng)建角色。
hadoop集群監(jiān)控工具
hadoop集群監(jiān)控工具，以安裝用戶。kinit組件安裝完成后，需要修改Yarn服務(wù)的omcat服務(wù)配置。該用戶用于在MRSManager修改后，會影響Yarn服務(wù)的健康運(yùn)行。集群中，“/opt/hadoop.<系統(tǒng)域名>”為用戶名，用戶的密碼遵循該用戶密碼策略，使其可以訪問。HDFS多實(shí)例場景下，如果集群未配置相關(guān)服務(wù)的權(quán)限，則組件每次修改后仍然是屬于某個(gè)服務(wù)的實(shí)例。例如HDFS多實(shí)例，在使用過程中，如果使用了“--”，則不允許執(zhí)行該操作，需要重新創(chuàng)建角色實(shí)例。MRS3.x之前版本集群執(zhí)行以下命令，新建角色實(shí)例。stormjar<系統(tǒng)域名>：hacluster1>對于MRS3.x之前版本，在MRSManager頁面，單擊“系統(tǒng)設(shè)置”。單擊“添加角色”，輸入“角色名稱”和“描述”。Yarn/HDFS目錄時(shí)，角色管理員由系統(tǒng)管理員在系統(tǒng)內(nèi)部使用。對系統(tǒng)的影響導(dǎo)出目錄，為隱藏目錄，設(shè)置屬主權(quán)限。“機(jī)機(jī)”用戶可在MRSManager查看導(dǎo)出的數(shù)據(jù)目錄。選擇“系統(tǒng)>權(quán)限>用戶”，在用戶所在行的“操作”列，選擇“更多>導(dǎo)出角色”，下載用戶身份認(rèn)證憑據(jù)文件，并補(bǔ)充key和keytab文件的注釋。僅FusionInsightManager的主備管理節(jié)點(diǎn)無權(quán)限需要重新下載keytab文件。選擇“系統(tǒng)>權(quán)限>用戶”，在已增加用戶所在行的“操作”列，選擇“更多>下載認(rèn)證憑據(jù)”。