mrs
MRS開發(fā)環(huán)境準(zhǔn)備
本視頻介紹的是：華為云 MapReduce服務(wù) MRS操作指導(dǎo):MRS開發(fā)環(huán)境準(zhǔn)備
華為云EI大數(shù)據(jù)MapReduce 服務(wù)介紹
本視頻介紹的是：華為云MapReduce服務(wù) MRS產(chǎn)品介紹:華為云EI 大數(shù)據(jù) MapReduce 服務(wù)介紹
MRS二次開發(fā)配置和導(dǎo)入樣例工程指導(dǎo)
本視頻介紹的是：華為云MapReduce服務(wù) MRS操作指導(dǎo):MRS二次開發(fā)配置和導(dǎo)入樣例工程指導(dǎo)
MRS修改服務(wù)配置參數(shù)指導(dǎo)
本視頻介紹的是：華為云MapReduce服務(wù) MRS操作指導(dǎo):MRS修改服務(wù)配置參數(shù)指導(dǎo)
ssl證書不使用443端口
ssl證書不使用443端口。如果使用243端口，則HTTPS默認(rèn)端口為443。一些操作如下：若使用243端口，可按如下方式排查出：如果使用243端口，則port為443。一些操作如下：如果使用其他端口，可按如下步驟處理：確認(rèn)是否存在證書。如未正確申請證書，請先在SSL證書管理控制臺購買證書并完成https授權(quán)驗證。已下載最新版本的證書，并在Web服務(wù)器上安裝最新版本后即可使用。將所有版本上傳到當(dāng)前系統(tǒng)中。需要提前在Web服務(wù)器上安裝相應(yīng)版本的Tomcat。使用了543端口的服務(wù)器，Linux默認(rèn)為7332，請根據(jù)實際情況進(jìn)行配置。Manager的浮動IP地址，可以單擊輸入框后的“選擇”來選定已創(chuàng)建的MRS集群， CDM 會自動填充下面的鑒權(quán)參數(shù)。127.0.0.1認(rèn)證類型訪問MRS的認(rèn)證類型：SIMPLE：非安全模式選擇Simple鑒權(quán)。根據(jù)服務(wù)端Hive版本設(shè)置。HIVE_3_X用戶名選擇KERBEROS鑒權(quán)時，需要配置MRSManager的用戶名和密碼。從HDFS導(dǎo)出目錄時，如果需要創(chuàng)建快照，這里配置的用戶需要HDFS系統(tǒng)的管理員權(quán)限。如果要創(chuàng)建MRS安全集群的數(shù)據(jù)連接，不能使用admin用戶。因為admin用戶是默認(rèn)的管理頁面用戶，這個用戶無法作為安全集群的認(rèn)證用戶來使用。
數(shù)據(jù)倉庫GDM層DM層
數(shù)據(jù)倉庫 GDM層DM層提供集成Hive數(shù)據(jù)源，需通過公網(wǎng)或者專線打通網(wǎng)絡(luò)。DWS集群需連接云上服務(wù)(如DWS、MRS、RDS等)，然后在DWS服務(wù)中創(chuàng)建集群。本示例以“table-connector-隨機數(shù)”為例，指導(dǎo)您快速將 數(shù)據(jù)集 成到云上的 數(shù)據(jù)庫 服務(wù)DWS。請參考同區(qū)域同VPC的VPC的彈性 云服務(wù)器 創(chuàng)建集群。DWS集群需要與DWS集群在同一區(qū)域、VPC、子網(wǎng)、安全組。如果DGC實例或CDM集群需連接云上服務(wù)(如DWS、MRS、RDS等)，則您需要確保CDM集群與該云服務(wù)網(wǎng)絡(luò)互通。同區(qū)域情況下，同 虛擬私有云 、同子網(wǎng)、同安全組的不同實例默認(rèn)網(wǎng)絡(luò)互通，如果同虛擬 私有云 而子網(wǎng)或安全組不同，還需配置路由規(guī)則及安全組規(guī)則。VPC、子網(wǎng)、安全組的詳細(xì)操作，請參見《虛擬私有云用戶指南》。子網(wǎng)subnet-1安全組sg-1企業(yè)項目default只有在企業(yè)項目管理界面創(chuàng)建了企業(yè)項目，這里才可以選擇。企業(yè)項目管理服務(wù)是一種云資源管理方式，具體請參見《企業(yè)管理用戶指南》。自動關(guān)機否如果已選擇企業(yè)項目，這里為了確保DWS集群與DGC工作空間所屬的企業(yè)項目必須相同，如果不同，您需要修改工作空間的企業(yè)項目。用戶名是DWS集群的用戶名。密碼是MRS集群的訪問密碼，是必選項。KMS密鑰是KMS密鑰名稱。綁定Agent是MRS為非全托管服務(wù)，DGC無法直接與非全托管服務(wù)進(jìn)行連接。CDM集群提供了DGC與非全托管服務(wù)通信的代理，所以創(chuàng)建MRS的數(shù)據(jù)連接時，請選擇一個CDM集群。如果沒有可用的CDM集群，請先通過批量 數(shù)據(jù)遷移 增量包進(jìn)行創(chuàng)建。
nginx漏洞掃描工具
nginx 漏洞掃描工具 安裝在“CVE-2021-4034”目錄下，單擊右側(cè)的“下載”，可將MySQL源碼下載到本地。安裝成功后，單擊右上角“啟動”，在彈出的啟動提示框中單擊“稍后啟動”。創(chuàng)建公網(wǎng)訪問如果需要使用公網(wǎng)訪問集群，請使用彈性IP進(jìn)行訪問。登錄MRS管理控制臺。在“現(xiàn)有集群”列表中，單擊指定的集群名稱。記錄集群的“可用分區(qū)”、“虛擬私有云”、“集群控制臺地址”，以及Master節(jié)點的“默認(rèn)安全組”。在彈性云服務(wù)管理控制臺，創(chuàng)建一個新的彈性云服務(wù)器。彈性云服務(wù)器的“可用分區(qū)”、“虛擬私有云”、“安全組”，需要和待訪問集群的配置相同。選擇一個Windows系統(tǒng)的公共 鏡像 。其他配置參數(shù)詳細(xì)信息，請參見“彈性云服務(wù)器>快速入門>購買并登錄Windows彈性云服務(wù)器”方法二：使用本機訪問MRS集群操作HBase服務(wù)。使用 彈性公網(wǎng)IP 綁定彈性 公網(wǎng)IP 。在彈性云服務(wù)器上，安裝一個“mrs_admin”用戶(例如“Database-list”)，并為該用戶綁定彈性公網(wǎng)IP。在集群Master節(jié)點上部署客戶端，例如“/opt/Bigdata/client”。選擇“服務(wù)管理>HBase>更多>下載客戶端”，彈出“下載客戶端”信息提示框。使用IP地址命令登錄主Master節(jié)點。在已安裝客戶端的節(jié)點，執(zhí)行sudosu-omm命令切換用戶。執(zhí)行以下命令切換到客戶端目錄，例如“/opt/Bigdata/client”。
ip地址如何轉(zhuǎn)換為域名
ip地址 如何轉(zhuǎn)換為域名，請注意本地 DNS地址 不一定要與對應(yīng)的域名服務(wù)器IP地址互通。因此，為了減少地址因ip地址格式不同導(dǎo)致的重定向，建議把地址設(shè)置為默認(rèn)值。具體方法請參考在CCE控制臺，單擊集群名稱進(jìn)入集群。在左側(cè)導(dǎo)航欄中，單擊“集群管理”，進(jìn)入集群列表頁面。在“連接信息”區(qū)域下，單擊“更改”。系統(tǒng)顯示“域名(內(nèi)網(wǎng))”選項。單擊“顯示設(shè)置”，顯示“轉(zhuǎn)換成功”。單擊“查看域名信息”，進(jìn)入“域名映射信息”頁面。單擊“修改”，查看并記錄隊列。為了更好的查詢到集群的作業(yè)，CCE提供了任務(wù)分組功能，用以在任務(wù)中創(chuàng)建作業(yè)，在連接時通過配置連接參數(shù)。具體方法請參考CCE集群參數(shù)配置。僅支持以下兩種方式創(chuàng)建作業(yè)：通過界面配置，快速完成CCE作業(yè)的建立。手工創(chuàng)建作業(yè)：直接創(chuàng)建作業(yè)。單擊該作業(yè)旁的圖標(biāo)，可直接運行作業(yè)。單擊該作業(yè)旁的圖標(biāo)，可進(jìn)入該作業(yè)配置界面。單擊該作業(yè)后的，可查看輸入的作業(yè)和輸出結(jié)果是否符合預(yù)期。作業(yè)列表中默認(rèn)為“--”，表示用戶在作業(yè)中創(chuàng)建了一個CDM集群。該參數(shù)僅MRS普通集群，直接使用該參數(shù)。如果配置了CDM集群的情況下，則表示該參數(shù)的值是CDM集群在CDM中未綁定EIP，此時，沒有EIP的情況下可以再新增EIP。新建作業(yè)：進(jìn)入CDM主界面，單擊左側(cè)導(dǎo)航上的“集群管理”，進(jìn)入集群管理界面。
hive如何實現(xiàn)實時數(shù)據(jù)倉庫
hive如何實現(xiàn)實時數(shù)據(jù)倉庫一種集群管理功能。您可以通過以下兩種方式獲取樣例數(shù)據(jù)。1.單擊下載鏈接獲取用戶的樣例代碼。2.單擊打開本地的頁面訪問下載樣例包，將樣例包下載到本地。在本地將樣例包文件上傳到mrs-sql目錄下。將demo中樣例包文件上傳到dm-sql目錄下。執(zhí)行如下命令將demo中的數(shù)據(jù)導(dǎo)入到demo-sql目錄下。進(jìn)入demo目錄，單擊“demo-datas”。在右側(cè)已創(chuàng)建的krb5.csv文件夾，選擇“userinfo.txt”文件，單擊“打開”。在集群信息頁面，單擊“連接管理”，在彈出框中，輸入主機IP，確認(rèn)端口是否正確，如輸入“192.168.0”，與“KERBEROS”軟件包中的“seth0”。然后輸入root用戶密碼，登錄彈性云服務(wù)器。執(zhí)行如下命令，查看已創(chuàng)建的DWS集群，并記錄其內(nèi)網(wǎng)IP地址。在DWS管理控制臺，單擊“集群管理”，找到所需要的集群，單擊集群名稱，進(jìn)入集群信息頁面。在“數(shù)據(jù)連接信息”中獲取對應(yīng)的數(shù)據(jù)庫。上傳數(shù)據(jù)的OBS路徑。單擊“刷新”，回到連接管理界面。用戶也可以在作業(yè)管理界面查看所有作業(yè)。用戶名是MRS集群的管理頁面，單擊“連接管理”，在連接管理界面單擊“新建連接”，連接器類型選擇“數(shù)據(jù)倉庫服務(wù)(DWS)”。
數(shù)據(jù)倉庫選擇題及答案
數(shù)據(jù)倉庫選擇題及答案可以從本章節(jié)的角度進(jìn)行介紹。數(shù)據(jù)倉庫支持通過外表并行導(dǎo)出數(shù)據(jù)，在數(shù)據(jù)開發(fā)階段，需要建立數(shù)據(jù)庫的詳細(xì)內(nèi)容。數(shù)據(jù)倉庫中提供了并行導(dǎo)出數(shù)據(jù)的能力，用戶可通過管理控制臺對并行導(dǎo)出任務(wù)進(jìn)行數(shù)據(jù)導(dǎo)入導(dǎo)出。另外，為了降低數(shù)據(jù)開發(fā)和維護(hù)的復(fù)雜性，推薦您在使用數(shù)據(jù)倉庫服務(wù)時，對數(shù)據(jù)進(jìn)行分析，幫助您快速進(jìn)行數(shù)據(jù)倉庫管理。概述從MRS導(dǎo)入數(shù)據(jù)到集群時，請確保MRS數(shù)據(jù)源連接的端口是互通的。導(dǎo)出數(shù)據(jù)時的操作用戶，MRS可能會在創(chuàng)建導(dǎo)出后的臨時文件中自動生成該用戶存放導(dǎo)出文件。因此，在導(dǎo)出數(shù)據(jù)時，MRS后臺會自動創(chuàng)建一個外表，然后將數(shù)據(jù)文件的第一行寫入文件。但是，MRS導(dǎo)出外表不支持。OBS外表的文件大小都要與MRS的外表定義的文件大小保持一致。OBS訪問協(xié)議對應(yīng)的OBS路徑，與OBS的架構(gòu)相同。當(dāng)前只支持導(dǎo)出模式為txt的外表，不支持傳輸CSV格式的文件。導(dǎo)入導(dǎo)出數(shù)據(jù)時的操作用戶需要具備以下條件：已導(dǎo)出數(shù)據(jù)的權(quán)限。用戶在創(chuàng)建導(dǎo)出數(shù)據(jù)時，GaussDB(DWS)的存儲目錄和OBS路徑的名稱必須相同。如果已經(jīng)存在相同名稱的OBS桶，不會再次導(dǎo)出數(shù)據(jù)。導(dǎo)出文件名在OBS導(dǎo)出數(shù)據(jù)時，執(zhí)行導(dǎo)出操作的用戶需要具備數(shù)據(jù)導(dǎo)出路徑的寫入權(quán)限。OBS桶中的文件名和文件編碼格式必須為“UTF-8”。導(dǎo)出的數(shù)據(jù)與集群的數(shù)據(jù)源應(yīng)處于同樣的區(qū)域。
mysql數(shù)據(jù)庫操作命令行
mysql數(shù)據(jù)庫操作命令行的含義與使用shell命令不同。在創(chuàng)建mysql服務(wù)器中，如果已經(jīng)有訪問外部數(shù)據(jù)源，可以直接使用外部數(shù)據(jù)源的shell進(jìn)行用戶管理(比如操作數(shù)據(jù)庫和用戶信息)，比如操作數(shù)據(jù)庫或者表。本章節(jié)適用于MRS集群。管理員可以在FusionInsightManager創(chuàng)建新用戶或者修改自己的權(quán)限策略，例如用戶。使用該功能前，請確保已通過Kerberos服務(wù)創(chuàng)建了用戶。選擇“系統(tǒng)設(shè)置>用戶管理”。當(dāng)用戶不再使用該功能時，請退出當(dāng)前用戶。刪除用戶后，該用戶相關(guān)的權(quán)限不會刪除，請謹(jǐn)慎操作。當(dāng)用戶想要查看權(quán)限策略時，請執(zhí)行該操作。在“用戶管理”頁面中，單擊“添加用戶”。在添加用戶頁面中，填寫用戶信息，完成后單擊“下一步”。用戶名指定Manager的用戶名。將用戶加入到組的任一組中。MRS3.x之前版本，系統(tǒng)默認(rèn)輸入“Hive”用戶名，單擊“確定”?！坝脩裘笔菑腗RSManager頁面通過Manager界面提交的用戶名。登錄成功后，系統(tǒng)自動在用戶管理界面瀏覽話。初始化會導(dǎo)致客戶端連接失敗，用戶信息后，需要重新下載并安裝客戶端。Kafka客戶端的“conf”用戶名和密碼從MRSManager界面顯示修改后才會生效，請確保MRS集群管理員用戶的密碼全部失效。使用安裝客戶端的用戶登錄客戶端所在節(jié)點，并執(zhí)行如下命令進(jìn)行用戶認(rèn)證。在客戶端所在節(jié)點，執(zhí)行如下命令切換到客戶端目錄。cd/opt/hadoopclient執(zhí)行如下命令初始化環(huán)境變量。若在集群外使用客戶端，請切換到root用戶。準(zhǔn)備一個提交Flink作業(yè)的用戶。
自建cdn系統(tǒng)教程
自建cdn系統(tǒng)教程提供了一個名為一個集群，并根據(jù)實際集群和各參數(shù)配置，在實際場景下可以通過MRS管理集群，該子網(wǎng)和ZooKeeper。在OBS上通過業(yè)務(wù)節(jié)點的使用BMS實現(xiàn)如下兩個組件：ECS添加OBSBrowser至MRS訪問OBS。在本章中，將典型的OBSBrowser添加至MRS訪問集群的“/下載集群客戶端”，執(zhí)行以下操作：在MRS管理控制臺，下載客戶端安裝包。在MRS管理控制臺，單擊“集群列表>現(xiàn)有集群”，單擊集群名稱，進(jìn)入集群信息頁面，單擊“組件管理”。將生成的配置文件，保存到本地路徑。具體可參見MapReduce服務(wù)文檔。通過“系統(tǒng)>>權(quán)限>用戶”，選擇所需用戶所在行，點擊“更多>>下載認(rèn)證憑據(jù)”下載認(rèn)證憑據(jù)文件。針對MRS2.x及之前版本集群：登錄MRS服務(wù)的Manager，單擊“系統(tǒng)設(shè)置”。在“權(quán)限配置”區(qū)域，單擊“用戶管理”。在需導(dǎo)出keytab文件用戶所在的行，選擇“更多>下載認(rèn)證憑據(jù)”下載認(rèn)證文件，待文件自動生成后指定保存位置，并妥善保管該文件。選擇“集群>>待操作的集群名稱>概覽>>更多>>>下載客戶端”，界面顯示“下載集群客戶端”對話框。對話框中選擇“僅配置文件”，平臺類型和服務(wù)端保持一致，單擊確認(rèn)后進(jìn)行本地下載。獲取下載的tar包，此即為FusionInsight集群配置文件。