什么是MRS
大數(shù)據(jù)是人類進入互聯(lián)網(wǎng)時代以來面臨的一個巨大問題:社會生產(chǎn)生活產(chǎn)生的數(shù)據(jù)量越來越大,數(shù)據(jù)種類越來越多,數(shù)據(jù)產(chǎn)生的速度越來越快。傳統(tǒng)的數(shù)據(jù)處理技術,比如說單機存儲,關系數(shù)據(jù)庫已經(jīng)無法解決這些新的大數(shù)據(jù)問題。為解決以上大數(shù)據(jù)處理問題,Apache基金會推出了Hadoop大數(shù)據(jù)處理的開源解決方案。Hadoop是一個開源分布式計算平臺,可以充分利用集群的計算和存儲能力,完成海量數(shù)據(jù)的處理。企業(yè)自行部署Hadoop系統(tǒng)有成本高,周期長,難運維和不靈活等問題。
針對上述問題,華為云提供了大數(shù)據(jù)MapReduce服務(MRS),MRS是一個在華為云上部署和管理Hadoop系統(tǒng)的服務,一鍵即可部署Hadoop集群。MRS提供租戶完全可控的一站式企業(yè)級大數(shù)據(jù)集群云服務,完全兼容開源接口,結合華為云計算、存儲優(yōu)勢及大數(shù)據(jù)行業(yè)經(jīng)驗,為客戶提供高性能、低成本、靈活易用的全棧大數(shù)據(jù)平臺,輕松運行Hadoop、Spark、HBase、Kafka、Storm等大數(shù)據(jù)組件,并具備在后續(xù)根據(jù)業(yè)務需要進行定制開發(fā)的能力,幫助企業(yè)快速構建海量數(shù)據(jù)信息處理系統(tǒng),并通過對海量信息數(shù)據(jù)實時與非實時的分析挖掘,發(fā)現(xiàn)全新價值點和企業(yè)商機。
MRS集群客戶端安裝與使用操作流程
安裝與使用MRS客戶端操作流程如下:
1、下載MRS客戶端
MRS支持在Manager界面下載集群或單服務的客戶端軟件包至集群節(jié)點或本地。
2、安裝MRS客戶端
MRS支持在集群內節(jié)點或集群外節(jié)點安裝客戶端。用戶在集群創(chuàng)建成功后,可自行手動安裝全量或單個組件的客戶端。
3、使用MRS客戶端
MRS集群客戶端安裝完成后,各組件可登錄到對應的客戶端命令行進行作業(yè)提交、組件管理等操作。
4、更新MRS客戶端
MRS集群提供了客戶端,可以在連接服務端、查看任務結果或管理數(shù)據(jù)的場景中使用。用戶如果在Manager修改了服務配置參數(shù)并重啟了服務,已安裝的客戶端需要重新下載并安裝,或者使用配置文件更新客戶端。
5、管理MRS客戶端
FusionInsight Manager支持統(tǒng)一管理集群的客戶端安裝信息,用戶下載并安裝客戶端后,界面可自動記錄已安裝(注冊)客戶端的信息,方便查詢管理。同時系統(tǒng)支持手動添加、修改未自動注冊的客戶端信息(如歷史版本已安裝的客戶端)。
MRS集群客戶端使用教程視頻
MapReduce服務 MRS
03:44
MapReduce服務 MRS
03:22
MapReduce服務 MRS
04:20
MapReduce服務 MRS
04:20