大數(shù)據(jù)是人類進入互聯(lián)網(wǎng)時代以來面臨的一個巨大問題：社會生產(chǎn)生活產(chǎn)生的數(shù)據(jù)量越來越大，數(shù)據(jù)種類越來越多，數(shù)據(jù)產(chǎn)生的速度越來越快。傳統(tǒng)的數(shù)據(jù)處理技術，比如說單機存儲，關系數(shù)據(jù)庫已經(jīng)無法解決這些新的大數(shù)據(jù)問題。為解決以上大數(shù)據(jù)處理問題，Apache基金會推出了Hadoop大數(shù)據(jù)處理的開源解決方案。Hadoop是一個開源分布式計算平臺，可以充分利用集群的計算和存儲能力，完成海量數(shù)據(jù)的處理。企業(yè)自行部署Hadoop系統(tǒng)有成本高，周期長，難運維和不靈活等問題。

針對上述問題，華為云提供了大數(shù)據(jù)MapReduce服務（MRS），MRS是一個在華為云上部署和管理Hadoop系統(tǒng)的服務，一鍵即可部署Hadoop集群。MRS提供租戶完全可控的一站式企業(yè)級大數(shù)據(jù)集群云服務，完全兼容開源接口，結合華為云計算、存儲優(yōu)勢及大數(shù)據(jù)行業(yè)經(jīng)驗，為客戶提供高性能、低成本、靈活易用的全棧大數(shù)據(jù)平臺，輕松運行Hadoop、Spark、HBase、Kafka、Storm等大數(shù)據(jù)組件，并具備在后續(xù)根據(jù)業(yè)務需要進行定制開發(fā)的能力，幫助企業(yè)快速構建海量數(shù)據(jù)信息處理系統(tǒng)，并通過對海量信息數(shù)據(jù)實時與非實時的分析挖掘，發(fā)現(xiàn)全新價值點和企業(yè)商機。

MRS支持在大數(shù)據(jù)存儲容量大、計算資源需要彈性擴展的場景下，用戶將數(shù)據(jù)存儲在OBS服務中，使用MRS集群僅作數(shù)據(jù)計算處理的存算分離模式。

大數(shù)據(jù)存算分離場景，請務必使用OBS并行文件系統(tǒng)，使用普通對象桶會對集群性能產(chǎn)生較大影響。

1、配置存算分離集群。

客戶端安裝在集群內(nèi)節(jié)點：

MRS支持用戶將數(shù)據(jù)存儲在OBS服務中，使用MRS集群僅作數(shù)據(jù)計算處理的存算模式。MRS可通過IAM服務的“委托”機制，或直接在集群中配置AK/SK兩種方式訪問OBS。

配置存算分離集群（委托方式）：通過為MRS集群綁定ECS委托方式訪問OBS，避免了AK/SK直接暴露在配置文件中的風險。

配置存算分離集群（AK/SK方式）：在MRS集群中配置AK/SK，AK/SK會明文暴露在配置文件中，請謹慎使用。

客戶端安裝在集群外節(jié)點：

集群外客戶端訪問OBS：對于集群外節(jié)點的客戶端，如果想要訪問OBS，可以通過Guardian組件獲取AK/SK實現(xiàn)。Guardian組件是MRS的自研組件，可以幫助集群外的客戶端訪問OBS的臨時AK/SK。

2、使用MRS存算分離集群。

當前支持訪問OBS的組件為Flink、Flume、Hadoop、Hive、Spark、Sqoop、Hudi。