大數(shù)據(jù)是人類進(jìn)入互聯(lián)網(wǎng)時(shí)代以來(lái)面臨的一個(gè)巨大問(wèn)題：社會(huì)生產(chǎn)生活產(chǎn)生的數(shù)據(jù)量越來(lái)越大，數(shù)據(jù)種類越來(lái)越多，數(shù)據(jù)產(chǎn)生的速度越來(lái)越快。傳統(tǒng)的數(shù)據(jù)處理技術(shù)，比如說(shuō)單機(jī)存儲(chǔ)，關(guān)系數(shù)據(jù)庫(kù)已經(jīng)無(wú)法解決這些新的大數(shù)據(jù)問(wèn)題。為解決以上大數(shù)據(jù)處理問(wèn)題，Apache基金會(huì)推出了Hadoop大數(shù)據(jù)處理的開源解決方案。Hadoop是一個(gè)開源分布式計(jì)算平臺(tái)，可以充分利用集群的計(jì)算和存儲(chǔ)能力，完成海量數(shù)據(jù)的處理。企業(yè)自行部署Hadoop系統(tǒng)有成本高，周期長(zhǎng)，難運(yùn)維和不靈活等問(wèn)題。

針對(duì)上述問(wèn)題，華為云提供了大數(shù)據(jù)MapReduce服務(wù)（MRS），MRS是一個(gè)在華為云上部署和管理Hadoop系統(tǒng)的服務(wù)，一鍵即可部署Hadoop集群。MRS提供租戶完全可控的一站式企業(yè)級(jí)大數(shù)據(jù)集群云服務(wù)，完全兼容開源接口，結(jié)合華為云計(jì)算、存儲(chǔ)優(yōu)勢(shì)及大數(shù)據(jù)行業(yè)經(jīng)驗(yàn)，為客戶提供高性能、低成本、靈活易用的全棧大數(shù)據(jù)平臺(tái)，輕松運(yùn)行Hadoop、Spark、HBase、Kafka、Storm等大數(shù)據(jù)組件，并具備在后續(xù)根據(jù)業(yè)務(wù)需要進(jìn)行定制開發(fā)的能力，幫助企業(yè)快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)，并通過(guò)對(duì)海量信息數(shù)據(jù)實(shí)時(shí)與非實(shí)時(shí)的分析挖掘，發(fā)現(xiàn)全新價(jià)值點(diǎn)和企業(yè)商機(jī)。

MRS支持在大數(shù)據(jù)存儲(chǔ)容量大、計(jì)算資源需要彈性擴(kuò)展的場(chǎng)景下，用戶將數(shù)據(jù)存儲(chǔ)在OBS服務(wù)中，使用MRS集群僅作數(shù)據(jù)計(jì)算處理的存算分離模式。

大數(shù)據(jù)存算分離場(chǎng)景，請(qǐng)務(wù)必使用OBS并行文件系統(tǒng)，使用普通對(duì)象桶會(huì)對(duì)集群性能產(chǎn)生較大影響。

1、配置存算分離集群。

客戶端安裝在集群內(nèi)節(jié)點(diǎn)：

MRS支持用戶將數(shù)據(jù)存儲(chǔ)在OBS服務(wù)中，使用MRS集群僅作數(shù)據(jù)計(jì)算處理的存算模式。MRS可通過(guò)IAM服務(wù)的“委托”機(jī)制，或直接在集群中配置AK/SK兩種方式訪問(wèn)OBS。

配置存算分離集群（委托方式）：通過(guò)為MRS集群綁定ECS委托方式訪問(wèn)OBS，避免了AK/SK直接暴露在配置文件中的風(fēng)險(xiǎn)。

配置存算分離集群（AK/SK方式）：在MRS集群中配置AK/SK，AK/SK會(huì)明文暴露在配置文件中，請(qǐng)謹(jǐn)慎使用。

客戶端安裝在集群外節(jié)點(diǎn)：

集群外客戶端訪問(wèn)OBS：對(duì)于集群外節(jié)點(diǎn)的客戶端，如果想要訪問(wèn)OBS，可以通過(guò)Guardian組件獲取AK/SK實(shí)現(xiàn)。Guardian組件是MRS的自研組件，可以幫助集群外的客戶端訪問(wèn)OBS的臨時(shí)AK/SK。

2、使用MRS存算分離集群。

當(dāng)前支持訪問(wèn)OBS的組件為Flink、Flume、Hadoop、Hive、Spark、Sqoop、Hudi。