五月婷婷丁香性爱|j久久一级免费片|久久美女福利视频|中文观看在线观看|加勒比四区三区二|亚洲裸女视频网站|超碰97AV在线69网站免费观看|有码在线免费视频|久久青青日本视频|亚洲国产AAAA

MapReduce服務(wù) （MRS）提供租戶完全可控的企業(yè)級(jí) 大數(shù)據(jù) 集群云服務(wù)，輕松運(yùn)行Hadoop、Spark、HBase、Kafka、Storm等大數(shù)據(jù)組件，用戶無需關(guān)注硬件的購買和維護(hù)。MRS服務(wù)擁有強(qiáng)大的Hadoop內(nèi)核團(tuán)隊(duì)，基于華為FusionInsight大數(shù)據(jù)企業(yè)級(jí)平臺(tái)構(gòu)筑，歷經(jīng)行業(yè)數(shù)萬節(jié)點(diǎn)部署量的考驗(yàn)，提供多級(jí)用戶SLA保障。與自建Hadoop集群相比，MRS還具有以下優(yōu)勢(shì)：

1.MRS支持一鍵式創(chuàng)建、刪除、擴(kuò)縮容集群，并通過 彈性公網(wǎng)IP 便攜訪問MRS集群管理系統(tǒng)，讓大 數(shù)據(jù)集 群更加易于使用。

• 用戶自建大數(shù)據(jù)集群面臨成本高、周期長(zhǎng)、運(yùn)維難和不靈活等問題。針對(duì)這些問題，MRS支持一鍵式創(chuàng)建、刪除、擴(kuò)容和縮容集群的能力，用戶可以自定制集群的類型，組件范圍，各類型的節(jié)點(diǎn)數(shù)、虛擬機(jī)規(guī)格、可用區(qū)、VPC網(wǎng)絡(luò)、認(rèn)證信息，MRS將為用戶自動(dòng)創(chuàng)建一個(gè)符合配置的集群，全程無需用戶參與。同時(shí)支持用戶快速創(chuàng)建多應(yīng)用場(chǎng)景集群，比如快速創(chuàng)建Hadoop分析集群、HBase集群、Kafka集群。MRS支持部署異構(gòu)集群，在集群中存在不同規(guī)格的虛擬機(jī)，允許在CPU類型，硬盤容量，硬盤類型，內(nèi)存大小靈活組合。

• MRS提供了基于彈性 公網(wǎng)IP 來便捷訪問組件WebUI的安全通道，并且比用戶自己綁定彈性公網(wǎng)IP更便捷，只需界面鼠標(biāo)操作，即可簡(jiǎn)化原先用戶需要自己登錄 虛擬私有云 添加安全組規(guī)則，獲取公網(wǎng)IP等步驟，減少了用戶操作步驟。

• MRS提供了自定義引導(dǎo)操作，用戶可以以此為入口靈活配置自己的集群，通過引導(dǎo)操作用戶可以 自動(dòng)化 地完成安裝MRS還沒支持的第三方軟件，修改集群運(yùn)行環(huán)境等自定義操作。

• MRS支持WrapperFS特性，提供OBS的翻譯能力，兼容HDFS到OBS的平滑 遷移 ，解決客戶將HDFS中的 數(shù)據(jù)遷移 到OBS后，即可實(shí)現(xiàn)客戶端無需修改自己的業(yè)務(wù)代碼邏輯的情況下，訪問存儲(chǔ)到OBS的數(shù)據(jù)。

2.MRS支持自動(dòng) 彈性伸縮 ，相對(duì)自建Hadoop集群的使用成本更低。

MRS可以按業(yè)務(wù)峰谷，自動(dòng)彈性伸縮，在業(yè)務(wù)繁忙時(shí)申請(qǐng)額外資源，業(yè)務(wù)不繁忙時(shí)釋放閑置資源，讓用戶按需使用，幫助用戶節(jié)省大數(shù)據(jù)平臺(tái)閑時(shí)資源，盡可能的幫助用戶降低使用成本，聚焦核心業(yè)務(wù)。

在大數(shù)據(jù)應(yīng)用，尤其是周期性的數(shù)據(jù)分析處理場(chǎng)景中，需要根據(jù)業(yè)務(wù)數(shù)據(jù)的周期變化，動(dòng)態(tài)調(diào)整集群計(jì)算資源以滿足業(yè)務(wù)需要。MRS的彈性伸縮規(guī)則功能支持根據(jù)集群負(fù)載對(duì)集群進(jìn)行彈性伸縮。此外，如果數(shù)據(jù)量為周期有規(guī)律的變化，并且希望在數(shù)據(jù)量變化前提前完成集群的擴(kuò)縮容，可以使用MRS的資源計(jì)劃特性。MRS服務(wù)支持規(guī)則和時(shí)間計(jì)劃兩種彈性伸縮的策略：

• 彈性伸縮規(guī)則：根據(jù)集群實(shí)時(shí)負(fù)載對(duì)Task節(jié)點(diǎn)數(shù)量進(jìn)行調(diào)整，數(shù)據(jù)量變化后觸發(fā)擴(kuò)縮容，有一定的延后性。

• 資源計(jì)劃：若數(shù)據(jù)量變化存在周期性規(guī)律，則可通過資源計(jì)劃在數(shù)據(jù)量變化前提前完成集群的擴(kuò)縮容，避免出現(xiàn)增加或減少資源的延后。

彈性伸縮規(guī)則與資源計(jì)劃均可觸發(fā)彈性伸縮，兩者即可同時(shí)配置也可單獨(dú)配置。資源計(jì)劃與基于負(fù)載的彈性伸縮規(guī)則疊加使用可以使得集群節(jié)點(diǎn)的彈性更好，足以應(yīng)對(duì)偶爾超出預(yù)期的數(shù)據(jù)峰值出現(xiàn)。

3.MRS支持存算分離，大幅提升大數(shù)據(jù)集群資源利用率。

針對(duì)傳統(tǒng)存算一體大數(shù)據(jù)架構(gòu)中擴(kuò)容困難、資源利用率低等問題，MRS采用計(jì)算存儲(chǔ)分離架構(gòu)，存儲(chǔ)基于公有云 對(duì)象存儲(chǔ) 實(shí)現(xiàn)11個(gè)9的高可靠，無限容量，支撐企業(yè)數(shù)據(jù)量持續(xù)增長(zhǎng)；計(jì)算資源支持0~N彈性擴(kuò)縮，百節(jié)點(diǎn)快速發(fā)放。存算分離后，計(jì)算節(jié)點(diǎn)可實(shí)現(xiàn)真正的極致彈性伸縮；數(shù)據(jù)存儲(chǔ)部分基于OBS的跨AZ等能力實(shí)現(xiàn)更高可靠性，無需擔(dān)心地震、挖斷光纖等突發(fā)事件。存儲(chǔ)和計(jì)算資源可以靈活配置，根據(jù)業(yè)務(wù)需要各自獨(dú)立進(jìn)行彈性擴(kuò)展，可使資源匹配更精準(zhǔn)、更合理，讓大數(shù)據(jù)集群資源利用率大幅提升，綜合分析成本降低50%。

同時(shí)通過高性能的計(jì)算存儲(chǔ)分離架構(gòu)，打破存算一體架構(gòu)并行計(jì)算的限制，最大化發(fā)揮對(duì)象存儲(chǔ)的高帶寬、高并發(fā)的特點(diǎn)，對(duì)數(shù)據(jù)訪問效率和并行計(jì)算深度優(yōu)化（元數(shù)據(jù)操作、寫入算法優(yōu)化等），實(shí)現(xiàn)性能提升。

4.MRS支持自研CarbonData和自研超級(jí)調(diào)度器Superior Scheduler，性能更優(yōu)。

• MRS支持自研的CarbonData存儲(chǔ)技術(shù)。CarbonData是一種高性能大數(shù)據(jù)存儲(chǔ)方案，以一份數(shù)據(jù)同時(shí)支持多種應(yīng)用場(chǎng)景，并通過多級(jí)索引、字典編碼、預(yù)聚合、動(dòng)態(tài)Partition、準(zhǔn)實(shí)時(shí)數(shù)據(jù)查詢等特性提升了IO掃描和計(jì)算性能，實(shí)現(xiàn)萬億數(shù)據(jù)分析秒級(jí)響應(yīng)。

• MRS支持自研超級(jí)調(diào)度器Superior Scheduler，突破單集群規(guī)模瓶頸，單集群調(diào)度能力超10000節(jié)點(diǎn)。Superior Scheduler是一個(gè)專門為Hadoop YARN分布式資源管理系統(tǒng)設(shè)計(jì)的調(diào)度引擎，是針對(duì)企業(yè)客戶融合資源池，多租戶的業(yè)務(wù)訴求而設(shè)計(jì)的高性能企業(yè)級(jí)調(diào)度器。Superior Scheduler可實(shí)現(xiàn)開源調(diào)度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外，相較于開源調(diào)度器，Superior Scheduler在企業(yè)級(jí)多租戶調(diào)度策略、租戶內(nèi)多用戶資源隔離和共享、調(diào)度性能、系統(tǒng)資源利用率和支持大集群擴(kuò)展性方面都做了針對(duì)性的增強(qiáng)，讓Superior Scheduler直接替代開源調(diào)度器。

5.MRS基于鯤鵬處理器進(jìn)行軟硬件垂直優(yōu)化，充分釋放硬件算力，實(shí)現(xiàn)高性價(jià)比。

MRS支持華為自研鯤鵬服務(wù)器，充分利用鯤鵬多核高并發(fā)能力，提供芯片級(jí)的全棧自主優(yōu)化能力，使用華為自研的操作系統(tǒng)EulerOS、華為JDK及數(shù)據(jù)加速層，充分釋放硬件算力，為大數(shù)據(jù)計(jì)算提供高算力輸出。在性能相當(dāng)情況下，端到端的大數(shù)據(jù)解決方案成本下降30%。

6.MRS支持多種隔離模式及企業(yè)級(jí)的大數(shù)據(jù)多租戶權(quán)限管理能力，安全性更高。

• MRS服務(wù)支持資源專屬區(qū)內(nèi)部署，專屬區(qū)內(nèi)物理資源隔離，用戶可以在專屬區(qū)內(nèi)靈活地組合計(jì)算存儲(chǔ)資源，包括專屬計(jì)算資源+共享存儲(chǔ)資源、共享計(jì)算資源+專屬存儲(chǔ)資源、專屬計(jì)算資源+專屬存儲(chǔ)資源。MRS集群內(nèi)支持邏輯多租，通過權(quán)限隔離，對(duì)集群的計(jì)算、存儲(chǔ)、表格等資源按租戶劃分。

• MRS支持Kerberos安全認(rèn)證，實(shí)現(xiàn)了基于角色的安全控制及完善的審計(jì)功能。

• MRS支持對(duì)接華為云 云審計(jì) 服務(wù)（ CTS ），為用戶提供MRS資源操作請(qǐng)求及請(qǐng)求結(jié)果的操作記錄，供用戶查詢、審計(jì)和回溯使用。支持所有集群操作審計(jì)，所有用戶行為可溯源。

• MRS支持與 主機(jī)安全 服務(wù)對(duì)接，針對(duì)主機(jī)安全服務(wù)，做過兼容性測(cè)試，保證功能和性能不受影響的情況下，增強(qiáng)服務(wù)的安全能力。

• MRS支持基于WebUI的統(tǒng)一的用戶登錄能力，MRS Manager自帶用戶認(rèn)證環(huán)節(jié)，用戶只有通過MRS Manager認(rèn)證才能正常訪問集群。

• MRS支持?jǐn)?shù)據(jù)存儲(chǔ)加密，所有用戶賬號(hào)密碼加密存儲(chǔ)，數(shù)據(jù)通道加密傳輸，服務(wù)模塊跨信任區(qū)的數(shù)據(jù)訪問支持雙向證書認(rèn)證等能力。

• MRS大數(shù)據(jù)集群提供了完整的企業(yè)級(jí)大數(shù)據(jù)多租戶解決方案。多租戶是MRS大數(shù)據(jù)集群中的多個(gè)資源集合（每個(gè)資源集合是一個(gè)租戶），具有分配和調(diào)度資源（資源包括計(jì)算資源和存儲(chǔ)資源）的能力。多租戶將大數(shù)據(jù)集群的資源隔離成一個(gè)個(gè)資源集合，彼此互不干擾，用戶通過“租用”需要的資源集合，來運(yùn)行應(yīng)用和作業(yè)，并存放數(shù)據(jù)。在大數(shù)據(jù)集群上可以存在多個(gè)資源集合來支持多個(gè)用戶的不同需求。

• MRS支持細(xì)粒度權(quán)限管理，結(jié)合華為云 IAM 服務(wù)提供的一種細(xì)粒度授權(quán)的能力，可以精確到具體服務(wù)的操作、資源以及請(qǐng)求條件等。基于策略的授權(quán)是一種更加靈活的授權(quán)方式，能夠滿足企業(yè)對(duì)權(quán)限最小化的安全管控要求。例如：針對(duì)MRS服務(wù)，管理員能夠控制IAM用戶僅能對(duì)集群進(jìn)行指定的管理操作。如不允許某用戶組刪除集群，僅允許操作MRS集群基本操作，如創(chuàng)建集群、查詢集群列表等。同時(shí)MRS支持多租戶對(duì)OBS存儲(chǔ)的細(xì)粒度權(quán)限管理，根據(jù)多種用戶角色來區(qū)分訪問OBS桶及其內(nèi)部的對(duì)象的權(quán)限，實(shí)現(xiàn)MRS用戶對(duì)OBS桶下的目錄權(quán)限控制。

• MRS支持企業(yè)項(xiàng)目管理。企業(yè)項(xiàng)目是一種云資源管理方式，企業(yè)管理（Enterprise Management）提供面向企業(yè)客戶的云上資源管理、人員管理、權(quán)限管理、財(cái)務(wù)管理等綜合管理服務(wù)。區(qū)別于管理控制臺(tái)獨(dú)立操控、配置云產(chǎn)品的方式，企業(yè)管理控制臺(tái)以面向企業(yè)資源管理為出發(fā)點(diǎn)，幫助企業(yè)以公司、部門、項(xiàng)目等分級(jí)管理方式實(shí)現(xiàn)企業(yè)云上的人員、資源、權(quán)限、財(cái)務(wù)的管理。MRS支持已開通企業(yè)項(xiàng)目服務(wù)的用戶在創(chuàng)建集群時(shí)為集群配置對(duì)應(yīng)的項(xiàng)目，然后使用企業(yè)項(xiàng)目管理對(duì)MRS上的的資源進(jìn)行分組管理。此特性適用于客戶針對(duì)多個(gè)資源進(jìn)行分組管理，并對(duì)相應(yīng)的企業(yè)項(xiàng)目進(jìn)行諸如權(quán)限控制、分項(xiàng)目費(fèi)用查看等操作的場(chǎng)景。

7.MRS管理節(jié)點(diǎn)均實(shí)現(xiàn)HA，支持完備的可靠性機(jī)制，讓系統(tǒng)更加可靠。

MRS在基于Apache Hadoop開源軟件的基礎(chǔ)上，在主要業(yè)務(wù)部件的可靠性方面進(jìn)行了優(yōu)化和提升。

• 管理節(jié)點(diǎn)均實(shí)現(xiàn)HA

Hadoop開源版本的數(shù)據(jù)、計(jì)算節(jié)點(diǎn)已經(jīng)是按照分布式系統(tǒng)進(jìn)行設(shè)計(jì)的，單節(jié)點(diǎn)故障不影響系統(tǒng)整體運(yùn)行；而以集中模式運(yùn)作的管理節(jié)點(diǎn)可能出現(xiàn)的單點(diǎn)故障，就成為整個(gè)系統(tǒng)可靠性的短板。

MRS對(duì)所有業(yè)務(wù)組件的管理節(jié)點(diǎn)都提供了類似的雙機(jī)的機(jī)制，包括MRS Manager、Presto、HDFS NameNode、Hive Server、HBase HMaster、YARN Resources Manager、Kerberos Server、Ldap Server等，全部采用主備或負(fù)荷分擔(dān)配置，有效避免了單點(diǎn)故障場(chǎng)景對(duì)系統(tǒng)可靠性的影響。

• 完備的可靠性機(jī)制

通過可靠性分析方法，梳理軟件、硬件異常場(chǎng)景下的處理措施，提升系統(tǒng)的可靠性。

保障意外掉電時(shí)的數(shù)據(jù)可靠性，不論是單節(jié)點(diǎn)意外掉電，還是整個(gè)集群意外斷電，恢復(fù)供電后系統(tǒng)能夠正常恢復(fù)業(yè)務(wù)，除非硬盤介質(zhì)損壞，否則關(guān)鍵數(shù)據(jù)不會(huì)丟失。

硬盤亞健康檢測(cè)和故障處理，對(duì)業(yè)務(wù)不造成實(shí)際影響。

自動(dòng)處理文件系統(tǒng)的故障，自動(dòng)恢復(fù)受影響的業(yè)務(wù)。

自動(dòng)處理進(jìn)程和節(jié)點(diǎn)的故障，自動(dòng)恢復(fù)受影響的業(yè)務(wù)。

自動(dòng)處理網(wǎng)絡(luò)故障，自動(dòng)恢復(fù)受影響的業(yè)務(wù)。

8.MRS提供統(tǒng)一的可視化大數(shù)據(jù)集群管理界面，讓運(yùn)維人員更加輕松。

• MRS提供統(tǒng)一的可視化大數(shù)據(jù)集群管理界面，包括服務(wù)啟停、配置修改、健康檢查等能力，并提供可視化、便捷的集群管理監(jiān)控告警功能；支持一鍵式系統(tǒng)運(yùn)行健康度巡檢和審計(jì)，保障系統(tǒng)的正常運(yùn)行，降低系統(tǒng)運(yùn)維成本。

• MRS聯(lián)合 消息通知 服務(wù)( SMN )，在配置消息通知后，可以實(shí)時(shí)給用戶發(fā)送MRS集群健康狀態(tài)，用戶可以通過手機(jī)短信或郵箱實(shí)時(shí)接收到MRS集群變更及組件告警信息，幫助用戶輕松運(yùn)維，實(shí)時(shí)監(jiān)控，實(shí)時(shí)發(fā)送告警。

• MRS支持滾動(dòng)補(bǔ)丁升級(jí)，可視化補(bǔ)丁發(fā)布信息，一鍵式補(bǔ)丁安裝，無需人工干預(yù)，不停業(yè)務(wù)，保障用戶集群長(zhǎng)期穩(wěn)定。

• MRS服務(wù)支持運(yùn)維授權(quán)的功能，用戶在使用MRS集群過程中，發(fā)生問題可以在MRS頁面發(fā)起運(yùn)維授權(quán)，由運(yùn)維人員幫助客戶快速定位問題，用戶可以隨時(shí)收回該授權(quán)。同時(shí)用戶也可以在MRS頁面發(fā)起日志共享，選擇日志范圍共享給運(yùn)維人員，以便運(yùn)維人員在不接觸集群的情況下幫助定位問題。

• MRS支持將創(chuàng)建集群失敗的日志轉(zhuǎn)儲(chǔ)到OBS，便于運(yùn)維人員獲取日志進(jìn)行分析。

9.MRS具有開放的生態(tài)，支持無縫對(duì)接周邊服務(wù)，快速構(gòu)建統(tǒng)一大數(shù)據(jù)平臺(tái)。

• 以全棧大數(shù)據(jù)MRS服務(wù)為基礎(chǔ)，企業(yè)可以一鍵式構(gòu)筑數(shù)據(jù)接入、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析和價(jià)值挖掘的統(tǒng)一大數(shù)據(jù)平臺(tái)，并且與智能數(shù)據(jù)運(yùn)營(yíng)平臺(tái)DAYU及 數(shù)據(jù)可視化 等服務(wù)對(duì)接，為客戶輕松解決數(shù)據(jù)通道上云、大數(shù)據(jù)作業(yè)開發(fā)調(diào)度和數(shù)據(jù)展現(xiàn)的困難，使客戶從復(fù)雜的大數(shù)據(jù)平臺(tái)構(gòu)建和專業(yè)大數(shù)據(jù)調(diào)優(yōu)和維護(hù)中解脫出來，更加專注行業(yè)應(yīng)用，使客戶完成一份數(shù)據(jù)多業(yè)務(wù)場(chǎng)景使用的訴求。DAYU是數(shù)據(jù)全生命周期一站式開發(fā)運(yùn)營(yíng)平臺(tái)，提供數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、 數(shù)據(jù)治理 、數(shù)據(jù)服務(wù)、數(shù)據(jù)可視化等功能。MRS數(shù)據(jù)支持連接DAYU平臺(tái)，并基于可視化的圖形開發(fā)界面、豐富的數(shù)據(jù)開發(fā)類型（腳本開發(fā)和作業(yè)開發(fā)）、全托管的作業(yè)調(diào)度和運(yùn)維監(jiān)控能力，內(nèi)置行業(yè)數(shù)據(jù)處理pipeline，一鍵式開發(fā)，全流程可視化，支持多人在線協(xié)同開發(fā)，極大地降低了用戶使用大數(shù)據(jù)的門檻，幫助用戶快速構(gòu)建大數(shù)據(jù)處理中心，對(duì)數(shù)據(jù)進(jìn)行治理及開發(fā)調(diào)度，快速實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)。

• MRS服務(wù)100%兼容開源大數(shù)據(jù)生態(tài)，結(jié)合周邊豐富的數(shù)據(jù)及應(yīng)用遷移工具，能夠幫助客戶快速完成自建平臺(tái)的平滑遷移，整個(gè)遷移過程可做到“代碼0修改，業(yè)務(wù)0中斷”。