華為云計(jì)算 云知識 為什么說大數(shù)據(jù)MapReduce并行計(jì)算模型,天然匹配鯤鵬多核架構(gòu)
為什么說大數(shù)據(jù)MapReduce并行計(jì)算模型,天然匹配鯤鵬多核架構(gòu)

鯤鵬多核計(jì)算的特點(diǎn),能夠提升MapReduce的IO并發(fā)度,加速大數(shù)據(jù)的計(jì)算性能。

大數(shù)據(jù)的MapReduce并行計(jì)算模型,將源數(shù)據(jù)經(jīng)過下圖的處理。

其中,Map(映射)是將大 數(shù)據(jù)集 分解若干小數(shù)據(jù)集分析,各部獨(dú)立的線程,并行分析計(jì)算。而Reduce(匯總)是將小數(shù)據(jù)集分析結(jié)果進(jìn)行整合,再將處理的結(jié)果返回給用戶。

大數(shù)據(jù)MapReduce并行計(jì)算模型