分布式通用计算——MapReduce（重点在shuffle 阶段）-CFANZ编程社区

分布式通用计算——MapReduce（重点在shuffle 阶段）

暮晨夜雪

阅读 11

2024-12-03

1、Mapreduce 起源

在这里插入图片描述

2、适用场景

在这里插入图片描述

3、MapReduce 词频统计原理

map 阶段到reduce阶段，通过hash取模来实现reduce 。比如：有4个reduce块，通过将map<key,value>中的key转换为数值，除以4.取模进行归类。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

精彩评论（0）