大数据mapreduce工作流程详解通俗易懂

1、每个block会有map任务，block逻辑切分为切片，每个切片对应一个map任务，默认一个block，一个切片，一个map任务。map默认按行读取数据，组成键值对<字节偏移量，"行数据">，然后计算输出，新的键值对<key,value,partition>。

3、默认小文件数量达到了三个，就会进行归并，归并的新文件也是按分区号，key排序好了的。map任务完成后，它的输出文件会被按照http get的方式下载到reduce任务的主机。

5、reduce按照key分组，每组执行一次reduce方法，该方法迭代计算，将结果写入到hdfs，reduce是并发处理的