问题 问答题 简答题

简述MR算法执行过程中的数据流转过程。

答案

参考答案:

1、用户文件上传到HDFS,由mapreduce库切割分别存储到datanote上。

2、以行号,文本形式传入map中,经过自定义map处理产生对,构成中间结果集缓存在本地内存中。

3、reducer接到master的收集中间结果集任务后,通过远程调用读取中间结果,并将其排序,key相同的value进行合并处理化简。

4、最终结果写入到GFS文件系统中。

单项选择题
单项选择题