问题
问答题 简答题
简述MR算法执行过程中的数据流转过程。
答案
参考答案:
1、用户文件上传到HDFS,由mapreduce库切割分别存储到datanote上。
2、以行号,文本形式传入map中,经过自定义map处理产生
3、reducer接到master的收集中间结果集任务后,通过远程调用读取中间结果,并将其排序,key相同的value进行合并处理化简。
4、最终结果写入到GFS文件系统中。
简述MR算法执行过程中的数据流转过程。
参考答案:
1、用户文件上传到HDFS,由mapreduce库切割分别存储到datanote上。
2、以行号,文本形式传入map中,经过自定义map处理产生
3、reducer接到master的收集中间结果集任务后,通过远程调用读取中间结果,并将其排序,key相同的value进行合并处理化简。
4、最终结果写入到GFS文件系统中。