搜索
您的当前位置:首页正文

hadoop 配置相关参数

来源:筏尚旅游网

mapred.reduce.slowstart.completed.maps(map完成多少百分比时,开始shuffle)

当map运行慢,reduce运行很快时,如果不设置mapred.reduce.slowstart.completed.maps会使job的shuffle时间变的很长,map运行完很早就开始了reduce,导致reduce的slot一直处于被占用状态,这个值是和“运行完的map数除以总map数”做判断的,当后者大于等于设定的值时,开始reduce的shuffle。所以当map比reduce的执行时间多很多时,可以调整这个值(0.75,0.80,0.85及以上)

 

详细过程解释参考

因篇幅问题不能全部显示,请点此查看更多更全内容

Top