欢迎光临
我们一直在努力

hadoop任务提示error: GC overhead limit exceeded

项目中提交任务至Hadoop中,在Reduce阶段以及Applicationmaster阶段均有提示:

java.lang.OutOfMemoryError: GC overhead limit exceeded

解决办法

增加Hadoop集群资源分配,调整reduce以及Applicationmaster的内存。

reduce总数的调整取决于数据大小和可用资源。如果数据集很大,那么可能需要增加reduce总数以加快作业的处理速度。如果数据集较小,则可以减少reduce总数以节省资源。

reduce内存大小分配计算公式(仅为最低内存):

最少分配reduce内存 = 文件大小 / reduce总数 * 3

reduce.memory = output_size / num_reduces * 3

appmaster内存 = map + reduce任务总内存

参考文档:

https://www.cnblogs.com/liuming1992/p/5040169.html
https://blog.csdn.net/weixin_38822045/article/details/88894415

文章来源于互联网:hadoop任务提示error: GC overhead limit exceeded

赞(0)
未经允许不得转载:莱卡云 » hadoop任务提示error: GC overhead limit exceeded