【Spark】TaskMemoryManager: Failed to allocate a page, try again

字数 81阅读 2529

记录一个spark应用错误:

image.png

从反馈的错误看,Driver TaskMemoryManager线程申请不到内存了。查看Driver端GC情况:

Driver GC

Driver进程FULLGC非常频繁,几乎每秒一次,已经处于拒绝服务状态。

解决方案:将Driver内存从2G调整到8G。