【Spark】TaskMemoryManager: Failed to allocate a page, try again

96
PowerMe
2017.08.18 10:41* 字数 81

记录一个spark应用错误:

image.png

从反馈的错误看,Driver TaskMemoryManager线程申请不到内存了。查看Driver端GC情况:

Driver GC

Driver进程FULLGC非常频繁,几乎每秒一次,已经处于拒绝服务状态。

解决方案:将Driver内存从2G调整到8G。

Spark 应用
Web note ad 1