Spark及其生态圈概述

字数 115阅读 86

MapReduce的局限性:

1)代码繁琐;

2)只能够支持map和reduce方法;

3)执行效率低下;

4)不适合迭代多次、交互式、流式的处理;

框架多样化:

1)批处理(离线):MapReduce、Hive、Pig

2)流式处理(实时): Storm、JStorm

3)交互式计算:Impala

学习、运维成本无形中都提高了很多

===> Spark

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

BDAS:Berkeley Data Analytics Stack

推荐阅读更多精彩内容