Hadoop简介

Hadoop产生的意义

随着信息社会的进步,信息数据的激增,海量数据的存储和分析成为难题,即使硬盘的存储容量不断提升,但由于硬盘数据读写速度的限制,导致读取硬盘数据需要大量的时间,效率低下。人们想,可以将数据存储在多个硬盘,并行读写数据来提高效率。Hadoop为我们提供了一个可靠的共享存储和分析系统,提高数据的存储和分析效率。HDFS实现数据的存储,MapReduce实现数据的分析和处理。

Hadoop的特点
111.png
关系型数据库和MapReduce的比较
传统的关系型数据库 MapReduce
数据大小 GB PB
数据存储 交互式和批处理 批处理
更新 多次读/写 一次写入,多次读取
结构 静态模式 动态模式
完整性
横向扩展 非线性的 线性的
数据结构化程度 结构化数据 结构化、半结构化、非结构化数据
网格计算和MapReduce比较
  • 高性能计算和网格计算将作业分散到集群的各台机器上,这些机器访问存储区域网格组成的共享文件系统。由于数据量庞大,网络带宽成了瓶颈,导致效率会低。
  • MapReduce尽量在计算节点上存储数据,实现数据的本地快速访问。数据本地化是MapReduce的核心特征。

推荐阅读更多精彩内容

  • Hadoop 介绍 Hadoop是Apache组织的一个分布式计算框架(java语言),其最核心的设计就是:HDF...
    SkyHive阅读 1,052评论 0 0
  • Hadoop简介 *Hadoop 擅长处理一次写入,多次读出的数据 hadoop两大核心组件是 HDFS 和 ma...
    卫渐行阅读 51评论 0 0
  • 1. Hadoop简介 由于几乎所有的书中都会提到Hadoop的发展史, 这里就不说Hadoop的历史时间线了. ...
    Andrew_liu阅读 1,611评论 1 13
  • (硕士读了一年多,除了论文就是论文,甚是枯燥,过些日子打算去找工作,所以借助此平台给自己一个复习的过程并把自己复习...
    黑箭阅读 67评论 0 3
  • 愿你不畏将来 不念过去愿你能辨是非 深明大义 愿你心存感激 心胸宽广愿你不再熬夜 ...
    丨丶Mine阅读 53评论 0 1