云计算和大数据是现在火热的话题,百度怎么说呢,输入搜索词后最开始跳出来的会有一部分广告,在交互方面就做的没有google好,google通过自动爬取和自动标记的方式,可以0.01秒内将几千万条记录显示出来,并且人性化的考虑大部分人的需求,那么问题来了,google是通过什么方式实现的呢。根据北邮的老师刘军老师的分析,我有了更多的认知。google通过pagerank自动标记网站的主要是干什么的,然后再存储上面采用GFS分布式存储,覆盖率高而且准确率高,BigTable结构化的数据存储更是精妙,网页虽然是非结构化的,但是存入链接的名字加上标记后的预处理完的数据已是达到用户的精准需求,当出现数据量比较大的时候,采用高等代数中矩阵的分解成小矩阵的方式分而治之,实现MapReduce,因为通过被引用的次数和引用的对象可以计算网页的权重,多次迭代分权重达到稳定值,就可以知道大多数用户的主要需求啦。当需要计算一个超大矩阵的时候,就需要有几台甚至十几台机器一起运算分解的小矩阵然后合并,那么每台计算机都要有存储和计算的功能,信息的交互也不可避免。今天就只能片面的理解这些了……
云计算大数据
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- 创建移动支付公司 Paypal、商业火箭公司 SpaceX 的伊隆·马斯克貌似又搞“幺蛾子”了,这次他提出目标是给...
- //我所经历的大数据平台发展史(三):互联网时代 • 上篇http://www.infoq.com/cn/arti...