IP属地：上海
-
李航统计学习方法（六）----逻辑斯谛回归与最大熵模型本文希望通过《统计学习方法》 第六章的学习，由表及里地系统学习最大熵模型。文中使用Python实现了逻辑斯谛回归模型的3种梯度下降最优化算法，并...
-
hadoop（十九）—Sqoop数据清洗
上节课学习了Hadoop集群测试，这节课我们一起学习一下Sqoop，Sqoop是专门用来迁移数据的，它可以把数据库中的数据迁移到HDFS文件系统...
-
Spark（二十七）算子调优之reduceByKey本地聚合介绍一、背景 1、reduceByKey，相较于普通的shuffle操作（比如groupByKey），它的一个特点，就是说，会进行map端的本地聚合...
-
爬虫系列(三)（GET请求和POST请求）urllib2默认只支持HTTP/HTTPS的GET和POST方法 urllib 和 urllib2 都是接受URL请求的相关模块，但是提供了不...
-
Spark（八） scala中的Option、Some、None
一、避免null的使用 大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”，在Java，它是null。在Java 里，null ...
-
Spark(二十二）Shuffle调优之调节Map端内存缓冲与Reduce端内存占比一、背景 Map端内存缓冲，Reduce端内存占比；很多资料、网上视频，都会说，这两个参数，是调节Shuffle性能的不二选择，很有效果的样子，...
-
Spark（十六） Spark性能调优之Fastutil
一、背景 fastutil是扩展了Java标准集合框架（Map、List、Set；HashMap、ArrayList、HashSet）的类库，提...
-
Hadoop(二十六)HIVE的高级应用之用户行为归类一.HIVE的复合数据类型 collect_set 对字段进行表排序，对字段进行高级过滤 collect_list 数据可以重复 arr...
-
Spark（四十）数据倾斜解决方案之将reduce join转换为map join一、背景 普通的join，那么肯定是要走shuffle；那么，所以既然是走shuffle，那么普通的join，就肯定是走的是reduce joi...