-
你明明那么努力，为什么还是那么焦虑？海！ 你好！ 欢迎走进柠檬吧。我是车干，一名毕业于双非院校的程序员。 这次我们想聊一下社会一种常见的病 "焦虑" ,最近有时在看《曾国藩家书》，...
-
愿新年，胜旧年
改，改，改
-
Spark（四十二）数据倾斜解决方案之使用随机数以及扩容表进行join一、背景 当采用随机数和扩容表进行join解决数据倾斜的时候，就代表着，你的之前的数据倾斜的解决方案，都没法使用。 这个方案是没办法彻底解决数据...
-
Spark（四十一）数据倾斜解决方案之sample采样倾斜key进行两次join一、背景 这个方案的实现思路，跟大家解析一下：其实关键之处在于，将发生数据倾斜的key，单独拉出来，放到一个RDD中去；就用这个原本会倾斜的ke...
-
Spark（四十）数据倾斜解决方案之将reduce join转换为map join一、背景 普通的join，那么肯定是要走shuffle；那么，所以既然是走shuffle，那么普通的join，就肯定是走的是reduce joi...
-
Spark(三十九)数据倾斜解决方案之使用随机key实现双重聚合一、方案 使用随机key实现双重聚合 1、原理 2、使用场景 比较适合使用这种方式；join，咱们通常不会这样来做，后面会讲三种，针对不同的jo...
-
Spark（三十八）数据倾斜解决方案之提高shuffle操作reduce并行度一、背景 1、第一个和第二个方案，都不适合做。 2、第三个方案，提高shuffle操作的reduce并行度 将reduce task的数量，变多...
-
Spark（三十七）数据倾斜解决方案之聚合源数据
一、背景 数据倾斜的解决，跟之前讲解的性能调优，有一点异曲同工之妙。 性能调优，跟大家讲过一个道理，“重剑无锋”。性能调优，调了半天，最有效，最...
-
Spark（三十六）数据倾斜解决方案之原理以及现象分析一、背景 1、在任何大数据类的项目中，都是最棘手的性能问题，最能体现人的技术能力，最能体现RD（Research Developer，研发工程师...
