发简信
IP属地：四川
-
用Hexo-nexT-GitHub搭建个人博客第一章 安装Git工具 下载GitHub for Windows,直接点击安装，安装完成后，可以看到“Git Shell”和“GitHub”，"...
-
Spark宽依赖与窄依赖
Spark中RDD的高效与DAG（有向无环图）有很大的关系，在DAG调度中需要对计算的过程划分Stage，划分的依据就是RDD之间的依赖关系。R...
-
ODS数据加载算法2.相关变量说明 3.全量覆盖加载算法 全量覆盖加载是所有加载中最简单的一种数据加载方式。它是指直接将目标表中数据删除并将源系统提供的数据文件直...
-
2019年01月总结
说好的，每月一个总结，第一月就没有按时完成，此刻正在火车上，在拥拥挤挤的人群中反思这一个月的所做所为，期望我在下一个月中能做得更好。 完成跑步2...
-
Spark实例-操作Hive数据
Spark操作Hive数据库，实现数据表创建，数据加载，以及数据查询。实例代码如下：
-
2019年要完成的事情
2019年要完成的事情： 学习数据分析入门 重新学习高等数学、线性代数、概率与统计 完成跑步1000公里 瘦身到65KG 学会弹简单的吉它 去华...
-
曾国藩家书读书笔记<1>
胡言乱语，看看就好，不必介怀开始看曾国藩家书，很久没有读文言文了，读起来还是有点吃力，很多字不认识，不认识.......原计划一个月读完上下两本...
-
Spark实例-操作KafKa数据
Spark操作kafka数据，有两种连接方式，直连Direct和Receiver方式 1.Direct 方式 2.Receiver
-
Spark实例-通过HDFS文件实时统计
通过Spark Streaming，实时监控HDFS目录，发现有文件时，实时进行计算。