发简信
IP属地：浙江
-
spark-mongodb简单上手
Spark提供的所有计算，不管是批处理，Spark SQL，Spark Streaming还是Spark ML，它们底层都是通过RDD计算。所以...
-
Spark Structured Streaming2.3两种计算模式micro-batches Processing & Continuous Processing Structured Streaming 在A...
-
spark 源码阅读及调试环境搭建开发工具 scala 2.11.8 jdk8 intellij idea 2017(scala plugin) maven(3.3.9) 导入...
-
大数据存储引擎笔记大数据存储引擎之哈希 数据结构就是键值对 优点：检索快 缺点：不支持范围扫描 如果数据都在内存中，那就很快的，比如常用redis 作为缓存组件（...
-
spark on yarn集群搭建Hadoop yarn集群搭建 1. 修改host 主节点：192.168.3.187 L-AP-3-187从节点：192.168.3.18...
-
java 查找最长连续子序列
背景： 最近工作需要，要给银行查看报关业务持续时间最长的企业，并求出连续年均涨幅，因此需要找出连续的年份，就自己写了个方法： 1，对list排序...
-
mongo spark加载数据不全的bug fix最近开始做大数据，数据库mongodb,计算用的spark,加载数据用的mongo-spark connector官方连接器，mongo 在加载...
-
mongodb double 精度解决方案mongodb double精度问题所学到的知识 背景介绍： 由于目前本人在做一个涉及计费的一个项目，中间有统计计费，比如一个公司合同下 每个账...
-
常见设计模式
简单工厂 工厂方法 抽象工厂 单例模式 策略模式 观察者模式 责任链模式 装饰者模式 适配器模式 代理模式 门面模式 状态模式 命令模式 模板方法模式