发简信
IP属地：四川
-
Python编译遇到 错误: 只允许在C99模式下使用“for”循环初始化声明1、错误描述 2、错误分析 这代码需要通过 C的编译器编译，而C的编译器不支持 C99这种规范模式 3、解决思路 3.1 网上的大多数做法 修改...
-
hive自助分析工具Statistics,空值统计、最大值、最小值统计
1、基本思路 第一步：借助hive工具，先跑分析数据（可以手动，也可以配置为自动），实则就是内部的一些统计逻辑，MR任务。 第二步：查看这些分析...
-
DolpinScheduler实现oracle抽数到hive
1、全量抽取模板 2、按条件增量抽取模板 注意 1、当 -m 参数大于1是后要与 split-by 配合使用，split-by 字段尽量选择in...
-
通过sqoop实现oracle抽数到hive报错及解决
1、问题描述 1.2 脚本参考 2、排查思路 一开始以为是真正意义上的 OOM，尝试着调整参数，及加大 -m map数量，但最终都无济于事。后来...
-
Flink之HiveCatalog 读取hive表数据功能描述 通过Flinktable （flinksql）读取hive表数据win本地开发测试 组件描述 1、hadoop 3.1.0 （ambr...
-
python 反爬技术—requests-cache
作用和使用场景 1.在爬取过程中，它可以根据浏览器的缓存机制来选择缓存内容。从请求行为上看与浏览器更加相似，起到反反爬的效果。 2.另外，还可以...
-
rsync 同步拷贝文件
rsync 全称是Remote synchronization 的缩写，是开源、高速、可实现本地及远程，全量及增量的数据复制（拷贝）工具 rsy...
-
flink内存特性及报错分析1、Java内存类型 Heap（堆）经过JVM虚拟化的内存，实际存储地址可能随GC发成变化，但上层应用无感知 Off-Heap（堆外）未经过JV...