发简信
IP属地：上海
-
go1.16新特性 内置内嵌资源文件的支持
go1.16已经入冻结阶段，这一次较重大的更新是对内嵌资源文件的支持。 内嵌资源文件 典型场景：当你需要在云应用程序中实现一个自动发送邮件的功能...
-
更适合爬虫的nosql MongoDB
为什么nosql 在一个更加普遍通用的爬虫程序中，原始数据往往是杂乱且没有规律的，将这些数据存储在关系型数据库中的成本很高，定义schema就是...
-
golang反射自定义tag
维基百科中反射的定义：在计算机科学中，反射是指计算机程序在运行时（Run time）可以访问、检测和修改它本身状态或行为的一种能力。用比喻来说，...
-
爬虫2 headless chrome
Headless Chrome 是 Chrome 浏览器的无界面形态，使用命令行的形式替代GUI，可以使用GUI模式下Chrome的功能。一般情...
-
爬虫1 collycolly colly[https://github.com/gocolly/colly]是一个个go语言实现的轻量快速的爬虫框架，提供了简单直...
-
hive外部表分区
外部表和内部表 内部表：数据由hive自身管理 存储在hive指定的hdfs目录中 删除会删除数据本身外部表（external）：数据存储在用户...
-
HDFS读流程HDFS一个分布式文件系统，是Hadoop核心的一部分。HDFS采用主从结构模型，一个HDFS集群是由一个NameNode和若干个DataNod...
-
golang实现简单的流式处理
实现一个最简单的类似spark的流式处理流程包含map和filter数据 map函数 fliter函数 所有数据+1 > 过滤出偶数 > 过滤出...
-
golang Error Wrapping
go1.13中引入err wraping机制1.13前函数返回一个error errors.New()创建一个errorStringerrorS...