发简信
IP属地：安徽
-
网络编程报错
1、python 字典json字符串中文乱码怎么办？ #这是因为中文以 unicode 编码了，而默认是以ASCII解析的，中文不在ASCII编...
-
企业注册地址相似度计算一、需求 对登记纳税人的注册地址进行相似度计算，发现单个纳税人可能存在的一址多注册。 二、数据 数据来源：登记纳税人数据 数据量：百万级 部分数...
-
Pyspark-简介与环境搭建一、概述 1.1 spark概述 Apache Spark是一个流行的实时处理框架，它可以通过内存计算的方式来实时的进行数据分析。它起源于Apa...
-
Python获取命令行参数方法
我们知道，把通过命令行执行python脚本很简单，直接执行python+文件路径+文件名就可以了 如果想在命令行执行py脚本的时候对python...
-
CDH大数据平台相关服务监控之前单位的CDH集群部分组件老是会挂掉，每天人为的检查和重启服务，太麻烦，故写个相关服务监控的脚本发送消息和自动重启服务。 一、环境准备 Pyt...
-
Spark执行错误-->数据量大时导致yarn崩溃
一、问题现象说明： 1， IQL在执行数据量超过1亿条数据的时候，执行不出来结果 2， 在执行超过四秒以后Yarn的node节点开始出问题 3，...
-
Spark执行错误--> Task分配了但是一直不执行
一、问题现象 1，同样一个执行语句在Spark-shell中就可以执行，但是在Spark-submit中执行时等待了很长时间但是Task一直没有...
-
CDH大数据服务器资源要求CDH集群，所需要和后续需要的一些配置。
-
kafka可视化客户端工具（Kafka Tool）的使用一、下载 下载地址：http://www.kafkatool.com/download.html 我们的kafka版本是2.11（kafka_2...