240 发简信
  • flume经验

    一、source 1. kafka source 常用参数: auto.offset.reset,只有当使用新的groupid时,earlies...

  • kafka-python操作

    kafka-python文档 一、consumer 1. 常用api 二、producer 三、其他 3.1 json处理

  • kafka基础

    一、常用shell命令 1. 列出所有topic 2. 查看kafka版本 3. 查看offset

  • pyspark_juypter环境

    确保安装juypter和spark.bashrc增加环境变量 使用:在指定目录cmd下执行pyspark启动juypter,进入开发环境

  • 装饰器

    一、函数传参 二、如果每个函数都需要同一个功能 三、装饰器实现 四、被装饰函数有参数情况 五、带参数的装饰器 六、类装饰器 主要通过call函数...

  • python2编码

    一、概念 python2默认ascii码,可以在文件头显式指定编码(utf-8,此时所有str的编码都是utf-8)python2底层两种编码:...

  • dataframe

    创建 val df=spark.createDataset(Seq(("aaa",1,2),("bbb",3,4))).toDF("key1",...

  • graph和session

    一、graph基本概念 tensor.graph tf.get_default_graph() with g.as_default() 二、gr...