240 发简信
IP属地:广东
  • Resize,w 360,h 240
    KS、AUC、GINI计算逻辑

    评分区间,好坏用户分布 [注:bad用户是正例] Gini = (AUC-0.5)/0.5 = 2*AUC-1 由上表得KS曲线 由上表得ROC曲线

  • Spark批量从HBase读出记录

    使用newAPIHadoopRDD方法,将hbase记录读出到RDD 调用Result方法访问元素

  • 总体方差的无偏估计

    样本平均值average: 样本方差variance: 总体均值(期望)mean: 总体方差variance: 样本方差 中心极限定理,足够样本...

  • Resize,w 360,h 240
    逻辑回归Loss function推导

    逻辑回归 预测概率 if : if : 最大似然 求导

  • 巧用广播,Spark向Kafka写入数据

    Kafka生产者类不能实例化,需要包装成一个可实例化的类 注册为广播对象

  • Spark批量保存记录到HBase

    Spark PairRDDFunctions提供了两个API函数saveAsHadoopDataset和saveAsNewAPIHadoopDa...

  • HBase CRUD的scala代码示例

    POM配置 代码示例 引入包 初始准备 删除表 创建表 插入(更新)记录 删除记录 查询某条记录 扫描记录 删除列

  • 隐马尔科夫模型

    隐含马尔科夫模型通信的本质就是编解码和传输的过程观测信号:发送源的信息:已知的情况下,求得令条件概率达到最大值得那个信息串,即(解码) 通过贝叶...

个人介绍
Miner.work :data { making money }