数据挖掘实战课程
章节1 课时2
定义
Data mining, DM
大量的数据中，通过统计学、人工智能、机器学习等方法挖掘出未知的、且有价值的信息和知识的过程。
案例：啤酒与尿布
可视化
算法
数据库
机器学习
统计学
市场营销
其他学科
数据挖掘工程师往往是熟悉和理解业务的人
数据挖掘 VS 数据分析
- 分析重统计，挖掘偏预测
- 分析[现状、原因、预测]
- 挖掘[分类、聚类、关联、预测]
- 分析[对比、分组、交叉、回归]
- 挖掘[决策树、审计网络、关联规则、聚类分析]
- 分析[指标统计量]
- 挖掘[输出模型或规则]
模型VS规则
- 模型：Y=f(X)
- 规则：Y={y|age>30 & income>10000}
算法则是求解模型的步骤与方法
章节1 课时3
常见问题
商业角度的问题->数据挖掘
- 用户流失，促销活动 -> 分类
- 目标市场 -> 聚类
- 交叉销售 -> 关联
- 未来销量 -> 预测
各方法特点
- 分类：有监督学习，已知目标分类的样本训练
- 决策树、贝叶斯、KNN等
- 用户流失，促销响应等
- 聚类：无监督，物以类聚的思想
- 层次、网格、密度等
- 目标市场细分、现有客户细分等
- 关联：无监督,别称购物篮分析,识别频繁发生的模式
- Aprior、Carma、序列
- 交叉销售
- 预测：有监督学习
- 线性回归、时间序列
- 气温、GDP、收入、用户数预测等
章节1 课时4
CISP-DM
1. 商业理解
- 确定商业目标：商业背景，成功标准
- 确定挖掘目标：口径，数据，维度，成功标志
- 制定项目方案：算法，时间安排
2. 数据理解
- 收集
- 描述
- 探索
- 质量描述
3. 数据准备
- 导入、抽取、清洗、合并、变量计算
4. 模型构建
- 训练集，验证集
- 建模技术
- 建立模型
- 模型对比
5. 模型评估
- 技术层面：设计对照组比较；评估指标要设计合理[命中率、覆盖率、提升度]
- 业务经验
6. 模型部署
- 营销过程跟踪
- 观察模型衰退变化
- 引入新的特征优化模型
- 程序固化
章节2 课时5
文本挖掘
案例
常用词汇统计
语料库
待分析文档的集合
- 通过循环将路径全部读入
filePaths = []
for root, dirs, files in os.walk(
"D:\\PDM\\2.1\\SogouC.mini\\Sample"
):
for name in files:
filePaths.append(os.path.join(root, name))
章节2 课时6
中文分词
- jieba
利用命令行pip install jieba即可
- jieba.cut('我在用文本分析')
- jieba.add_word('文本分析')
增加自定义分词，词库构建
- jieba.load_userdict()
章节2 课时7
词频统计
- 词频：Term Frequency
dataframe.groupby()
- 词云
- 无效词语的过滤
- 最终统计剔除~isin(stopwords)
- 分词时直接剔除
章节2 课时8
词云绘制
- 词云：图形化表达词频
- word cloud
章节2 课时9
词云梅花
- 词云配合形状
- 准备好词频数据
wordcloud
mask
- 调整图片质量，尺寸
章节2 课时10
关键词提取
jieba.analyse.extract_tags(content, topK)
章节2 课时11
关键词提取原理
TF-IDF原理
- 词频TF
- 逆文档频率（权重）,log(文档综述/(包含该词的文档数+1) IDF
- TF-IDF = TF * IDF
文档向量化
- d_m 文档
- w_n 分词
- f_{ij}: 第i篇文章，分词j出现的次数
正则表达式
import re
re.complile(u'[\u400-u9fa5]+')
章节2 课时12
sklearn
scikit-learn, bsd-开源许可
- 利用空格人工先做分词，仿照英文
- 保留最短长度：中文单字可成词
- sort by TF-IDF方法
- 向量化：sklearn.feature_extraction.text.CountVectorizer
- TF-IDF计算：sklearn.feature_extraction.text.TfidfTransformer
章节2 课时13
相似文章推荐
推荐
- 好的人+事物，相似推荐+协同过滤推荐
- 相似推荐：用户表现出对某人/物的兴趣，为它推荐类似的人/物--人以群分，物以类聚
- 协同过滤：已有用户群历史的行为与偏好，预测当前用户的偏好
理论依据：余弦相似度
- pairwise_distance
章节2 课时14
自动摘要
短文，全面准确反映
- 原理：类似余弦定理
- 算法：
- 获取到需要摘要的文章
- 对该文章进行词频统计
- 对该文章进行分句(跟进标点)
- 计算分句与文章之间的余弦相似度
- 取相似度最高的分句，作为文章的摘要
章节3 课时15
- 相关系数
关联程度的基本测度之一
- 相关分析基本特征
- 方向：正、负相关
- 量级：低度(0,0.3) 中度 [0.3,0.8) [0.8,1]
numpy.corrcoef(X,Y)
