机器学习_自动建模工具PyCaret

机器学习涉及数据分析、清洗、建模、评价、对比模型……无论是初学者,还是有经验的开发者在面对新的项目时,都想要简化这些工作,最好能用简单的代码、较短时间,就能得出初步验证结果,之后再进一步优化。

希望能用一个简单的数据文件,几行通用的Python语句,就能实现分析、建模和部署。PyCaret就是这样的工具:虽然没有太多创新算法,但极大地简化了工作流程。这也让机器学习的门槛越来越低。

PyCaret是Python开发的机器学习库,它封装了Sklearn,XGBoost,LightGBM,Spacy,Shap,PyOD,Gensim,WordCloud等工具,几乎包括机器学习所有的使用场景和方法(不含深度学习):异常检测Anomaly Detection,关联规则Association Rules,分类Classification,回归Regression,聚类Clustering,自然语言处理NLP等。其中支持最丰富的还是分类和回归。

PyCaret屏蔽了具体使用细节,比如各种库在建模,绘图,特征排序的不同调用方法。向外提供端到端(end-to-end)的统一开发工具,减少了学习成本让不熟悉编程的其它领域人士,也能快速建模,而无需关注各种API的使用细节;同时也帮助专业人士更加高效地工作。

安装

对于第一次使用者,建议下载github源码,约166M,含代码、示例和数据。 https://github.com/pycaret/pycaret

源码的tutorials目录下有针对聚类分类等典型问题各种级别的入门示例,除了普通建模以外,还有集成模型、做图分析等功能。目前2.2K GitHub Star,并一直在不断更新。因为在快速开发迭代过程中,有些文档和当前代码有一些对不上。内容结构虽然还不是特别严谨,但重点是确实能解决问题。即使不使用PyCaret,也可以从例程中学习到常用机器学习库的使用方法。

源码中提供Dockerfile,用于创建包含PyCaret的Docker镜像,不过PyCaret相对比较简单,推荐在环境中用命令直接安装。

$ pip install pycaret

安装时需要注意它依赖的各个机器学习库的软件版本匹配问题。

用法

其核心代码在项目的pycaret目录中,目前包括:

anomaly.py 异常值检测(无监督) arules.py 关联规则(无监督)
classification.py 分类(有监督)
clustering.py 聚类(无监督)
datasets.py 数据加载(辅助工具)
nlp.py 自然语言处理(无监督)
preprocess.py 预处理(辅助工具,被其它模块内部调用)
regression.py 回归(有监督)

基本流程一般包含:读取数据->建模/对比模型->模型预测->绘图分析->模型导出。包括以下常用方法:

get_data() 读数据,例程中多为读取示例数据,用户可以使用自己的数据代替。
setup() 预处理,各种建模方法(如分类/聚类)根据自己的特点实现了不同的setup,其中几乎都包含对预处理模块的调用。
models() 列出当前建模方法支持的所有模型。
compare_models() 训练多个模型,并对比其效果。
create_model() 训练模型。
predict_model() 使用模型预测。
plot_model() 显示模型相关的各种分析图,如AUC曲线,学习曲线,还包含词云图等。
tune_model() 模型调参。
assign_model() 查看无监督模型打标签的情况。
evaluate_model() 评价模型。
deploy_model() 云端部署。
ensemble_model() 集成模型。
finalize_model() 导出最终模型和参数。

示例

下例介绍用回归模型预测波士顿房价。

from pycaret.datasets import get_data
from pycaret.regression import * # 使用回归方法

boston = get_data('boston')  # 读取数据
reg1 = setup(data = boston, target = 'medv')  # 数据分析和预处理,指定目标变量medv
models() # 列出可用的建模方法
best = compare_models(include = ['dt','rf','xgboost']) # 对比决策树、随机森林、XGBoost方法
model = create_model('xgboost') # 构建XGBoost模型 plot_model(xgboost, plot='learning') # 绘制学习曲线
interpret_model(xgboost) # shap 特征重要性分析

参考