【火炉炼AI】机器学习017-使用GridSearch搜索最佳参数组合
(本文所使用的Python库和版本号: Python 3.5, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2 )
在前面的文章（【火炉炼AI】机器学习012-用随机森林构建汽车评估模型及模型的优化提升方法），我们使用了验证曲线来优化模型的超参数，但是使用验证曲线难以同时优化多个参数的取值，只能一个参数一个参数的优化，从而获取每个参数的最优值，但是有时候，一个非常优秀的模型，可能A参数取最优值时，B参数并不一定是最优值，从而使得验证曲线的方式有其自身的弊端。
此处介绍的使用GridSearch来搜索最佳参数组合的方法，可以避免上述弊端，GridSearch可以同时优化多个不同参数的取值。
1. 准备数据集
数据集的准备工作和文章（【火炉炼AI】机器学习014-用SVM构建非线性分类模型）中一模一样，此处不再赘述。
2. 使用GridSearch函数来寻找最优参数
使用GridSearch函数来寻找最优参数，需要首先定义要搜索的参数候选值，然后定义模型的评价指标，以此来评价模型的优虐。，GridSearch会自动计算各种参数候选值，从而得到最佳的参数组合，使得评价指标最大化。
from sklearn import svm, grid_search, cross_validation
from sklearn.metrics import classification_report
parameter_grid = [ {'kernel': ['linear'], 'C': [1, 10, 50, 600]}, # 需要优化的参数及其候选值
{'kernel': ['poly'], 'degree': [2, 3]},
{'kernel': ['rbf'], 'gamma': [0.01, 0.001], 'C': [1, 10, 50, 600]},
]
metrics = ['precision', 'recall_weighted'] # 评价指标好坏的标准
for metric in metrics:
print("Searching optimal hyperparameters for: {}".format(metric))
classifier = grid_search.GridSearchCV(svm.SVC(C=1),
parameter_grid, cv=5, scoring=metric)
classifier.fit(train_X, train_y)
print("\nScores across the parameter grid:")
for params, avg_score, _ in classifier.grid_scores_: # 打印出该参数下的模型得分
print('{}: avg_scores: {}'.format(params,round(avg_score,3)))
print("\nHighest scoring parameter set: {}".format(classifier.best_params_))
y_pred =classifier.predict(test_X) # 此处自动调用最佳参数？？
print("\nFull performance report:\n {}".format(classification_report(test_y,y_pred)))
-------------------------------------输---------出--------------------------------
Searching optimal hyperparameters for: precision
Scores across the parameter grid:
{'C': 1, 'kernel': 'linear'}: avg_scores: 0.809
{'C': 10, 'kernel': 'linear'}: avg_scores: 0.809
{'C': 50, 'kernel': 'linear'}: avg_scores: 0.809
{'C': 600, 'kernel': 'linear'}: avg_scores: 0.809
{'degree': 2, 'kernel': 'poly'}: avg_scores: 0.859
{'degree': 3, 'kernel': 'poly'}: avg_scores: 0.852
{'C': 1, 'gamma': 0.01, 'kernel': 'rbf'}: avg_scores: 1.0
{'C': 1, 'gamma': 0.001, 'kernel': 'rbf'}: avg_scores: 0.0
{'C': 10, 'gamma': 0.01, 'kernel': 'rbf'}: avg_scores: 0.968
{'C': 10, 'gamma': 0.001, 'kernel': 'rbf'}: avg_scores: 0.855
{'C': 50, 'gamma': 0.01, 'kernel': 'rbf'}: avg_scores: 0.946
{'C': 50, 'gamma': 0.001, 'kernel': 'rbf'}: avg_scores: 0.975
{'C': 600, 'gamma': 0.01, 'kernel': 'rbf'}: avg_scores: 0.948
{'C': 600, 'gamma': 0.001, 'kernel': 'rbf'}: avg_scores: 0.968
Highest scoring parameter set: {'C': 1, 'gamma': 0.01, 'kernel': 'rbf'}
Full performance report:
precision recall f1-score support
0 0.75 1.00 0.86 36
1 1.00 0.69 0.82 39
avg / total 0.88 0.84 0.84 75
Searching optimal hyperparameters for: recall_weighted
Scores across the parameter grid:
{'C': 1, 'kernel': 'linear'}: avg_scores: 0.653
{'C': 10, 'kernel': 'linear'}: avg_scores: 0.653
{'C': 50, 'kernel': 'linear'}: avg_scores: 0.653
{'C': 600, 'kernel': 'linear'}: avg_scores: 0.653
{'degree': 2, 'kernel': 'poly'}: avg_scores: 0.889
{'degree': 3, 'kernel': 'poly'}: avg_scores: 0.884
{'C': 1, 'gamma': 0.01, 'kernel': 'rbf'}: avg_scores: 0.76
{'C': 1, 'gamma': 0.001, 'kernel': 'rbf'}: avg_scores: 0.507
{'C': 10, 'gamma': 0.01, 'kernel': 'rbf'}: avg_scores: 0.907
{'C': 10, 'gamma': 0.001, 'kernel': 'rbf'}: avg_scores: 0.658
{'C': 50, 'gamma': 0.01, 'kernel': 'rbf'}: avg_scores: 0.92
{'C': 50, 'gamma': 0.001, 'kernel': 'rbf'}: avg_scores: 0.72
{'C': 600, 'gamma': 0.01, 'kernel': 'rbf'}: avg_scores: 0.933
{'C': 600, 'gamma': 0.001, 'kernel': 'rbf'}: avg_scores: 0.902
Highest scoring parameter set: {'C': 600, 'gamma': 0.01, 'kernel': 'rbf'}
Full performance report:
precision recall f1-score support
0 1.00 0.92 0.96 36
1 0.93 1.00 0.96 39
avg / total 0.96 0.96 0.96 75
--------------------------------------------完-------------------------------------
########################小**********结###############################
1. 使用GridSearch中的GridSearchCV可以实现最佳参数组合的搜索，但需要指定候选参数和模型的评价指标。
2. 使用classifier.best_params_函数可以直接把最佳的参数组合打印出来，方便以后参数的直接调用
3. classifier.predict函数是自动调用最佳的参数组合来预测，从而得到该模型在测试集或训练集上的预测值。
#################################################################
如果要使用最佳参数来构建SVM模型，可以采用下面的代码来实现：
best_classifier=svm.SVC(C=600,gamma=0.01,kernel='rbf') # 上面的full performance report的确使用的是最佳参数组合
best_classifier.fit(train_X, train_y)
y_pred =best_classifier.predict(test_X)
print("\nFull performance report:\n {}".format(classification_report(test_y,y_pred)))
得到的结果和上面full performance report一模一样。
注：本部分代码已经全部上传到（我的github）上，欢迎下载。
参考资料:
1, Python机器学习经典实例，Prateek Joshi著，陶俊杰，陈小莉译
