weka-Explorer-Classify的使用

一、实验目的

学习使用 weka 中的常用分类器，完成数据分类任务。

二、实验内容

  1. 了解 weka 中 explorer 的 Classify 面板4个区域的功能。
  2. 在多个数据集上完成分类任务：建立分类模型，再利用该模型对数据对象进行分类，并对分类器的输出结果进行比较和分析。

三、实验要求

  1. 在同一数据集上， 选择多种分类器（常用的分类器有 Naive Bayes、SMO、IBK（k设为2）、J48 等），对不同分类器的输出结果进行比较和分析。
  2. 选择有训练集和测试集的数据集，在该数据集上选择两种评价模型：测试集评估和10折交叉验证 ，对分类结果进行比较和分析。

四、实验过程

1、了解 Classify 面板的4个区域

a. Classify 面板
区域1

分类算法选择框，用于选择分类算法对数据进行分类任务的处理。
有贝叶斯、函数式、惰性方法（基于实例）、组合方法、混合算法、基于规则和决策树等类别；
常用的有朴素贝叶斯（一种比较简单易懂的统计学习方法？）、（SMO）支持向量机（尚不知道这到底是什么，好像很有名，神经网络的简化？类似于筛子？）、k-最邻近值（对于1-最邻近值的改进？）、C4.5决策树（对ID3的改进，支持了连续值？）。

区域2

评估方法选择框，用于选择处理数据分类任务时的评价模型。
有使用训练集、使用测试集、交叉验证（常用10折交叉验证？）和保持方法四种；
更多选项如 * 图b* 所示，包含输出模型、输出每个类别的统计量、输出熵估计度量（在决策树中有用？）、输出混淆矩阵、设置代价矩阵（搞明白行与列的意义很重要，比较容易混乱？）等。

b. 更多选项
区域3

结果（日志）列表。
右键单击某一行后会弹出一系列选项，包括各种可视化属性。

区域4

分类结果输出框，显示区域2更多选项中选中的一系列输出信息。

区域5（未标出）

状态信息，显示一系列系统状态信息，如内存占用、是否正在进行挖掘。（上一次实验中的00区域）

2、使用 weather.numeric.arff 进行分类

（0） 数据集（将原有数据的最后两个作为测试集）

** % 删掉最后两个实例后的 weather.numeric.arff **

@relation weather

@attribute outlook {sunny,overcast,rainy}
@attribute temperature numeric
@attribute humidity numeric
@attribute windy {TRUE,FALSE}
@attribute play {yes,no}

@data
sunny,85,85,FALSE,no
sunny,80,90,TRUE,no
overcast,83,86,FALSE,yes
rainy,70,96,FALSE,yes
rainy,68,80,FALSE,yes
rainy,65,70,TRUE,no
overcast,64,65,TRUE,yes
sunny,72,95,FALSE,no
sunny,69,70,FALSE,yes
rainy,75,80,FALSE,yes
sunny,75,70,TRUE,yes
overcast,72,90,TRUE,yes

** % weather.numeric-test.arff **

@relation weather

@attribute outlook {sunny,overcast,rainy}
@attribute temperature numeric
@attribute humidity numeric
@attribute windy {TRUE,FALSE}
@attribute play {yes,no}

@data
overcast,81,75,FALSE,yes
rainy,71,91,TRUE,no

（1） 朴素贝叶斯 + 10折交叉验证
c. 朴素贝叶斯+10折交叉验证
（2）朴素贝叶斯 + 使用测试集
d. 朴素贝叶斯+使用测试集

乍看起来，（2）的ROC高，似乎显得比（1）的 * 效果 * 好，但这应该是因为数据集，尤其是测试集合太小，使偶然因素起到了决定性作用。

（3）SMO支持向量机 + 10折交叉验证
e. SMO支持向量机+10折交叉验证
（4）SMO支持向量机 + 使用测试集
f. SMO支持向量机+使用测试集

与（3）比起来，（4）的ROC高，于是可以肯定我之前得出的结论——测试集合太小，使偶然因素起到了决定性作用。

（5）2-最邻近值 + 10折交叉验证

（IBK， k = 2）


g. 2-最邻近值 + 10折交叉验证
（6）2-最邻近值 + 使用测试集
h. 2-最邻近值+使用测试集
（7）C4.5决策树 + 10折交叉验证
i. C4.5决策树+10折交叉验证

一直觉得决策树的结果是最直观，即使不懂统计学，也能轻易看懂，不过我直觉认为它会产生比较大的偏差。

（8）C4.5决策树 + 使用测试集
j. C4.5决策树 + 使用测试集
（9）四种分类算法默认条件下构建模型对比

说明：
此例中测试集偶发性较大，所以评估方法选用更稳定的10折交叉验证；
Jitter在左端（默认位置）时，

k. Jitter在左端

很多点是重叠的，看不出效果，因此均置于右端。

l. 右上至左下：朴素贝叶斯、SMO支持向量机、2-最邻近值、C4.5决策树；横轴：实际标签，纵轴：预测标签

直观来看，有如下结论：

  1. 只有朴素贝叶斯算法有可能正确预测出no类别。
  2. 后三种算法在此例中所见模型准确度十分相似。
  3. 所有算法准确率都在50-60%，没什么显著区别。（这结果对于只有两个可能选项的play来说，几乎没有意义）

会出现这种情况，一是因为使用的数据集比较小（更改后的仅有12个实例），二是因为我这时确实不知道这些分类器参数的意义，直接用了默认。

3、使用 vote.arff 进行分类

（1）数据说明

为了弥补上例中数据集过小的缺点，这回使用了有435个实例的 vote.arff ：

% 1. Title: 1984 United States Congressional Voting Records Database
%
% 2. Source Information:
% (a) Source: Congressional Quarterly Almanac, 98th Congress,
% 2nd session 1984, Volume XL: Congressional Quarterly Inc.
% Washington, D.C., 1985.
% (b) Donor: Jeff Schlimmer (Jeffrey.Schlimmer@a.gp.cs.cmu.edu)
% (c) Date: 27 April 1987
%
% 3. Past Usage
% - Publications
% 1. Schlimmer, J. C. (1987). Concept acquisition through
% representational adjustment. Doctoral dissertation, Department of
% Information and Computer Science, University of California, Irvine, CA.
% -- Results: about 90%-95% accuracy appears to be STAGGER's asymptote
% - Predicted attribute: party affiliation (2 classes)
%
% 4. Relevant Information:
% This data set includes votes for each of the U.S. House of
% Representatives Congressmen on the 16 key votes identified by the
% CQA. The CQA lists nine different types of votes: voted for, paired
% for, and announced for (these three simplified to yea), voted
% against, paired against, and announced against (these three
% simplified to nay), voted present, voted present to avoid conflict
% of interest, and did not vote or otherwise make a position known
% (these three simplified to an unknown disposition).
%
% 5. Number of Instances: 435 (267 democrats, 168 republicans)
%
% 6. Number of Attributes: 16 + class name = 17 (all Boolean valued)
%
% 7. Attribute Information:
% 1. Class Name: 2 (democrat, republican)
% 2. handicapped-infants: 2 (y,n)
% 3. water-project-cost-sharing: 2 (y,n)
% 4. adoption-of-the-budget-resolution: 2 (y,n)
% 5. physician-fee-freeze: 2 (y,n)
% 6. el-salvador-aid: 2 (y,n)
% 7. religious-groups-in-schools: 2 (y,n)
% 8. anti-satellite-test-ban: 2 (y,n)
% 9. aid-to-nicaraguan-contras: 2 (y,n)
% 10. mx-missile: 2 (y,n)
% 11. immigration: 2 (y,n)
% 12. synfuels-corporation-cutback: 2 (y,n)
% 13. education-spending: 2 (y,n)
% 14. superfund-right-to-sue: 2 (y,n)
% 15. crime: 2 (y,n)

% 16. duty-free-exports: 2 (y,n)
% 17. export-administration-act-south-africa: 2 (y,n)
%
% 8. Missing Attribute Values: Denoted by "?"
%
% NOTE: It is important to recognize that "?" in this database does
% not mean that the value of the attribute is unknown. It
% means simply, that the value is not "yea" or "nay" (see
% "Relevant Information" section above).
%
% Attribute: #Missing Values:
% 1: 0
% 2: 0
% 3: 12
% 4: 48
% 5: 11
% 6: 11
% 7: 15
% 8: 11
% 9: 14
% 10: 15
% 11: 22
% 12: 7
% 13: 21
% 14: 31
% 15: 25
% 16: 17
% 17: 28
%
% 9. Class Distribution: (2 classes)
% 1. 45.2 percent are democrat
% 2. 54.8 percent are republican
%
% Class predictiveness and predictability: Pr(C|A=V) and Pr(A=V|C)
% Attribute 1: (A = handicapped-infants)
% 0.91; 1.21 (C=democrat; V=y)
% 0.09; 0.10 (C=republican; V=y)
% 0.43; 0.38 (C=democrat; V=n)
% 0.57; 0.41 (C=republican; V=n)
% 0.75; 0.03 (C=democrat; V=?)
% 0.25; 0.01 (C=republican; V=?)
% Attribute 2: (A = water-project-cost-sharing)
% 0.62; 0.45 (C=democrat; V=y)
% 0.38; 0.23 (C=republican; V=y)
% 0.62; 0.45 (C=democrat; V=n)
% 0.38; 0.23 (C=republican; V=n)
% 0.58; 0.10 (C=democrat; V=?)
% 0.42; 0.06 (C=republican; V=?)
% Attribute 3: (A = adoption-of-the-budget-resolution)
% 0.91; 0.87 (C=democrat; V=y)
% 0.09; 0.07 (C=republican; V=y)
% 0.17; 0.11 (C=democrat; V=n)
% 0.83; 0.44 (C=republican; V=n)
% 0.64; 0.03 (C=democrat; V=?)
% 0.36; 0.01 (C=republican; V=?)
% Attribute 4: (A = physician-fee-freeze)
% 0.08; 0.05 (C=democrat; V=y)
% 0.92; 0.50 (C=republican; V=y)
% 0.99; 0.92 (C=democrat; V=n)
% 0.01; 0.01 (C=republican; V=n)
% 0.73; 0.03 (C=democrat; V=?)
% 0.27; 0.01 (C=republican; V=?)
% Attribute 5: (A = el-salvador-aid)
% 0.26; 0.21 (C=democrat; V=y)
% 0.74; 0.48 (C=republican; V=y)
% 0.96; 0.75 (C=democrat; V=n)
% 0.04; 0.02 (C=republican; V=n)
% 0.80; 0.04 (C=democrat; V=?)
% 0.20; 0.01 (C=republican; V=?)
% Attribute 6: (A = religious-groups-in-schools)
% 0.45; 0.46 (C=democrat; V=y)
% 0.55; 0.46 (C=republican; V=y)
% 0.89; 0.51 (C=democrat; V=n)
% 0.11; 0.05 (C=republican; V=n)
% 0.82; 0.03 (C=democrat; V=?)
% 0.18; 0.01 (C=republican; V=?)
% Attribute 7: (A = anti-satellite-test-ban)
% 0.84; 0.75 (C=democrat; V=y)
% 0.16; 0.12 (C=republican; V=y)
% 0.32; 0.22 (C=democrat; V=n)
% 0.68; 0.38 (C=republican; V=n)
% 0.57; 0.03 (C=democrat; V=?)
% 0.43; 0.02 (C=republican; V=?)
% Attribute 8: (A = aid-to-nicaraguan-contras)
% 0.90; 0.82 (C=democrat; V=y)
% 0.10; 0.07 (C=republican; V=y)
% 0.25; 0.17 (C=democrat; V=n)
% 0.75; 0.41 (C=republican; V=n)
% 0.27; 0.01 (C=democrat; V=?)
% 0.73; 0.03 (C=republican; V=?)
% Attribute 9: (A = mx-missile)
% 0.91; 0.70 (C=democrat; V=y)
% 0.09; 0.06 (C=republican; V=y)
% 0.29; 0.22 (C=democrat; V=n)
% 0.71; 0.45 (C=republican; V=n)
% 0.86; 0.07 (C=democrat; V=?)
% 0.14; 0.01 (C=republican; V=?)
% Attribute 10: (A = immigration)
% 0.57; 0.46 (C=democrat; V=y)
% 0.43; 0.28 (C=republican; V=y)
% 0.66; 0.52 (C=democrat; V=n)
% 0.34; 0.23 (C=republican; V=n)
% 0.57; 0.01 (C=democrat; V=?)
% 0.43; 0.01 (C=republican; V=?)
% Attribute 11: (A = synfuels-corporation-cutback)
% 0.86; 0.48 (C=democrat; V=y)
% 0.14; 0.06 (C=republican; V=y)
% 0.48; 0.47 (C=democrat; V=n)
% 0.52; 0.43 (C=republican; V=n)
% 0.57; 0.04 (C=democrat; V=?)
% 0.43; 0.03 (C=republican; V=?)
% Attribute 12: (A = education-spending)
% 0.21; 0.13 (C=democrat; V=y)
% 0.79; 0.42 (C=republican; V=y)
% 0.91; 0.80 (C=democrat; V=n)
% 0.09; 0.06 (C=republican; V=n)
% 0.58; 0.07 (C=democrat; V=?)
% 0.42; 0.04 (C=republican; V=?)
% Attribute 13: (A = superfund-right-to-sue)
% 0.35; 0.27 (C=democrat; V=y)
% 0.65; 0.42 (C=republican; V=y)
% 0.89; 0.67 (C=democrat; V=n)
% 0.11; 0.07 (C=republican; V=n)
% 0.60; 0.06 (C=democrat; V=?)
% 0.40; 0.03 (C=republican; V=?)
% Attribute 14: (A = crime)
% 0.36; 0.34 (C=democrat; V=y)
% 0.64; 0.49 (C=republican; V=y)
% 0.98; 0.63 (C=democrat; V=n)
% 0.02; 0.01 (C=republican; V=n)
% 0.59; 0.04 (C=democrat; V=?)
% 0.41; 0.02 (C=republican; V=?)
% Attribute 15: (A = duty-free-exports)
% 0.92; 0.60 (C=democrat; V=y)
% 0.08; 0.04 (C=republican; V=y)
% 0.39; 0.34 (C=democrat; V=n)
% 0.61; 0.44 (C=republican; V=n)
% 0.57; 0.06 (C=democrat; V=?)
% 0.43; 0.04 (C=republican; V=?)
% Attribute 16: (A = export-administration-act-south-africa)
% 0.64; 0.65 (C=democrat; V=y)
% 0.36; 0.30 (C=republican; V=y)
% 0.19; 0.04 (C=democrat; V=n)
% 0.81; 0.15 (C=republican; V=n)
% 0.79; 0.31 (C=democrat; V=?)
% 0.21; 0.07 (C=republican; V=?)
%
@relation vote
@attribute 'handicapped-infants' { 'n', 'y'}
@attribute 'water-project-cost-sharing' { 'n', 'y'}
@attribute 'adoption-of-the-budget-resolution' { 'n', 'y'}
@attribute 'physician-fee-freeze' { 'n', 'y'}
@attribute 'el-salvador-aid' { 'n', 'y'}
@attribute 'religious-groups-in-schools' { 'n', 'y'}
@attribute 'anti-satellite-test-ban' { 'n', 'y'}
@attribute 'aid-to-nicaraguan-contras' { 'n', 'y'}
@attribute 'mx-missile' { 'n', 'y'}
@attribute 'immigration' { 'n', 'y'}
@attribute 'synfuels-corporation-cutback' { 'n', 'y'}
@attribute 'education-spending' { 'n', 'y'}
@attribute 'superfund-right-to-sue' { 'n', 'y'}
@attribute 'crime' { 'n', 'y'}
@attribute 'duty-free-exports' { 'n', 'y'}
@attribute 'export-administration-act-south-africa' { 'n', 'y'}
@attribute 'Class' { 'democrat', 'republican'}
@data
'n','y','n','y','y','y','n','n','n','y',?,'y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n',?,'republican'
?,'y','y',?,'y','y','n','n','n','n','y','n','y','y','n','n','democrat'
'n','y','y','n',?,'y','n','n','n','n','y','n','y','n','n','y','democrat'
'y','y','y','n','y','y','n','n','n','n','y',?,'y','y','y','y','democrat'
'n','y','y','n','y','y','n','n','n','n','n','n','y','y','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','n',?,'y','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','n','y','y',?,'y','republican'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n',?,?,'democrat'
'n','y','n','y','y','n','n','n','n','n',?,?,'y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','n','y',?,'y','y',?,?,'republican'
'n','y','y','n','n','n','y','y','y','n','n','n','y','n',?,?,'democrat'
'y','y','y','n','n','y','y','y',?,'y','y',?,'n','n','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','n','n','y',?,?,'n',?,'republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y',?,'n',?,'republican'
'y','n','y','n','n','y','n','y',?,'y','y','y',?,'n','n','y','democrat'
'y',?,'y','n','n','n','y','y','y','n','n','n','y','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n',?,'y','y','n','n','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','y','y','n','n',?,'y','y','n','n','y','n','n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n',?,?,'y','y','democrat'
'y',?,'y','n','n','n','y','y','y','n','n',?,'n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','n','n','y','y','n','y','y','y','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y',?,'democrat'
'y','y','y','n','n','n','y','y','y','y','n','n','y','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y',?,'n','y','y','y','n','n','n','y','n','y',?,'y','n','y','republican'
'y','y','n','y','y','y','n','n','n','n','n','n','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y','n','y','n','n','n','y','y','y','y','y','n','y','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n',?,'n','n','n','n',?,'democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','n',?,'democrat'
'y','y','y','n','n','n','y','y',?,'n','y','n','n','n','y',?,'democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y',?,'n','n','n','n','n','n',?,'democrat'
'y','y','y','n','n','n','y','y','n','n','n','n','n','y','n','y','democrat'
'n',?,'n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n',?,'n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n',?,?,'democrat'
'y','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y','y','y','n','n','y',?,'y','n','n','y','y','n','y','n',?,'democrat'
'n','y','n','y','y','y','n','n','n','y','y','y','y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','y','y','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n',?,'republican'
'y','y','y','n','n',?,'y','y','y','y','n','n','n','n','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','n',?,'democrat'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','n','y','democrat'
'y','y','y','n','n','n','y','y','y','n','y',?,'n','n','n','y','democrat'
'y','y','n','y','y','y','y','n','n','n','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','y','n','n','n','y','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y',?,'y','n','n','n','y','y','y','n','n','n','y','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','y','n','y',?,'democrat'
'y','y','y','y','n','n','y','y','y','y','y','n','n','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y',?,'democrat'
'y','n','y','y','y','n','y','n','y','y','n','n','y','y','n','y','republican'
'y','n','y','n','n','y','y','y','y','y','y','n','n','y','y','y','democrat'
'n','y','y','y','y','y','n','n','n','y','y','n','y','y','n','n','democrat'
'n','y','y','n','y','y','n','n','n','y','y','y','y','y','n',?,'democrat'
'n','y','y','y','y','y','n','y','y','y','y','y','y','y','n','y','democrat'
'y','y','y','n','y','y','n','n','n','y','y','n','y','y','n','y','democrat'
'n','n','n','y','y','n','n','n','n','y','n','y','y','y','n','n','republican'
'y','n','y','n','n','y','y','y','y','y','n','y','n','y','n',?,'democrat'
'y','n','y','n','n','n','y','y',?,'y','y','y','n','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','n','y','n','y','y','n','n','n','y','y','y','y','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','y','y','n','y','y','y','n','y','y','y','n','y','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n',?,'y','y','n',?,'republican'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','n','y','y','n','n',?,'y','y','democrat'
'y','n','y','n','n','n','y','n','y','y','y','n','n','n','y','y','democrat'
'y','n','y','n','y','y','n','n','n','n','n','n','n','n','n','y','democrat'
'y','n','y','n','y','y','n',?,?,'n','y',?,?,?,'y','y','democrat'
'n','n',?,'n','y','y','n','n','n','n','y','y','y','y','n','y','democrat'
'y','n','n','n','y','y','y','n','n','y','y','n','n','y','n','y','democrat'
'y','y','y','n','n','y','y','y','y','y','n','n','n','n','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y',?,'y','y','y','n','n','republican'
'y','n','n','n','y','y','n','n','n','n','y','y','n','y','n','y','democrat'
'y','n','y','n','y','y','y','n','n','n','y','n','n','y','n','y','democrat'
'y','n','y','n','y','y','y','n',?,'n','y','n','y','y','y',?,'democrat'
'y','n','n','n','y','y',?,'n',?,'n','n','n','n','y',?,'n','democrat'
?,?,?,?,'n','y','y','y','y','y',?,'n','y','y','n',?,'democrat'
'y','y','y','n','n','n','n','y','y','n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n',?,?,?,?,?,?,?,?,?,?,?,?,'y',?,?,'republican'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n',?,'y','n','n','y','y','y','n','y','n','n','n','n','y',?,'democrat'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n',?,'y','n',?,?,'y','y','y','y',?,?,'n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','y','y','y','y','n','y','n','n','n','n','y','y','y','n','y','republican'
'n','y','y','n','n','n','n','y','y','y','y','n','n','n','y','y','democrat'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n',?,?,'y','y','y','n','n','n','y','n','y','y','y',?,'y','republican'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','y','n','y','n','y','n','y','republican'
'y',?,'n','y','y','y','n','y','n','n','n','y','y','y','n','y','republican'
'n',?,'y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n',?,'n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n',?,'y','n','n','n','y','y','y','y','y','n','n','y','y','y','democrat'
'n',?,'y','n','n','y','n','y','n','y','y','n','n','n','y','y','democrat'
?,?,'y','n','n','n','y','y',?,'n',?,?,?,?,?,?,'democrat'
'y',?,'y','n',?,?,'y','y','y','n','n','n','n','n','y',?,'democrat'
'n','n','y','n','n','y','n','y','y','y','n','n','n','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n',?,'republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n',?,'republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','y','y','y','y','n','n','y','republican'
'n',?,'y','n','n','y','y','y','y','y','n','n','n','y','y','y','democrat'
'n','n','y','n','n','y','y','y','y','y','n','n','n','y','n','y','democrat'
'y','n','y','n','n','y','y','y','y','n','n','n','n','n','y','y','democrat'
'n','n','n','y','n','n','y','y','y','y','n','n','y','y','n','y','republican'
'n','n','n','y','y','y','y','y','y','y','n','y','y','y',?,'y','republican'
'n','n','n','y','y','y','y','y','y','y','n','y','y','y','n','y','republican'
?,'y','n','n','n','n','y','y','y','y','y','n','n','y','y','y','democrat'
'n',?,'n','n','n','y','y','y','y','y','n','n','n','y','n',?,'democrat'
'n','n','y','n','n','y','y','y','y','y','n','n','n','y',?,'y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','n','n','n','n','y','y','y','y','n','y','y','y','y','y','democrat'
'n','y','n','y','y','y','n','n','n','y','y','y','y','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','y','n','n','y','n','y','y','democrat'
'y','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'y','y',?,'y','y','y','n','n','y','n','y',?,'y','y','n','n','democrat'
'n','y','y','n','n','y','n','y','y','y','y','n','y','n','y','y','democrat'
'n','n','y','n','n','y','y','y','y','y','y','n','y','y','n','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','n','y','y','y','n',?,'n','n','y','y','y','y','n','n','republican'
'y','y','n','y','y','y','y','n','n','n','n','y','y','y','n','n','republican'
'n','y','y','n','n','y','n','y','y','n','y','n',?,?,?,?,'democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','y','y','n',?,'y','y','y','y','y','y','n','n',?,'n',?,'democrat'
'n','y','n','n','y','y','n','n','n','n','n','y','y','y','y','y','democrat'
'n','n','n','n','y','y','y','n','n','n','n','y','y','y','n','y','democrat'
'n','y','y','n','y','y','y','n','n','n','y','y','y','y','n','y','democrat'
'n','y','n','y','y','y','y','n','n','n','n','y','y','y','n','y','republican'
'y','y','n','n','y','y','n','n','n','y','y','y','y','y','n',?,'democrat'
'n','y','y','n','n','y','y','y','y','y','y','n','y','n','y',?,'democrat'
'y','n','y','y','y','y','y','y','n','y','n','y','n','y','y','y','republican'
'y','n','y','y','y','y','y','y','n','y','y','y','n','y','y','y','republican'
'n','n','y','y','y','y','n','n','y','n','n','n','y','y','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','y','n','n','y','n','y','democrat'
'y','n','y','n','n','n',?,'y','y',?,'n','n','n','n','y',?,'democrat'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','y','n','n','n','y','y','y','y','n','n',?,'n','y','y','democrat'
'n','n','n','n','y','y','n','n','n','y','y','y','y','y','n','y','democrat'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n','y','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','n','y','y','n','n','y','y','y','y','n','n','n','y','y','y','republican'
'n','n','y','n','n','n','y','y','y','y','y',?,'n','n','y','y','democrat'
?,'n','y','n','n','n','y','y','y','y','y',?,'n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
?,?,'y','n','n','n','y','y','y',?,?,'n','n','n',?,?,'democrat'
'n','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
?,?,?,?,?,?,?,?,'y',?,?,?,?,?,?,?,'democrat'
'n','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n',?,'n','n','y','y','democrat'
'n','y','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y',?,'n','y','y','y','y','y','n','n','n','y',?,'y',?,?,'republican'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n',?,'n','y','y','y','n','n','n','n','n','y','y','y','n',?,'republican'
'n','y','n','y','y','y','n',?,'n','y','n','y','y','y','n',?,'republican'
'n','n','n','n','n','y','y','y','y','n','y','n','n','y','y','y','democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n','n','y','n','n','y','y',?,'y','y','y','n','n','n','y','y','democrat'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n',?,'republican'
'n','n','y','n','n','y','y','y','y','n','y','y','n','y','y',?,'democrat'
'n',?,'y','y','y','y','n','n','n','y','n','n','n','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','y','y','n',?,'n','y',?,'democrat'
'y','y','n','n','n','n','y','y',?,'n','y','n','n','n','y',?,'democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','y','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','y','y','y','y','y','y','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','n','y','y','y','y','y','n','n','n','n','y','y','y','n','y','republican'
'n','n','y','n','n','y','y','y','y','y','n','y','n','n','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','n','y','n','y','republican'
'y',?,'n','y','y','y','y','n','n','y','n','y','y','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','n','n',?,'n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','y','y','n','n','n','n','y','democrat'
'n','n','y','n','n','y','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','y','n','n','y','n','y','y','n','y','n','y','n','y','y','democrat'
'y','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','y','y','y','y','n','n','n','y','y','y','y','y','y',?,'democrat'
'y','y','y','n','y','y','n','n',?,'y','n','n','n','y','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y',?,'y','n','n','n','y','y','y','n',?,'n','n','n','y',?,'democrat'
'n','y','y','n','n','n','n','y','y','n','y','n','n','y','y','y','democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n','y','y','n','y','y','n','n','n','n','y','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','y','n','n','n','y',?,'democrat'
'n','n','n','y','y','n','n','n','n','n','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n',?,'y','y','n','n','republican'
'n',?,'n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','y','n','n','y','y','y','y','n','y','n','n','y','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n',?,'y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y',?,'n','y','republican'
'n','y','y','y','y','y','y','n','y','y','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','y','y','n','y','y','y','n','y','republican'
'n','y','y','n','n','n','y','y','n','n','y','n','n','n','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','y','n','n','y','y','y','y','y','n','y','n','y','y',?,'democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','n','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','y','y','y','n','n','n','y','y','n','n','y','democrat'
'y','y','y','n','n','n','y','y',?,'y','n','n','n','n','y',?,'democrat'
'n','n','n','y','y','y','y','n','n','y','n','n','n','y','y','y','republican'
'n','n','n','y','n','y','y',?,'y','n','n','y','y','y','n','y','republican'
'y','n','y','n','n','n','y','y','y','y','y','n','n','y','y','y','democrat'
'n','n','n','n','y','y','y','n','n','n','n',?,'n','y','y','y','republican'
'n','y','y','n','n','n','y','y',?,'y','n','n','y','n','y','y','democrat'
'y','n','y','n','n','n','n','y','y','y','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'n','n','y','n','y','n','y','y','y','n','n','n','n','y',?,'y','democrat'
'n','y','n','y','y','y',?,'n','n','n','n',?,'y','y','n','n','republican'
?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,'republican'
'y','n','y','n','n','n','y','y',?,'n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','y','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','y','y','y','democrat'
'n','n','n','y','y','n','n','n','n','n','n','y','n','y','n','n','republican'
'n','n','n','y','y','n','n','n','n','n','n','y','n','y',?,'y','republican'
'n','n','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','n','y','democrat'
'y','n','y','n','n',?,'y','y','y','n',?,?,'n',?,?,?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n',?,'n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','n','y','n','y','republican'
'y','n','n','n','n','n','y','y','y','y','n','n','n','y','n','y','republican'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','y','n','n','y','y','y','y','n',?,'n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y',?,'democrat'
'n','n','n','y','y','n','y','y','n','y','n','y','y','y',?,'y','republican'
'y','n','n','y','y','n','y','n','n','y','n','n','n','y','y','y','republican'
'n','n','y','n','y','y','n','n','n','n',?,'n','y','y','n','n','democrat'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','y','n','republican'
'n','n','y','y','y','y','y','y','n','y','n','n','n','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','n','y','n','n','n','y','y','y','y','n','n','n','y','n','y','democrat'
'y','n','y','y','y','y','y','y','n','n','n','n','n','y','n',?,'republican'
'y','n','n','y','y','y','n','n','n','y','n',?,'y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','y','n','n','y','y','y','y','y','y','n','n','n',?,'y','democrat'
'n','n','y','n','n','y','y','y','y','y','y','n','n','n','y','y','democrat'
'n','n','y','n','n','y',?,'y',?,'y','y','y','n','y','y',?,'democrat'
'y','y','y',?,'n','y','y','y','y','n','y','n','y','n',?,'y','democrat'
'y','y','y','n','y','y','n','y','n','y','y','n','y','y','y','y','democrat'
'y','y','y','n','y','y','n','y','n','y','y','n','y','y','n',?,'democrat'
'y','n','y','n',?,'y',?,'y','y','y','n','n','y','y','n','y','democrat'
'y','n','y','n','n','y','y','y','y','y','n',?,'n','y','n','y','democrat'
'y','n','y','n','n','y','y','y','n','y','y','n','y','y','y','y','democrat'
'y','y','y','n','n','y','y','y','y','y','y','n','y','y','y','y','democrat'
'n','y','y','n','n','y','y','y','n','y','y','n','y','y','n',?,'democrat'
'n','y','n','y','y','y',?,?,'n','y','n','y',?,?,?,?,'republican'
'n','n','y','y','y','y','n','n','n','y','n','y','y','y','y','y','republican'
'y','y','y','n','n','y','y','y','y','y','n','n',?,'n','y',?,'democrat'
'n','y','n','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'n','y','y','n','n','y','y','y','y','y','n','n','y','y','y','y','democrat'
'n','n','n','y','y','n','y','y','y','y','n','y','y','y','n','y','republican'
'n','n',?,'n','n','y','y','y','y','n','n','n','n','n','y','y','democrat'
'n','n','n','y','y','y','y','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n',?,'republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','n','y','n','n','y','y','y','y','n','n','n','n','y','n',?,'democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y','n','n','n','n','y','y','y','y','y','n','n','n','y','y','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','y','n','republican'
'n','n','y','n','n','y','y','y','y','y','n','n','y','n','n','y','democrat'
'y','y','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','y','y','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','y','y','n','n','y','y','y','y','y','y','republican'
'n','y','y','y','y','y','y',?,'n','n','n','n',?,?,'y',?,'republican'
'n','n','n','n','n','y','n','y','y','n','y','y','y','y','y','n','democrat'
'y','n','n','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n','y','y','n','n','y','n','y','y','y','n','n','y','y','n','y','democrat'
'y','y','y','n','n','n','y','y','y','y','n','n','y','n','n','y','democrat'
'y','y','y','n',?,'y','n',?,'n','n','y','n','y','y','n',?,'democrat'
'y','y','y','n','y','y','n','y',?,'y','n','n','y','y','n',?,'democrat'
'n','y','n','y','y','y','n','n','n','n','y','y','y','y','n','n','republican'
'n','y','n','n','y','y','n','n',?,'n','n','y','y','y','n','y','democrat'
'y','y','n','y','n','n','y','y','y','n','y','n','n','y','n','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','n','y','democrat'
'y',?,'y','n','n','y','y','y','y','y','n','n','n','n','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','y','n','n','n','y',?,'democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','y','n','n','y','y','y',?,'n','y','y','n','n','y','y','democrat'
'n','n','n','y','y','y','n','n','n','y','y','y','y','y','n',?,'republican'
'n','n','y','n','n','y','y','y','n','n','y','n','n','y',?,'y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','y','y','y','democrat'
'y','n','n','y','y','y','n','n','n','n','y','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','y','y','y','n','y','n','y','republican'
'n',?,'y',?,'n','y','y','y','y','y','y','n',?,?,'y','y','democrat'
'n','y','y','n','y',?,'y','n','n','y','y','n','y','n','y','y','democrat'
'n','n','n','y','y','n','y','n','y','y','n','n','n','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'n','n','n','y','y','y','y','n','n','y','n','y','n','y','y','y','republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'y','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y','n','y','n','n','n','y','y','y','y','n','y','n','n','y',?,'democrat'
'n','y','y','y','y','y','y','y','y','n','n','y','y','y','n','y','republican'
'n','y','n','n','n','y','y','n','y','n','y','n','n','n','y','y','democrat'
'n','n','y','y','y','y','y','y','y','y','n','y','y','y','y','y','republican'
'n','y','n','y','n','y','y','y','y','n','y','n','y','n','y',?,'democrat'
'n','n','y','y','y','y','y','n','n','y','y','y','y','y','n','y','republican'
'n','y','y','n','n','y','y','y','y','y','n',?,'n','n','y','y','democrat'
'y','n','y','y','n','n','n','y','y','y','n','n','n','y','y','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','y','y','y','y','y','y','y','y','y','n',?,'democrat'
'n','n','n','y','y','y','n','n','n','y',?,'y','y','y','n','y','republican'
'y','n','y','n','n','y','y','y','y','y','n','n','y','n','n','y','democrat'
'y','n','y','n','y','y','y','n','y','y','n','n','y','y','n',?,'democrat'
'y','y','y','n','n','y','y','y','y','y','y','y','y','n','n','y','democrat'
'y','y','n','y','y','y','n','n','n','y','y','n','y','n','n','n','republican'
'y','y','n','y','y','y','n','n','n','n','y','n','y','y','n','y','republican'
'n','y','n','n','y','y','n','n','n','y','y','n','y','y','n','n','democrat'
'y','n','y','n','n','n','y','y','n','y','y','n','n','n','n',?,'democrat'
'y','y','y','n','y','y','y','y','n','y','y','n','n','n','y',?,'democrat'
'n','y','y','n','n','y','y','y','n','y','n','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','n','y','y','n','y','republican'
'y','y','y','n',?,'y','y','y','n','y',?,?,'n','n','y','y','democrat'
'y','y','y','n',?,'n','y','y','y','y','n','n','n','n','y',?,'democrat'
'n','y','y','y','y','y','n','n','n','n','y','y',?,'y','n','n','democrat'
'n','y','y',?,'y','y','n','y','n','y',?,'n','y','y',?,'y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','n','y','y','n','y','n','n','democrat'
'y',?,'y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y',?,?,'n','n',?,?,'y',?,?,?,'republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','y',?,'y','y','n','y','n','y','n','y','y','democrat'
'y','y','y','n','y','y','y','y','y','y','y','n','y','y','n',?,'democrat'
'y','y','n','y','y','y','n','n','n','n','y','n','y','y','n',?,'democrat'
'y','y','y','n','y','y','n','y','y','y','y','n','n','n','n','y','democrat'
'y','y','y','y','y','y','n','n','n','n','y','y','y','y','n','y','democrat'
'y','y','n','n','y','y','n','n','n','n','y','y','y','y','y','n','democrat'
'n',?,'y','n','y','y','n','y','n','n','y','n','n','n','n',?,'democrat'
'y','y','y','n','y','y','n','y','y','n','y','n','n','y','n',?,'democrat'
'n','y','y','y','y','y','n','n','n','n','n','y','y','y','n',?,'democrat'
'y','n','y','n','n','n','y','y','y',?,'y','n','n','n','y',?,'democrat'
?,?,'n','n',?,'y',?,'n','n','n','y','y','n','y','n',?,'democrat'
'y','y','n','n','n','n','n','y','y','n','y','n','n','n','y','n','democrat'
'y','y','n','y','y','y','n','n','n','n','y','y','y','y','n','y','republican'
?,?,?,?,'n','y','n','y','y','n','n','y','y','n','n',?,'republican'
'y','y',?,?,?,'y','n','n','n','n','y','n','y','n','n','y','democrat'
'y','y','y',?,'n','n','n','y','n','n','y',?,'n','n','y','y','democrat'
'y','y','y','n','y','y','n','y','n','n','y','n','y','n','y','y','democrat'
'y','y','n','n','y',?,'n','n','n','n','y','n','y','y','n','y','democrat'
'n','y','y','n','y','y','n','y','n','n','n','n','n','n','n','y','democrat'
'n','y','n','y',?,'y','n','n','n','y','n','y','y','y','n','n','republican'
'n','y','n','y','y','y','n',?,'n','n',?,?,?,'y','n',?,'republican'
'n','y','n','y','y','y','n','n','n','y','y','y','y','y','n','n','republican'
?,'n','y','y','n','y','y','y','y','y','n','y','n','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y',?,'y','n','n','republican'
'y','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','n','y','n','y','y','n','n','y','y','n','n','y','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','n','y','y','y','y','n','n','democrat'
'y','n','y','n','n','y','y','y','y','n','n','y',?,'y','y','y','democrat'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','y','y','y','y','n','y','republican'
'y','n','y','n','n','y','y','y','y','y','y','n','n','n','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'y','y','y','y','y','y','y','y','n','y',?,?,?,'y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'n','y','y','n','n','y','y','y',?,'y','n','n','n','n','n','y','democrat'
'y','y','n','y','y','y','n','n','n','y','n','n','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','y','y','n','y','n','n','y','democrat'
'y','y','y','n','n','n','y','y','n','y','n','n','n','n','n','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','y','y','y','y','y','y','y','n','y','n','n','y','y','n','y','republican'
'n','y','y','n','y','y','y','y','n','n','y','n','y','n','y','y','democrat'
'n','n','y','n','n','y','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','y','n','n','y','y','y','y','n','y','n','n','y','y','y','democrat'
'n','y','y','n','n',?,'y','y','y','y','y','n',?,'y','y','y','democrat'
'n','n','y','n','n','n','y','y','n','y','y','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','n','n','y','y','y','y','y','n','y','n','y','y','y','n','y','republican'
?,?,?,'n','n','n','y','y','y','y','n','n','y','n','y','y','democrat'
'y','n','y','n',?,'n','y','y','y','y','n','y','n',?,'y','y','democrat'
'n','n','y','y','y','y','n','n','y','y','n','y','y','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','y','n','n','n','n','n','y','democrat'
'n',?,'n','y','y','y','n','n','n','n','y','y','y','y','n','y','republican'
'n','n','n','y','y','y',?,?,?,?,'n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y',?,'n','republican'
%
%
%

另外，上例测试集的选取不具随机性，于是就写了一段程序（写的挺难看的，不过能用）随机挑选35个实例作为测试集。

# 随机挑选35个实例作为测试集
from random import randint
f = open('vote.arff', 'r')
vote = f.read()
f.close()
list = vote.split('\n')
head = list[194:213]
data = list[213:-4]
test = []
for i in range(35):
    rand = randint(0,len(data)-1)
    info = data.pop(rand)
    test.append(info)
print(len(data),len(test))
f1 = open('vote1.arff','w')
f2 = open('vote1_test.arff','w')
for line in head:
    line += '\n'
    f1.write(line)
    f2.write(line)
for line in data:
    f1.write(line+'\n')
for line in test:
    f2.write(line+'\n')
f1.close()
f2.close()

图m就是改后的数据截图：

m. vote1.arff 和 vote1_test.arff 在编辑器中打开
（2）四种分类算法主要参数列表：
  • ** 正确预测比例 **
评估方法 朴素贝叶斯 SMO支持向量机 2-最邻近值 C4.5决策树
10折交叉验证 90% 95.75% 92.75% 95.5%
使用训练集 91.4286 % 97.1429 % 94.2857 % 100%
  • ** ROC值 **
评估方法 朴素贝叶斯 SMO支持向量机 2-最邻近值 C4.5决策树
10折交叉验证 0.972 0.959 0.964 0.965
使用训练集 0.983 0.975 1 1

这回的数据分类模型效果比上例都强了太多：四种算法预测正确率都在 90% 之上，而 ROC 值都在0.95之上。其原因一是数据集中实例较多；二是 vote 这个数据集本身是关于政治倾向问题的，相对 weather 中根据天气打网球来说，与“心情”之类的因素没多少关系，具有足够的“必然性”，这点在图n中也可见一斑（几乎仅有被黄线标识这两个属性差异不明显）。

n. 每个属性与类别标签的关系（蓝：democrat，红：republican）

比如剔除了两个黄线标识的属性后，再用J48分类（10折交叉验证情况下），正确预测率达到96%，ROC值也达0.969。（除朴素贝叶斯外，这几个算法的参数都有轻微提升）当然，剔除太多属性后，算法效果并不稳定。

同时，所有四个算法在使用测试集的评估方法下，都有较之10折交叉验证时更好的参数，这大概因为前者虽使用了的35个随机实例作为测试集，但较之后者偶然性仍更大，没有统计回归效应。
比如用刚才的程序重新选出一组训练集和测试集后，参数会变为：

  • ** 正确预测比例2 **
评估方法 朴素贝叶斯 SMO支持向量机 2-最邻近值 C4.5决策树
10折交叉验证 89.75% 96.5% 92.75% 96.25%
使用训练集 97.1429% 94.2857% 97.1429% 97.1429%
  • ** ROC值2 **
评估方法 朴素贝叶斯 SMO支持向量机 2-最邻近值 C4.5决策树
10折交叉验证 0.97 0.966 0.972 0.967
使用训练集 0.98 0.96 0.96 0.978

显然使用测试集的评估方法下，各算法参数变化更大。（当然，无法排除抽取数据导致的随机性，不过应该已经可以提供实验数据支持了）

（3）数据分类结果

选用了最直观易懂的C4.5决策树算法在使用测试集下建立的模型，稍微看一下图o，就可知道起决定作用的只是少数属性，于是也侧面证实了之前提到过的剔除部分不显著属性可以带来效果的提升。

o. C4.5决策树+使用测试集

五、实验结论

在此次实验中，能得到如下结论（在我已有的知识背景下，相信它们也算是一般规律了）：
四个算法的效果：SMO支持向量机 > C4.5决策树 > 2-最邻近值 > 朴素贝叶斯；
四个算法的轻便度（按时间和资源花费的倒序）：朴素贝叶斯 > 2-最邻近值 > C4.5决策树 > SMO支持向量机；
两个评估方法的稳定性：10折交叉验证 > 使用测试集；
两个评估方法的轻便度：使用测试集 > 10折交叉验证。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 159,117评论 4赞 362
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 67,328评论 1赞 293
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 108,839评论 0赞 243
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 44,007评论 0赞 206
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 52,384评论 3赞 287
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 40,629评论 1赞 219
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 31,880评论 2赞 313
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 30,593评论 0赞 198
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 34,313评论 1赞 243
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,575评论 2赞 246
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,066评论 1赞 260
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 28,392评论 2赞 253
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 33,052评论 3赞 236
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,082评论 0赞 8
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,844评论 0赞 195
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 35,662评论 2赞 274
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 35,575评论 2赞 270

推荐阅读更多精彩内容

  • RSHandbook笔记P1C1：推荐系统中的数据挖掘方法
    RSHandbook笔记P1C1：推荐系统中的数据挖掘方法 标签： 推荐系统HandBook笔记 由于简书不支持l...
    littlekid阅读 1,148评论 0赞 5
  • 机器学习（周志华）_读书笔记
    机器学习 经验 数据 数据中产生模型model 的算法 学习算法 learning algorithm 数据集 d...
    时待吾阅读 3,872评论 0赞 3
  • 结婚与恋爱
    大多数的人都是先谈一段时间恋爱，等感觉到双方彼此之间有了一些相互了解，有些现实问题达成共识，并且有了一定的感情基础...
    剑走偏锋独行侠阅读 149评论 1赞 2
  • 站台童话
    有一种童话之所以美好，在于没有结局。 1. 脚下的步子不快不慢，刚好够十分钟从学校走到公交车站，怀里抱着自习课上还...
    岁岁有乔木阅读 311评论 3赞 7
  • 东京最后的夜晚
    “你知道什么时候我们真的感到孤独吗？” “是在人群里” 这个冬天过的很漫长，我却忽然想起了那个东京最后的夜晚 我本...
    忧愁LEE阅读 269评论 0赞 0