KDD CUP作为全球顶级数据挖掘竞赛，幸得师弟鼓励拉上本拖油瓶一起参赛~~
5.31日比赛就结束了，这次的kdd cup作为我们的练习赛吧，本来早就要做这个可视化分析的，但是工作太忙，一直抽不出时间，抱歉了，战友们=。=
明确目的
- kdd cup 2018的题目要求：给出北京、伦敦各空气监测站点2017-2018年每天每小时的空气质量监测数据，以及当时附近的环境质量数据，预测未来48小时内北京35个站点的PM2.5，PM10和O3的浓度，以及伦敦13个站点的PM2.5和PM10的浓度，预测数据将与未来的实时数据进行比较，连续21天预测数据的经验风险越小的队伍越流弊。
- 本次可视化分析目的：观察北京监测点的空气质量之间的相关性、与季节的关系、与工作日的关系以及对空气质量参数的时序分析，发现规律，帮助把握数据结构、理清思路，为下一步建模提供支撑
选点探索
- 北京有35个站点的PM2.5、PM10、O3需要预测，这里暂选城区"dongsi_aq"和交通污染监控点"dongsihuan_aq"两个监测点进行探索
- 直觉预测，交通污染监测点的空气质量与工作日与否强相关，各监测点空气质量与季节强相关
- 以下分析仅基于"dongsi_aq"和"dongsihuan_aq"两个监测点
一、数据观察
- info
- describe
观察结果
- 表内容：北京2017-2018年，指定站点在各整点时间的空气质量
- 共有31万条数据，其中PM2.5/No2/O3/SO2缺失2万条数据、CO缺失5万条数据、PM10缺失9万条数据（数据清洗和补全）
- PM2.5均值在59左右，最大值为1004爆表
二、数据清洗和补全
- 通过数据观察，可以看到，6个指标都有不同程度的缺失，需要补全，补全思路是：
- 首先去除异常值，避免异常值对于补全的影响（哪些是异常值？）
- 补全思路1（简单粗暴版）：若某个站点在某个时间点的X指标有缺失值，那么结合该站点附近时间点的X指标值进行补全（取前后2小时的均值，但可能存在连续时间段缺失数据的情况）
- 补全思路2（精耕细作版）：将站点空气质量和站点附近的环境状况关联起来，用站点附近的与空气质量相关性最高的一两个环境参数作为自变量，简单预测补全空气质量的缺失值（这里其实就是对空气质量的预测了，只是预测很粗糙）
- 数据客观性考虑，下面的可视化探索暂时不补全缺失数据（补全不合理可能误导后面的预测），对于缺失数据选择忽略
- 数据的清洗：定义异常值？需要一定的常识，比如PM10的常识范围是什么，排除掉不在常识范围内的指标值等，这里选择先排除掉常识范围外的指标值，然后在后一步数据规律探索时发现异常并处理
三、时间字段(utc_time)的处理
为了方便下一步探索规律，对时间字段处理如下
- 从utc_time字段处理得到date、month、day、weekday、hour
- month map到season
- weekday map到星期几
四、规律探索（可视化）
分析维度
- 分季节、分星期几查看空气质量参数的统计特征
- 6个空气质量参数的关联性分析（先按季节划分）
- 空气质量参数的时序分析
4.1 分季节、分星期几查看空气质量参数的统计特征
分季节，空气质量参数统计情况分析：
- 冬季的各项指标值（除了O3）都偏大，夏季的各项指标值（除了O3）都偏小，原因可能在于冬季集中供暖，加上气温偏低而夏季气温高便于污染物排出到大气循环中
- PM2.5在春冬季较高，且冬季有大量偏高的离群点，在夏秋季偏低，说明PM2.5浓度与气温气压强相关，高气温低气压有利于PM2.5的向上排出稀释
- PM10在春季最高，这可能归因于北京春季的柳絮、扬尘等自然因素，其次是冬季，冬季还是主要由于集中供暖，夏秋季空气质量较好
- O3浓度和空气污染物浓度呈负相关，O3可能可以净化空气，秋季O3浓度有大量偏高点，这也许也是“秋高气爽”的原因之一
各星期几，空气质量参数统计情况分析：
- 预测情况，工作日与非工作日的空气质量会有较大差异，因为工作日的汽车尾气排放量可能会高于非工作日、工厂可能也会有休息等情况
- 实际情况，工作日与非工作日的空气质量差异不明显，可能是由于展示了全年数据，并没有对季节等情况进行区分，进一步，如果能下沉到具体的日期进行分析，应该可以看到一定的差异，这一点在后续时序分析中进行
- 究其根本，分工作日与否，其实想看的是汽车尾气、工厂排放对空气质量的影响，这一点可以后续结合周围第三方环境数据进行分析
4.2 6个空气质量参数的关联性分析（先按季节划分）
各季节空气质量参数关联性分析：
- 不论什么季节，O3浓度与其余空气质量参数负相关，特别在冬季，负相关程度最大，其中的原因有两种可能：
- O3抑制PM2.5、PM10、NO2、CO、SO2（因果关系,O3净化空气）
- 冬季北京暖气等取暖设备开启，排出PM2.5、PM10、NO2、CO、SO2等污染物，消耗O3（同一因导致的果）
- 冬季，除了O3外的所有空气质量参数呈强正相关，其中的原因可能有两点：
- 北京冬季集中供暖，排出PM2.5、PM10、NO2、CO、SO2等污染物
- 冬季寒冷，污染物下沉在地面附近，难以向上排出稀释
- 夏季，各空气质量参数的相关系数与其他季节相比，都有所减小，其中可能的原因是：
- 夏季气温高，有利于污染物向上排出
- 夏季不需要供暖，污染物源头本来就少于冬季
- 各季节空气质量参数相关性有所不同，但整体趋势一致：
- PM2.5、PM10、CO在各季节都强相关（相关系数一般>0.5）
-
星期几与空气质量关系
- 相关性分析，可以证实，工作日与否与空气质量几乎无关
4.3 空气质量参数的时序分析
- 数据划分原则：
- 根据前面的分析，空气质量具有强烈的季节特征，因此先将数据按季节划分
- 人们的活动具有规律性，与星期几强相关，因此按季节划分数据后，再按星期几划分，对空气质量数据规律进行探索
- 分析维度（仅基于dongsi、dongsihuan）
- 各月，PM2.5/PM10/O3均值的变化
- 各季节、各星期几，PM2.5/PM10/O3均值24小时的变化特征
- 分月，分时间点，PM2.5/PM10/O3均值随日期的变化特征
4.3.1 各月，PM2.5/PM10/O3均值的变化
分析
- dongsihuan6月数据全部缺失
- PM2.5
- 在夏季（678月）陡降，这与高气温低气压、不供暖有关
- 123月浓度最高，与气温气压供暖有关
-
5月出现一个回升：4月浓度以及下降了，为什么5月会有回升？
- 考虑结合5月环境质量参数分析
- PM10
- 在夏季（678月）陡降，这与高气温低气压、不供暖有关
- 1~5月浓度逐渐攀升，5月达到最高点，PM10包含扬尘、粉尘等物质，北京春季扬尘较多，这可能是原因之一
- 夏季进入冬季后，由于供暖烧煤等因素，PM10浓度上升
- O3
- 随着气温升高，浓度逐渐增大
- 夏季O3浓度最大，冬季最小，秋高气爽原因可知一二
4.3.2 各季节、各星期几，PM2.5/PM10/O3均值24小时的变化特征
dongsi监测点PM2.5分析：
- 夏秋季各天各时段的PM2.5数据都比较平稳，夏季差别最小，秋季的周三浓度最低，周五浓度最高
- 冬春季各时段数据波动较大，冬季晚上（睡眠时段）浓度升到最高，可能是睡觉取暖的原因（烧煤、暖气等）
- 春季周四各时段的浓度普遍高于其他日期，值得关注
dongsihuan监测点PM2.5分析：
- 夏季情况和邻近的dongsi站点差别很大，dongsihuan受交通污染影响更大，特别在上下班高峰时段的PM2.5浓度较高，说明汽车尾气对于这类站点监测数据的影响较大，应该纳入建模
- 这里可以看到，周六周天的浓度普遍低于工作日，说明工作日与否对于此类站点监测数据的影响也很大，究其根本，还是汽车尾气对于“交通污染监控点”的数据有影响
对于PM10、O3的分析与PM2.5类似，可视化结果展示在源代码
4.3.3 分月，分时间点，PM2.5/PM10/O3均值随日期的变化特征
dongsi PM2.5分析：
- 一月9点，月初和月末的浓度较高；七月9点缺失数据较多
- 一月各天的19点浓度比较平稳；七月19点，浓度在月初月末较高
- 此分析对于时序分析中的“同一时间点前后两天”的分析有参考价值，对于特别之处的时间点，可以做此分析
- PM10、O3以及dongsihuan监测点情况分析方法类似
五、总结
- 各小结总结点见各小结文字
- 总的分析思路如下，本次可视化分析主要探索北京dongsi、dongsihuan两个监测点的空气质量之间的相关性以及时序分析
