数据处理备忘清单

本次笔记内容:

  • ...虽然我明白每次拿到的数据都不一样,数据处理和清洗的步骤和侧重也不一样,但总有一些共性。这使得一个备忘清单很有必要。拿到一套数据后,我们可以对着清单排雷,并加上新遇到的雷。

  • 所以本笔记内容是做数据处理和清洗时需要注意的东西。持续更新,欢迎补充。

  • 我们使用python pandas数据处理

  • 这里的数据指目前我们工作中遇到的微生物组metadata,如电子病历,问卷收集的研究对象社会人口学信息,生活习惯等。有手工录入的,也有自动收集并导出的数据。本质上也是由samples和features构成的data.


  1. 重复值: 重复行/列
  2. 处理有关联的表格,需要注意的地方
  3. 异常值: 不规范数值及错误值
  4. 缺失程度: 每个feature的缺失率
  5. 数据分布:
  6. ... ...
1. 重复行/列:
2. 处理有关联的表格,需要注意的地方
  • 有关联的表格,比方说OTU table和样本电子病历表格。一个是样本的微生物组数据,一个是样本的疾病信息。样本ID将两个表格关联在一起。
  • 以上为例,则两个表格的样本ID必须完全一致。
  • 检查有关联的表格,关联ID(key)是否完全一致。整理出一致和不一致的部分,与数据提供方核实。
  • 重复行/列可能对关联造成影响,先解决重复行/列问题的问题。
3. 异常值
  • 检查不规范异常值:
     > 每列数据是否为统一数据类型:连续型变量列中是否存在string;检查分类型变量中是否存在int/float等。
     > 例如本应该为NA的值被填充为空格, _, -,\,/,
     > 例如0.45误填充为0,45导致变成string;例如个别数值型变量被加上了单位变成string
     > 是否确为误填需与数据提供方核实
  • 检查错误值
     > 如身高体重数值夸张,男性患者病史中有子宫肌瘤等不合常识及逻辑的错误。
     > 有些feature由其它列计算得到,比如BMI由身高体重计算得到。可以核对是否正确。
     > 需要注意有些病例或生活习惯信息,一些患者的病理指标远远超出平均范围,可能是疾病导致,并不是错误值。
     > 有必要时,让数据提供方提供一套正常值范围,包括连续型变量的正常范围,分类型变量包括的所有类别。
     > 无法修正的异常值填为空值。做好修正记录。
4. 缺失值
  • 拿到数据后概览一下raw data的缺失情况。方法参考本链接第8条
  • 将异常值处理好后,再处理缺失值。
  • 设置一个cutoff,大概50%-70%,视情况而定。去除缺失率超过cutoff的feature。将留下的features填充缺失值。
  • 填充缺失值有很多种方法,均值,0,knn, 或者直接NA
  • 记录删除的features,对填充缺失值的feature做好记录。
5. 数据分布
  • 概览raw data的数据分布情况。方法参考本链接第8条
  • 将重复行/列,异常值,缺失值等问题处理好后,查看数据各feature的分布情况,可以制图或表。
6. to be continued...

推荐阅读更多精彩内容

  • ORA-00001: 违反唯一约束条件 (.) 错误说明:当在唯一索引所对应的列上键入重复值时,会触发此异常。 O...
    我想起个好名字阅读 3,741评论 0 9
  • 国家电网公司企业标准(Q/GDW)- 面向对象的用电信息数据交换协议 - 报批稿:20170802 前言: 排版 ...
    庭说阅读 7,768评论 6 13
  • 机器学习里有一句名言:数据和特征决定了机器学习的上限,而模型和算法的应用只是让我们逼近这个上限。这个说法形象且深刻...
    3b899188980c阅读 2,665评论 0 3
  • 《数据处理的SPSS和SAS EG实现》的读书笔记 作 者:经管之家、曹正凤 出版社:电子工业出版社 版 次:...
    格式化_001阅读 1,899评论 1 7
  • 胡为乎株林?从夏南。匪适株林,从夏南。 驾我乘马,说于株野。乘我乘驹,朝食于株! 从,跟随、追随。出嫁,妻从夫也。...
    钧树阅读 199评论 1 1
  • 我还能说什么呢 第一次的相遇,就已注定了结局 那是一个清冷的早晨 那般的笃定是美丽的 但变化无常更是美丽 这样的结...
    YAOAYUAN阅读 809评论 0 6
  • 杂文定义、题材与体裁三人说 □安立志 岩 泉 朱铁志 □□安立志:目前杂文界似乎公认的杂文定义,是瞿秋白所谓的“文...
    杞国岩泉阅读 680评论 0 1
  • 昨天女儿放学回来,让她先洗澡,她说要吃完晚饭洗,然后说要休息一会,后经劝说,还是先去完成作业了,感赏女儿听了我的意...
    正面的期待阅读 45评论 0 0
  • 大家都走了 要干自己的事了
    喵的宇宙阅读 90评论 0 0