pandas basic提升工作中的表格数据筛选、匹配效率

近日发现工作中有一项任务需要高频率地对表格进行处理,涉及到数据筛选和匹配的过程,这类工作机械化、重复性高、过程无意义,因此考虑用pandas来固化这一操作过程,提升工作效率。

先介绍一下背景。部门产品有两个品牌,每个品牌底下涉及的机型很多,各机型之间的能力差异(拥有的功能及规格)通过一个表格(能力集)来控制,能力集中包含各功能模块及其子项,有好几百项。

而每年新产品发布都会新增不少机型,这些机型都对应对标部分已有的机型,即新机型的能力必须不低于对标老机型的能力。目前的测试方法为黑盒测试,测试人员没有章法、没有统一测试环节,发现问题常常是误打误撞,甚至可能在SIT阶段才发现能力集问题。为了改变这一情况,团队决定通过白盒方式,比较能力集表格中新老机型的差异、匹配到对应的模块负责人来统一测试,由于每个测试版本开发都可能不断优化产品能力,因此该表格虽然结构不变,但数值可能会有变化,需要定期检查,各模块测试人员参考比对结果有目的地进行测试。每发布一个测试版本都对一个几百*几百的表格进行机械化地操作,不如考虑用pandas来处理,减少表格操作时间、提升效率。

输入(以下数据内容均为构造)

1、能力集表格(test_capability.csv)

test_capability.csv

2、模块-对应测试人员表格(module_tester.csv)

module_tester.csv

3、需要比对的机型列表(直接在代码中修改)

#想要比较的目标机型

cols = [['BrandA110E','BrandA115E'],['BrandB2333','BrandB2333E']]

输出

1、差异比对表格(diff.xlsx),其中每一个表单对应一对机型比对的差异结果,且匹配了对应的模块负责的测试人员

diff.xlsx

需要引入的包:

# -*- coding: utf-8 -*-

import csv

import numpy as np

import pandas as pd

比对机型差异函数get_diff(col_names,df,testers):

涉及最基础的pandas对数据框的操作(取数据、新建空dataframe、追加值)

比对机型差异函数get_diff(col_names,df,testers)

其中调用了匹配模块对应测试负责人的函数match_testers:

涉及dataframe的匹配pd.merge和排序df.sort_values,类似sql的join和sort:

匹配模块对应测试负责人的函数match_testers

主函数:

涉及用pandas进行csv读取及写入到一个excel的多个表单

主函数

附:pandas cheatsheet


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,298评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,701评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,078评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,687评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,018评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,410评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,729评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,412评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,124评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,379评论 2 242
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,903评论 1 257
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,268评论 2 251
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,894评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,014评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,770评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,435评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,312评论 2 260

推荐阅读更多精彩内容