RF自动化测试框架扩展:扩展自定义库

    RF库其实和用selenium自动化测试调用一些方法是类似的,在selenium中,我们会定义一些类和方法然后调用,但是RF框架是用关键字的,所以有时候需要我们用python进行方法和库的定义,然后把一些关键字传给RF框架。

    我们举一个例子,首先,我这里新建了个userdata.txt文本,具体内容如下,然后我想通过定义方法,来获取这个文本中每一行的内容。具体代码:

# -*- coding:utf-8 -*-

def Load_Userdata(fname):

    udata = []

    with open(fname) as f:

        for line in f:

            r =line.strip().split(' ')

            udata.append(r)

    return udata

if __name__ == '__main__':

    fpath = r'C:\Users\Administrator\Desktop\userdata.txt'

    result= Load_Userdata(fpath)

    #print(result)

    for i in result:

        print(i)

运行结果如下:

这样的话,我们现在就完成了读取txt文本的每行内容,现在如何RF框架来调用呢,继续上图:

step1:通过cmd运行ride.py打开RobotFrameWork,然后新建一个工程,在工程下新建一个suite,再在suite下新建一个case用例命名为test_library:然后鼠标选中Search,点击界面中的‘Library’,之后会弹出来个对话框,把data_read添加到该路径即可。

然后返回到主界面就可以看到已经添加的库了:

我们新建一个test_library来测试一下:具体代码如下

运行结果,没有报错表明我们自己新建的库可以正常使用。

实践:

     最近我们项目要测试图库(neo4j)同步,而Robot Framework不支持图库API,所以我就写了一个neo4j的测试库,今天跟大家分享下。 (Neo4j是一个高性能的,NOSQL图形数据库,它完全支持ACID(原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability))数据库事务属性,采用JAVA语音编写,由于其良好的图数据模型设计,Neo4j的速度非常快。对于连接的数据操作,Neo4j的速度要比传统的关系型数据库快1000倍。部署一个neo4j服务器便可以承载上亿级的节点和关系。当单节点无法承载我们的数据需求时,我们可以进行分布式集群部署.)

【需求】

neo4j图库从pg数据库同步数据,检查同步后数据源和目标库数据是否一致

【实现步骤】

1.测试设计

根据测试的需求我们设计如下的测试。

因为本次同步设计到多个节点和多个关系。基本的思路是:

1)编写sql脚本,Robot Framework调用Execute Sql Script关键字,增加如上的一个子图(包括节点和关系)到pg源数据库

2)通过远程ssh调用同步代码,进行neo4j图库同步

3)待同步完成,调用Library进行neo4j数据获取,调用自带的DatabaseLibrary进行源数据获取

4) 使用padas的dataframe进行数据比较,输出判断结果

5)编写sql脚本,进行子图更新

6)重复2-4步骤

7)编写sql脚本,进行子图删除

8)重复2-4步骤

2.编写Library

首先我们编写第3,4步骤的代码。编写完成后放到site-packages目录下。

主要提供如下功能:

主要方法1:get_node_and_relation

功能:封装neo4j的调用,实现查询图库的实体和关系的功能

核心代码:

def get_node_and_relation(self,url,username=None,password=None,queryType=None):

      # 定义匹配,查询查询neo4j

      logger.info('开始查询neo4j中%s的检查'%( queryType))

      graph = Graph(url,username=username,password=password)

      # print(graph)

      if queryType.find('_') > -1:

          rels = graph.match((), r_type=queryType)

      else:

          matcher = NodeMatcher(graph)

          rels = matcher.match(queryType)

      logger.info('数据长度为:%d'%(len(rels)))

      # print(len(rels))

      neo4jDf = pd.DataFrame(data=list(rels))

      # print(queryType)

      columns = self.getColumnsByType(queryType)[0]

      # print(columns)

      if columns != None:

          neo4jDf.rename(columns=columns, inplace=True)

      logger.info('neo4j表中%s的原始数据长度为:%d'%(queryType, neo4jDf.shape[0]))

      return neo4jDf

主要方法2:getCompareAll

功能:对比源数据库pg取到的数据,与目标数据库Neo4j取到的数据库进行比较

1.首先确定是关系还是实体,如果是关系,去掉实体不存在的关系

2.比较neo4jDf,pgDf,计算出addset,diffset.并把不一致的结果输出成文件,并把不一致的条数返回

核心代码:

def getCompareAll(self, pgDf, neo4jDf, type,node1Result=None,node2Result=None):

      logger.info('开始比较数据')

      logger.info(type)

      columnList = self.getColumnsByType(type)[1] 

      # 如果是关系,去掉实体不存在的关系

      if type.find('_') > -1:

          node1 = type.split("_", 2)[0]

          node2 = type.split("_", 2)[2]

          logger.info('开始检查关系实体数据是否存在')

          nodedf1 = self.convertDbResultToDataframe(node1Result,node1)

          node1list = list(set(list(nodedf1['code'])))

          nodedf2 = self.convertDbResultToDataframe(node2Result,node2)

          node2list = list(set(list(nodedf2['code'])))

          pgDf = pgDf[pgDf['relation_code'].map(

                  lambda x: (x.split("_", 1)[0] in node1list) and (x.split("_", 1)[1] in node2list))]

      logger.info('kettle表中%s的去掉无实体的关系后数据长度为:%d'%( type, pgDf.shape[0]))

      # 去重

      if type.find('_') > -1:

          pgDf.drop_duplicates(['relation_code'], keep='first', inplace=True)

      else:

          pgDf.drop_duplicates(['code'], keep='first', inplace=True)

      logger.info('kettle表中%s的去重后数据长度为:%d'%( type, pgDf.shape[0]))

      returnCount = 0

      if (pgDf is not None):

          neo4jset = set(neo4jDf[columnList[0]])

          pgDfset = set(pgDf[columnList[0]])

          addset = neo4jset - pgDfset

          diffset = pgDfset - neo4jset

          if neo4jset != pgDfset:

              logger.error('[' + type + ']数据重复的主键条数为: %d条' % len(addset))

              # logger.error('[' + type + ']数据重复的主键数据为: %s条', addset)

              logger.error('[' + type + ']数据缺失的主键条数为: %d条' % len(diffset))

              # logger.error('[' + type + ']数据缺失的主键数据为: %s条', diffset)

              if len(addset) > 0:

                  adddf = pd.DataFrame(list(addset))

                  returnCount = returnCount + adddf.shape[0]

                  adddf.to_csv('neo4j_' + type + 'addset.csv', encoding='UTF-8-SIG')

              if len(diffset) > 0:

                  diffdf = pd.DataFrame(list(diffset))

                  returnCount = returnCount + diffdf.shape[0]

                  diffdf.to_csv('neo4j_' + type + 'diffset.csv', encoding='UTF-8-SIG')

          else:

              logger.info('数据条数一致,开始输出结果')

              comparedf = pd.merge(neo4jDf, pgDf, on=columnList[0], how='outer')

              comparedf['judge'] = 1

              comparedf.fillna('', inplace=True)

              i = 0

              for column in columnList:

                  if i == 0:

                      i = i + 1

                      continue

                  comparedf[column + '_compare'] = comparedf.apply(

                      lambda x: True if x[column] == x[column + '_neo4j'] else False, axis=1)

                  comparedf[column + '_compare'] = comparedf[column + '_compare'].map(lambda x: 1 if x == True else 0)

                  comparedf['judge'] = comparedf['judge'] * comparedf[column + '_compare']

                  i = i + 1

              comparedf['judge'] = comparedf['judge'].apply(lambda x: True if x == 1 else False)

              deltadf = comparedf[comparedf['judge'] == False]

              logger.info('完成比较neo4j数据')

              logger.info('[' + type + ']数据不对应的条数为: %d条' % deltadf.shape[0])

              # logger.info("数据不对应的条数为: %d条", deltadf.shape[0])

              if deltadf.shape[0] > 0:

                  returnCount = returnCount + deltadf.shape[0]

                  deltadf.to_csv('neo4j_' + type + 'deltadf.csv', encoding='UTF-8-SIG')

      return returnCount

3.编写测试脚本

如下脚本反映主要步骤:

脚本1:

*** Settings ***

Suite Setup       Connect To Database Using Custom Params    psycopg2    database=${pg_database},user= ${pg_username}, password=${pg_password} ,host=${pg_host}, port=${pg_port}

Suite Teardown    Disconnect From Database

Library           DatabaseLibrary

Library           Neo4jLibrary

Library           SSHLibrary

#Suite setup时候连接数据库,Suite teardown时候关闭数据库连接


脚本2:

*** Test Cases ***

dataInitial

    [Tags]    P1

    Execute Sql Script    ${rootDir}${sql_add_path


脚本3:

graphSync

    [Tags]    P0

    Open Connection    ${graph_ip}    timeout=1 hour

    Login    ${graph_username}    ${graph_password}

    Write    cd /app/graph

    Write    sh kg_job.sh

    Read Until    Program running status written to log library successfully!step_no:8510    INFO

    Close All Connections

#调用SSHLibrary进行远程调用,执行数据同步,完成pg库到neo4j图库的数据同步过程


脚本4:

fundcompany

    [Tags]    P0 

    log    ${neo4j_url}

    log    ${neo4j_username}

    ${pg_sql}    getSqlByType    fundcompany

    ${result_kettle}    query    ${pg_sql}

    ${df_pg}    Convert Db Result To Dataframe    ${result_kettle}    fundcompany

    ${df_neo4j}    Get Node And Relation    ${neo4j_url}    ${neo4j_username}    ${neo4j_password}    fundcompany

    ${returnCount}    getCompareAll    ${df_pg}    ${df_neo4j}    fundcompany

    log    ${returnCount}

    Should Be Equal As Integers    0    ${returnCount}    'fundcompany compare failed'

脚本解析:

进行各个实体,关系的比较,这里以一个实体fundcompany为例

【pg源数据查询】

首先获取到实体查询语句

    ${pg_sql}    getSqlByType    fundcompany

进行查询

    ${result_kettle}    query    ${pg_sql}

把查询结果转换为dataframe

 ${df_pg}    Convert Db Result To Dataframe    ${result_kettle}    fundcompany

【neo4j目标数据查询】

调用自定义library查询

  ${df_neo4j}    Get Node And Relation    ${neo4j_url}    ${neo4j_username}    ${neo4j_password}    fundcompany

【源数据和目标数据比较】

 ${returnCount}    getCompareAll    ${df_pg}    ${df_neo4j}    fundcompany

    log    ${returnCount}

    Should Be Equal As Integers    0    ${returnCount}    'fundcompany compare failed'


脚本5:更新子图数据,模拟update场景

data Update

    Execute Sql Script    ${rootDir}${sql_update_path}


脚本6:调用同步

graphSync

    [Tags]    P0

    Open Connection    ${graph_ip}    timeout=1 hour

    Login    ${graph_username}    ${graph_password}

    Write    cd /app/graph

    Write    sh kg_job.sh

    Read Until    Program running status written to log library successfully!step_no:8510    INFO

    Close All Connections


脚本7:进行各个实体,关系的比较

fundcompany

    [Tags]    P0

    [Setup]    log    hello liuqiong

    log    ${neo4j_url}

    log    ${neo4j_username}

    ${pg_sql}    getSqlByType    fundcompany

    ${result_kettle}    query    ${pg_sql}

    ${df_pg}    Convert Db Result To Dataframe    ${result_kettle}    fundcompany

    ${df_neo4j}    Get Node And Relation    ${neo4j_url}    ${neo4j_username}    ${neo4j_password}    fundcompany

    ${returnCount}    getCompareAll    ${df_pg}    ${df_neo4j}    fundcompany

    log    ${returnCount}

    Should Be Equal As Integers    0    ${returnCount}    'fundcompany compare failed'


脚本8:更新子图数据,模拟delete场景

dataClear

    [Tags]    P1

    Execute Sql Script    ${rootDir}${sql_delete_path}


脚本9:调用同步

graphSync

    [Tags]    P0

    Open Connection    ${graph_ip}    timeout=1 hour

    Login    ${graph_username}    ${graph_password}

    Write    cd /app/graph

    Write    sh kg_job.sh

    Read Until    Program running status written to log library successfully!step_no:8510    INFO

    Close All Connections


脚本10:进行各个实体,关系的比较

fundcompany

    [Tags]    P0

    [Setup]    log    hello liuqiong

    log    ${neo4j_url}

    log    ${neo4j_username}

    ${pg_sql}    getSqlByType    fundcompany

    ${result_kettle}    query    ${pg_sql}

    ${df_pg}    Convert Db Result To Dataframe    ${result_kettle}    fundcompany

    ${df_neo4j}    Get Node And Relation    ${neo4j_url}    ${neo4j_username}    ${neo4j_password}    fundcompany

    ${returnCount}    getCompareAll    ${df_pg}    ${df_neo4j}    fundcompany

    log    ${returnCount}

    Should Be Equal As Integers    0    ${returnCount}    'fundcompany compare failed'


4.对测试库进行测试

如果是开发环境/本地执行,直接使用Ride的Run界面。

如果是测试环境/生产环境,调用命令行执行,可编写如下的shell脚本定时执行:

export LANG=en_US.UTF-8

# up to env

log_path=/var/log/rbpaa/batch

ROBOT_HOME=/app/rbppTest/RobotFramework/RobotAdvisorProject/Graph

day=$(date +%Y%m%d)

log_file=${log_path}/cron_neo4j_job_${day}.log

err_file=${log_path}/error/rbpaa_${day}.err

echo $(date '+%Y-%m-%d %H:%M:%S') start execute job GraphTest

varabileFile=variables.py

case_list=( 'UpdateTest.txt' )

while [[ i -lt ${#case_list[@]} ]]; do

    bh=${case_list[i]}

    echo execute ${bh}

/var/python3.6.5/bin/robot -d $ROBOT_HOME -V $ROBOT_HOME/${varabileFile}:test $ROBOT_HOME/${bh} |tee -a ${log_file}

    result=$?

    echo $(date '+%Y-%m-%d %H:%M:%S') ${bh} result=${result}

    if [ ${result} -ne 0 ]; then

        echo error exit.

        echo ${bh} error >> ${err_file}

        exit

    fi

    let i++

done

echo $(date '+%Y-%m-%d %H:%M:%S') job GraphTest end.

核心语句为斜体部分,调用robot命令执行

-d设置代码目录

-V设置变量文件

推荐阅读更多精彩内容