pytest 框架

pytest 特点

点击这里,边看视频讲解,边学习以下内容

基于 Python 语言的自动化测试框架 最知名的 有如下 3 款

  • unittest

  • pytest

  • robotframework

前两款框架主要(或者说很大程度上)是 聚焦 在 白盒单元测试

而 robotframework 主要聚焦在 系统测试。

如果 你是测试人员, 要做 系统测试 的自动化, 白月黑羽更推荐我们自研的 黑羽robot, 是基于robotframework 的改良版。点击这里,学习黑羽robot


pytest 可以用来做 系统测试 的自动化, 它的特点有

  • 用 Python 编写测试用例,简便易用

  • 可以用 文件系统目录层次 对应 手工测试用例 层次结构

  • 灵活的 初始化清除 机制

  • 可以灵活挑选测试用例执行

  • 利用第三方插件,可以生成不错的报表


pytest 的功能非常 多, 我们这里主要介绍 常用的功能。

安装

直接执行 如下命令即可安装 pytest

pip install pytest 

我们还需要产生测试报表,所以要安装一个第三方插件 pytest-html ,执行如下命令安装

pip install pytest-html

快速上手

pytest 如何知道你哪些代码是自动化的测试用例?

官方文档 给出了 pytest 寻找 测试项 的 具体规则

  • 如果未指定命令行参数,则从 testpath(如果已配置)或当前目录开始收集。

    如果命令行参数, 指定了 目录、文件名 或 node id 的任何组合,则按参数来找

  • 寻找过程会递归到目录中,除非它们匹配上 norecursedirs。

  • 在这些目录中,搜索由其测试包名称导入的 test_*.py*_test.py 文件。

  • 从这些文件中,收集如下测试项:

    • test为前缀 的 函数
    • Test为前缀的 里面的 test为前缀的方法

这些规则,咋一看有点晕。 我们用例子来演示。

测试用例代码

首先,我们编写的测试用例代码文件, 必须以 test_ 开头,或者以 _test 结尾

比如,我们创建一个 文件名为 test_错误登录.py ,放在目录 autotest\cases\登录 下面。

其中 autotest 是 我们创建的 自动化项目根目录

内容如下

class Test_错误密码:

    def test_C001001(self):
        print('\n用例C001001')
        assert 1 == 1
        
    def test_C001002(self):
        print('\n用例C001002')
        assert 2 == 2
        
    def test_C001003(self):
        print('\n用例C001003')
        assert 3 == 2

如果我们把测试用例存放在类中, 类名必须以 Test 为前缀的 ,用例对应的方法必须以 test 为前缀的方法。


pytest 中用例的检查点 直接用 Python 的 assert 断言。

assert 后面的表达式结果 为 True ,就是 检查点 通过,结果为False ,就是检查点 不通过。

我们这里先快速给大家介绍 pytest 的基本用法, 就先用简单的 表达式演示一下, 后面的教程会有实际的测试代码 和 检查点。

运行测试

执行测试非常简单,打开命令行窗口,进入自动化项目根目录(我们这里就是 autotest),执行命令程序 pytest 即可

上面的示例执行结果如下

image

显示找到3个测试项,2个执行通过,1个不通过。

通过的用例 是用一个绿色小点表示, 不通过的用例用一个红色的F表示

并且会在后面显示具体不通过的用例 和不通过的检查点 代码细节。


大家可以发现,用例代码中有些打印语句没有显示出内容。

因为pytest 会 截获print打印的内容。

如果我们希望 显示测试代码中print的内容,因为这些打印语句在调试代码时很有用,可以加上命令行参数 -s

如下

pytest -s

如果我们希望得到更详细的执行信息,包括每个测试类、测试函数的名字,可以加上参数 -v,这个参数可以和 -s 合并为 -sv

如下

pytest -sv

执行 pytest 时, 如果命令行没有指定目标目录 或者 文件, 它会自动搜索当前目录下所有符合条件的文件、类、函数。

所以上面,就找到了3个测试方法,对应3个用例。

我们目前 项目根目录 中 只有一个cases 目录用例存放测试用例, 将来还会有其他目录,比如:

lib目录存放库代码、cfg目录存放配置数据 等等。

为了防止 pytest 到其他目录中找测试用例项,执行测试时,我们可以在命令行加上目标目录 cases ,就是这样

pytest cases

产生报告

前面在安装pytest,我们也安装了 pytest-html 插件,这个插件就是用来产生测试报告的。

要产生报告,在命令行加上 参数 --html=report.html --self-contained-html ,如下

pytest cases --html=report.html --self-contained-html

这样就会产生名为 report.html 的测试报告文件,可以在浏览器中打开


但是这个工具有个bug,导致测试目录、文件、类名 中,如果有中文,显示为乱码

可以这样修复:

  • 打开该插件对应的代码文件,通常在解释器目录下:site-packages\pytest_html\plugin.py

  • 找到如下代码

      class TestResult:
          def __init__(self, outcome, report, logfile, config):
              self.test_id = report.nodeid.encode("utf-8").decode("unicode_escape")
    

    改为

      class TestResult:
          def __init__(self, outcome, report, logfile, config):
              # 白月黑羽修改方法,解决乱码问题
              # self.test_id = report.nodeid.encode("utf-8").decode("unicode_escape")
              self.test_id = report.nodeid
    
    

然后再次运行,就可以发现中文乱码问题已经解决了。

初始化清除

点击这里,边看视频讲解,边学习以下内容

对自动化测试框架来说,初始化清除功能 至关重要。

模块级别

模块级别 的初始化、清除 分别 在整个模块的测试用例 执行前后执行,并且 只会执行1次

如下定义 setup_module 和 teardown_module 全局函数

def setup_module():
    print('\n *** 初始化-模块 ***')


def teardown_module():
    print('\n ***   清除-模块 ***')

class Test_错误密码:

    def test_C001001(self):
        print('\n用例C001001')
        assert 1 == 1
        
    def test_C001002(self):
        print('\n用例C001002')
        assert 2 == 2
        
    def test_C001003(self):
        print('\n用例C001003')
        assert 3 == 2


class Test_错误密码2:

    def test_C001021(self):
        print('\n用例C001021')
        assert 1 == 1
        
    def test_C001022(self):
        print('\n用例C001022')
        assert 2 == 2

执行命令 pytest cases -s ,运行结果如下

collected 5 items

cases\登录\test_错误登录.py
 *** 初始化-模块 ***

用例C001001
.
用例C001002
.
用例C001003
F
用例C001021
.
用例C001022
.
 ***   清除-模块 ***

可以发现,模块级别的初始化、清除 在 整个模块所有用例 执行前后 分别 执行1次

它主要是用来为该 模块 中 所有的测试用例做 公共的 初始化 和 清除

类级别

类级别 的初始化、清除 分别 在整个类的测试用例 执行前后执行,并且 只会执行1次

如下定义 setup_class 和 teardown_class 类方法

def setup_module():
    print('\n *** 初始化-模块 ***')

def teardown_module():
    print('\n ***   清除-模块 ***')

class Test_错误密码:

    @classmethod
    def setup_class(cls):
        print('\n === 初始化-类 ===')

    @classmethod
    def teardown_class(cls):
        print('\n === 清除 - 类 ===')
        
    def test_C001001(self):
        print('\n用例C001001')
        assert 1 == 1
        
    def test_C001002(self):
        print('\n用例C001002')
        assert 2 == 2
        
    def test_C001003(self):
        print('\n用例C001003')
        assert 3 == 2

class Test_错误密码2:

    def test_C001021(self):
        print('\n用例C001021')
        assert 1 == 1
        
    def test_C001022(self):
        print('\n用例C001022')
        assert 2 == 2

执行命令 pytest cases -s ,运行结果如下

collected 5 items

cases\登录\test_错误登录.py
 *** 初始化-模块 ***

 === 初始化-类 ===

用例C001001
.
用例C001002
.
用例C001003
F
 === 清除 - 类 ===

用例C001021
.
用例C001022
.
 ***   清除-模块 ***

可以发现,类级别的初始化、清除 在 整个模块所有用例 执行前后 分别 执行1次

它主要是用来为该 中的所有测试用例做 公共的 初始化 和 清除

方法级别

方法级别 的初始化、清除 分别 在类的 每个测试方法 执行前后执行,并且 每个用例分别执行1次

如下定义 setup_class 和 teardown_class 类方法

def setup_module():
    print('\n *** 初始化-模块 ***')

def teardown_module():
    print('\n ***   清除-模块 ***')

class Test_错误密码:

    @classmethod
    def setup_class(cls):
        print('\n === 初始化-类 ===')

    @classmethod
    def teardown_class(cls):
        print('\n === 清除 - 类 ===')
        
    def setup_method(self):
        print('\n --- 初始化-方法  ---')

    def teardown_method(self):
        print('\n --- 清除  -方法 ---')
        
    def test_C001001(self):
        print('\n用例C001001')
        assert 1 == 1
        
    def test_C001002(self):
        print('\n用例C001002')
        assert 2 == 2
        
    def test_C001003(self):
        print('\n用例C001003')
        assert 3 == 2

class Test_错误密码2:

    def test_C001021(self):
        print('\n用例C001021')
        assert 1 == 1
        
    def test_C001022(self):
        print('\n用例C001022')
        assert 2 == 2

执行命令 pytest cases -s ,运行结果如下

collected 5 items

cases\登录\test_错误登录.py
 *** 初始化-模块 ***

 === 初始化-类 ===

 --- 初始化-方法  ---

用例C001001
.
 --- 清除  -方法 ---

 --- 初始化-方法  ---

用例C001002
.
 --- 清除  -方法 ---

 --- 初始化-方法  ---

用例C001003
F
 --- 清除  -方法 ---

 === 清除 - 类 ===

用例C001021
.
用例C001022
.
 ***   清除-模块 ***

可以发现,方法别的初始化、清除 在 整个模块所有用例 执行前后 分别 执行一次

目录级别

目标级别的 初始化清除,就是针对整个目录执行的初始化、清除。

我们在需要初始化的目录下面创建 一个名为 conftest.py 的文件,里面内容如下所示

import pytest 

@pytest.fixture(scope='package',autouse=True)
def st_emptyEnv():
    print(f'\n#### 初始化-目录甲')
    yield
    
    print(f'\n#### 清除-目录甲')

注意:这里清除环境的代码就是 yield 之后的代码。 这是一个生成器,具体的说明参见视频讲解。


我们可以在多个目录下面放置这样的文件,定义该目录的初始化清除。

pytest 在执行测试时,会层层调用。


但是我发现了pytest一个重要的bug: 清除操作并不一定会在该目录最后一个测试用例执行完进行调用。

我已经在github上给pytest 的开发人员提交了bug report, 点击这里查看

在我看来,这个问题是非常大的。

因为,一个目录下的用例执行完后,该清除的数据没有清除,这可能会导致其他目录下的用例执行失败。

所以在这个问题解决前,白月黑羽推荐大家先不要使用这种 目录级别 的初始化清除。

挑选用例执行

点击这里,边看视频讲解,边学习以下内容

pytest 可以灵活的挑选测试用例执行

指定一个模块

可以像这样只挑选一个模块执行

pytest cases\登录\test_错误登录.py

指定目录

可以像这样只挑选一个目录执行

pytest cases

也可以指定多个目录

pytest cases1  cases2\登录

指定模块里面的函数或者类

指定一个类

pytest cases\登录\test_错误登录.py::Test_错误密码

也可以指定类里面的方法

pytest cases\登录\test_错误登录.py::Test_错误密码::test_C001001

根据名字

可以使用 命令行参数 -k 后面加名字来挑选要执行的测试项

比如像这样后面跟测试函数名字的一部分:

pytest -k C001001 -s

注意,-k 后面的名字

  • 可以是测试函数的名字,可以是类的名字,可以是模块文件名,可以是目录的名字

  • 是大小写敏感的

  • 不一定要完整,只要能有部分匹配上就行

  • 可以用 not 表示选择名字中不包含,比如

    pytest -k "not C001001" -s
    
  • 可以用 and 表示选择名字同时包含多个关键字,比如

    pytest -k "错 and 密码2" -s
    
  • 可以用 or 表示选择名字 包含指定关键字之一即可,比如

    pytest -k "错 or 密码2" -s
    

根据标签

参考官方文档

可以这样给 某个方法加上标签 webtest

import pytest

class Test_错误密码2:

    @pytest.mark.webtest
    def test_C001021(self):
        print('\n用例C001021')
        assert 1 == 1

然后,可以这样运行指定标签的用例

pytest cases -m webtest -s

也可以这样给整个类加上标签

@pytest.mark.webtest
class Test_错误密码2:

    def test_C001021(self):
        print('\n用例C001021')
        assert 1 == 1

当然标签也支持中文

@pytest.mark.网页测试
class Test_错误密码2:

    def test_C001021(self):
        print('\n用例C001021')
        assert 1 == 1

然后,运行命令行指定标签

pytest cases -m 网页测试 -s

可以这样同时添加多个标签

@pytest.mark.网页测试
@pytest.mark.登录测试
class Test_错误密码2:

    def test_C001021(self):
        print('\n用例C001021')
        assert 1 == 1

可以这样定义一个全局变量 pytestmark 为 整个模块文件 设定标签

import pytest
pytestmark = pytest.mark.网页测试

如果你需要定义多个标签,可以定义一个列表

import pytest
pytestmark = [pytest.mark.网页测试, pytest.mark.登录测试]

实战案例

点击这里,边看视频讲解,边学习以下内容

下面我们以 白月SMS 系统 为被测系统,使用 pytest 进行自动化测试

请大家点击这里,按照说明下载、安装、运行 白月SMS系统

点击这里下载 白月SMS系统的测试用例文档

请观看视频讲解,如何使用 pytest,完成用例 UI-0001UI-0005 的自动化


案例视频中说明了,在自动化项目中,我们的测试用例经常需要导入项目目录的库文件,我们需要这样执行命令

python -m pytest cases -sv

才能避免Python解释器 搜索不到 库文件的问题 ModuleNotFoundError: No module named 'xxxx'


视频教程最后的自动化代码如下

# autotest\cases\登录\test_错误登录.py
import pytest
from lib.webui import loginAndCheck

class Test_错误登录:

    def test_UI_0001(self):
        alertText = loginAndCheck(None,'88888888')
        assert alertText == '请输入用户名'


    def test_UI_0002(self):
        alertText = loginAndCheck('byhy',None)
        assert alertText == '请输入密码'

    def test_UI_0003(self):
        alertText = loginAndCheck('byh','88888888')
        assert alertText == '登录失败 : 用户名或者密码错误'

# lib\webui.py
from selenium import webdriver
import time

def loginAndCheck(username,password):
    driver = webdriver.Chrome()
    driver.implicitly_wait(10)

    driver.get('http://127.0.0.1/mgr/sign.html')

    if username is not None:
        driver.find_element_by_id('username').send_keys(username)

    if password is not None:
        driver.find_element_by_id('password').send_keys(password)

    driver.find_element_by_css_selector("button[type='submit']").click()

    time.sleep(2)

    alertText = driver.switch_to.alert.text
    print(alertText)

    driver.quit()

    return alertText

数据驱动

点击这里,边看视频讲解,边学习以下内容

用例 UI-0001UI-0005 这5个登录的测试用例,共同的特点是,它们测试步骤是一模一样的,只是输入的数据(用户名、密码)不同,要检查的输出数据(错误提示)不同。

这批测试用例,就是典型的 可以用 数据驱动 方式进行自动化的用例。

如果有一批测试用例,具有 相同的测试步骤 ,只是 测试参数数据不同

自动化测试时,把测试数据从用例代码中 分离 开来,以后增加新的测试用例,只需要修改数据。

这就是数据驱动。


这种情况可以使用 pytest 用例 的 数据驱动格式,只需如下定义即可

class Test_错误登录:
    @pytest.mark.parametrize('username, password, expectedalert', [
        (None, '88888888', '请输入用户名'),
        ('byhy', None, '请输入密码'),
        ('byh', '88888888', '登录失败 : 用户名或者密码错误'),
        ('byhy', '8888888', '登录失败 : 用户名或者密码错误'),
        ('byhy', '888888888', '登录失败 : 用户名或者密码错误'),
    ]
                             )
    def test_UI_0001_0005(self, username, password, expectedalert):
        alertText = loginAndCheck(username, password)
        assert alertText == expectedalert

这样,我们就不需要定义那么多的测试用例方法了, 而且测试数据也可以集中存放。

更多细节,参考pytest官方文档

调试

当我们需要调试代码时,可以添加断点,然后按照下图所示

image

  1. 点击打开运行配置

  2. 点击+号, 添加一个运行配置,在右边的输入框输入配置名,比如 pytest

  3. 点击箭头选择 module name,并且输入 pytest 作为运行模块名

  4. 参数输入相应的命令行参数,比如 cases -sv

  5. 工作目录选择项目根目录

  6. 点击 OK

作业

实战班学员请使用 pytest 继续完成 用例文档中 课程视频没有讲的 其他测试用例 的自动化,完成后作业提交给老师检查。

大家可以先根据我们网站自学。

如果自学速度慢、难点搞不定,欢迎来报 实战班 学习。
白月黑羽 1对1连线 讲解答疑,大量练习实战,学习效果是自学没法比的。还有商业项目实战,可以写入简历。

点击这里查看实战班介绍 咨询微信:18502556834
上一页