3、pytest中文文檔–編寫斷言
- 2019 年 10 月 3 日
- 筆記
目錄
1. 使用assert
編寫斷言
pytest
允許你使用python
標準的assert
表達式寫斷言;
例如,你可以這樣做:
# src/chapter-3/test_sample.py def func(x): return x + 1 def test_sample(): assert func(3) == 5
如果這個斷言失敗,你會看到func(3)
實際的返回值+ where 4 = func(3)
:
$ pipenv run pytest -q src/chapter-3/test_sample.py F [100%] =============================== FAILURES ================================ ______________________________ test_sample ______________________________ def test_sample(): > assert func(3) == 5 E assert 4 == 5 E + where 4 = func(3) src/chapter-3/test_sample.py:28: AssertionError 1 failed in 0.05s
pytest
支援顯示常見的python
子表達式的值,包括:調用、屬性、比較、二進位和一元運算符等(可以參考這個例子 );
這允許你在沒有模版程式碼參考的情況下,可以使用的python
的數據結構,而無須擔心自省丟失的問題;
同時,你也可以為斷言指定了一條說明資訊,用於失敗時的情況說明:
assert a % 2 == 0, "value was odd, should be even"
2. 編寫觸發期望異常的斷言
你可以使用pytest.raises()
作為上下文管理器,來編寫一個觸發期望異常的斷言:
import pytest def myfunc(): raise ValueError("Exception 123 raised") def test_match(): with pytest.raises(ValueError): myfunc()
當用例沒有返回ValueError
或者沒有異常返回時,斷言判斷失敗;
如果你希望同時訪問異常的屬性,可以這樣:
import pytest def myfunc(): raise ValueError("Exception 123 raised") def test_match(): with pytest.raises(ValueError) as excinfo: myfunc() assert '123' in str(excinfo.value)
其中,excinfo
是ExceptionInfo
的一個實例,它封裝了異常的資訊;常用的屬性包括:.type
、.value
和.traceback
;
注意:
在上下文管理器的作用域中,
raises
程式碼必須是最後一行,否則,其後面的程式碼將不會執行;所以,如果上述例子改成:def test_match(): with pytest.raises(ValueError) as excinfo: myfunc() assert '456' in str(excinfo.value)
則測試將永遠成功,因為
assert '456' in str(excinfo.value)
並不會執行;
你也可以給pytest.raises()
傳遞一個關鍵字參數match
,來測試異常的字元串表示str(excinfo.value)
是否符合給定的正則表達式(和unittest
中的TestCase.assertRaisesRegexp
方法類似):
import pytest def myfunc(): raise ValueError("Exception 123 raised") def test_match(): with pytest.raises((ValueError, RuntimeError), match=r'.* 123 .*'): myfunc()
pytest實際調用的是re.search()
方法來做上述檢查;並且,pytest.raises()
也支援檢查多個期望異常(以元組的形式傳遞參數),我們只需要觸發其中任意一個;
pytest.raises
還有另外的一種使用形式:
-
首先,我們來看一下它在源碼中的定義:
# _pytest/python_api.py def raises( # noqa: F811 expected_exception: Union["Type[_E]", Tuple["Type[_E]", ...]], *args: Any, match: Optional[Union[str, "Pattern"]] = None, **kwargs: Any ) -> Union["RaisesContext[_E]", Optional[_pytest._code.ExceptionInfo[_E]]]:
它接收一個位置參數
expected_exception
,一組可變參數args
,一個關鍵字參數match
和一組關鍵字參數kwargs
; -
接著看方法的具體內容:
# _pytest/python_api.py if not args: if kwargs: msg = "Unexpected keyword arguments passed to pytest.raises: " msg += ", ".join(sorted(kwargs)) msg += "nUse context-manager form instead?" raise TypeError(msg) return RaisesContext(expected_exception, message, match) else: func = args[0] if not callable(func): raise TypeError( "{!r} object (type: {}) must be callable".format(func, type(func)) ) try: func(*args[1:], **kwargs) except expected_exception as e: # We just caught the exception - there is a traceback. assert e.__traceback__ is not None return _pytest._code.ExceptionInfo.from_exc_info( (type(e), e, e.__traceback__) ) fail(message)
其中,
args
如果存在,那麼它的第一個參數必須是一個可調用的對象,否則會報TypeError
異常;同時,它會把剩餘的
args
參數和所有kwargs
參數傳遞給這個可調用對象,然後檢查這個對象執行之後是否觸髮指定異常; -
所以我們有了一種新的寫法:
pytest.raises(ZeroDivisionError, lambda x: 1/x, 0) # 或者 pytest.raises(ZeroDivisionError, lambda x: 1/x, x=0)
這個時候如果你再傳遞
match
參數,是不生效的,因為它只有在if not args:
的時候生效;
pytest.mark.xfail()
也可以接收一個raises
參數,來判斷用例是否因為一個具體的異常而導致失敗:
@pytest.mark.xfail(raises=IndexError) def test_f(): f()
如果f()
觸發一個IndexError
異常,則用例標記為xfailed
;如果沒有,則正常執行f()
;
注意:
如果
f()
測試成功,用例的結果是xpassed
,而不是passed
;
pytest.raises
適用於檢查由程式碼故意引發的異常;而@pytest.mark.xfail()
更適合用於記錄一些未修復的Bug
;
3. 特殊數據結構比較時的優化
# src/chapter-3/test_special_compare.py def test_set_comparison(): set1 = set('1308') set2 = set('8035') assert set1 == set2 def test_long_str_comparison(): str1 = 'show me codes' str2 = 'show me money' assert str1 == str2 def test_dict_comparison(): dict1 = { 'x': 1, 'y': 2, } dict2 = { 'x': 1, 'y': 1, } assert dict1 == dict2
上面,我們檢查了三種數據結構的比較:集合、字元串和字典;
$ pipenv run pytest -q src/chapter-3/test_special_compare.py FFF [100%] =============================== FAILURES ================================ __________________________ test_set_comparison __________________________ def test_set_comparison(): set1 = set('1308') set2 = set('8035') > assert set1 == set2 E AssertionError: assert {'0', '1', '3', '8'} == {'0', '3', '5', '8'} E Extra items in the left set: E '1' E Extra items in the right set: E '5' E Full diff: E - {'8', '0', '1', '3'} E + {'8', '3', '5', '0'} src/chapter-3/test_special_compare.py:26: AssertionError _______________________ test_long_str_comparison ________________________ def test_long_str_comparison(): str1 = 'show me codes' str2 = 'show me money' > assert str1 == str2 E AssertionError: assert 'show me codes' == 'show me money' E - show me codes E ? ^ ^ ^ E + show me money E ? ^ ^ ^ src/chapter-3/test_special_compare.py:32: AssertionError _________________________ test_dict_comparison __________________________ def test_dict_comparison(): dict1 = { 'x': 1, 'y': 2, } dict2 = { 'x': 1, 'y': 1, } > assert dict1 == dict2 E AssertionError: assert {'x': 1, 'y': 2} == {'x': 1, 'y': 1} E Omitting 1 identical items, use -vv to show E Differing items: E {'y': 2} != {'y': 1} E Full diff: E - {'x': 1, 'y': 2} E ? ^ E + {'x': 1, 'y': 1}... E E ...Full output truncated (2 lines hidden), use '-vv' to show src/chapter-3/test_special_compare.py:44: AssertionError 3 failed in 0.08s
針對一些特殊的數據結構間的比較,pytest
對結果的顯示做了一些優化:
- 集合、列表等:標記出第一個不同的元素;
- 字元串:標記出不同的部分;
- 字典:標記出不同的條目;
4. 為失敗斷言添加自定義的說明
# src/chapter-3/test_foo_compare.py class Foo: def __init__(self, val): self.val = val def __eq__(self, other): return self.val == other.val def test_foo_compare(): f1 = Foo(1) f2 = Foo(2) assert f1 == f2
我們定義了一個Foo
對象,也複寫了它的__eq__()
方法,但當我們執行這個用例時:
$ pipenv run pytest -q src/chapter-3/test_foo_compare.py F [100%] =============================== FAILURES ================================ ___________________________ test_foo_compare ____________________________ def test_foo_compare(): f1 = Foo(1) f2 = Foo(2) > assert f1 == f2 E assert <test_foo_compare.Foo object at 0x10ecae860> == <test_foo_compare.Foo object at 0x10ecae748> src/chapter-3/test_foo_compare.py:34: AssertionError 1 failed in 0.05s
並不能直觀的從中看出來失敗的原因assert <test_foo_compare.Foo object at 0x10ecae860> == <test_foo_compare.Foo object at 0x10ecae748>
;
在這種情況下,我們有兩種方法來解決:
-
複寫
Foo
的__repr__()
方法:def __repr__(self): return str(self.val)
我們再執行用例:
$ pipenv run pytest -q src/chapter-3/test_foo_compare.py F [100%] =============================== FAILURES ================================ ___________________________ test_foo_compare ____________________________ def test_foo_compare(): f1 = Foo(1) f2 = Foo(2) > assert f1 == f2 E assert 1 == 2 src/chapter-3/test_foo_compare.py:37: AssertionError 1 failed in 0.05s
這時,我們能看到失敗的原因是因為
1 == 2
不成立;至於
__str__()
和__repr__()
的區別,可以參考StackFlow
上的這個問題中的回答:https://stackoverflow.com/questions/1436703/difference-between-str-and-repr -
使用
pytest_assertrepr_compare
這個鉤子方法添加自定義的失敗說明# src/chapter-3/test_foo_compare.py from .test_foo_compare import Foo def pytest_assertrepr_compare(op, left, right): if isinstance(left, Foo) and isinstance(right, Foo) and op == "==": return [ "比較兩個Foo實例:", # 頂頭寫概要 " 值: {} != {}".format(left.val, right.val), # 除了第一個行,其餘都可以縮進 ]
再次執行:
$ pytest -q src/chapter-3/test_foo_compare.py F [100%] =============================== FAILURES ================================ ___________________________ test_foo_compare ____________________________ def test_foo_compare(): f1 = Foo(1) f2 = Foo(2) > assert f1 == f2 E assert 比較兩個Foo實例: E 值: 1 != 2 src/chapter-3/test_foo_compare.py:37: AssertionError 1 failed in 0.03s
我們會看到一個更友好的失敗說明;
5. 關於斷言自省的細節
當斷言失敗時,pytest
為我們提供了非常人性化的失敗說明,中間往往夾雜著相應變數的自省資訊,這個我們稱為斷言的自省;
那麼,pytest
是如何做到這樣的:
pytest
發現測試模組,並引入他們,與此同時,pytest
會複寫斷言語句,添加自省資訊;但是,不是測試模組的斷言語句並不會被複寫;
5.1. 複寫快取文件
pytest
會把被複寫的模組存儲到本地作為快取使用,你可以通過在測試用例的根文件夾中的conftest.py
里添加如下配置來禁止這種行為;:
import sys sys.dont_write_bytecode = True
但是,它並不會妨礙你享受斷言自省的好處,只是不會在本地存儲.pyc
文件了。
5.2. 去使能斷言自省
你可以通過一下兩種方法:
- 在需要去使能模組的
docstring
中添加PYTEST_DONT_REWRITE
字元串; - 執行pytest時,添加
--assert=plain
選項;
我們來看一下去使能後的效果:
$ pipenv run pytest -q --assert=plain src/chapter-3/test_foo_compare.py F [100%] =============================== FAILURES ================================ ___________________________ test_foo_compare ____________________________ def test_foo_compare(): f1 = Foo(1) f2 = Foo(2) > assert f1 == f2 E AssertionError src/chapter-3/test_foo_compare.py:37: AssertionError 1 failed in 0.03s
斷言失敗時的資訊就非常的不完整了,我們幾乎看不出任何有用的調試資訊;