Pytest assert exception python



How to write and report assertions in tests¶

Asserting with the assert statement¶

pytest allows you to use the standard Python assert for verifying expectations and values in Python tests. For example, you can write the following:

to assert that your function returns a certain value. If this assertion fails you will see the return value of the function call:

pytest has support for showing the values of the most common subexpressions including calls, attributes, comparisons, and binary and unary operators. (See Demo of Python failure reports with pytest ). This allows you to use the idiomatic python constructs without boilerplate code while not losing introspection information.

However, if you specify a message with the assertion like this:

then no assertion introspection takes places at all and the message will be simply shown in the traceback.

See Assertion introspection details for more information on assertion introspection.

Assertions about expected exceptions¶

In order to write assertions about raised exceptions, you can use pytest.raises() as a context manager like this:

and if you need to have access to the actual exception info you may use:

excinfo is an ExceptionInfo instance, which is a wrapper around the actual exception raised. The main attributes of interest are .type , .value and .traceback .

You can pass a match keyword parameter to the context-manager to test that a regular expression matches on the string representation of an exception (similar to the TestCase.assertRaisesRegex method from unittest ):

The regexp parameter of the match method is matched with the re.search function, so in the above example match=’123′ would have worked as well.

There’s an alternate form of the pytest.raises() function where you pass a function that will be executed with the given *args and **kwargs and assert that the given exception is raised:

The reporter will provide you with helpful output in case of failures such as no exception or wrong exception.

Note that it is also possible to specify a “raises” argument to pytest.mark.xfail , which checks that the test is failing in a more specific way than just having any exception raised:

Using pytest.raises() is likely to be better for cases where you are testing exceptions your own code is deliberately raising, whereas using @pytest.mark.xfail with a check function is probably better for something like documenting unfixed bugs (where the test describes what “should” happen) or bugs in dependencies.

Assertions about expected warnings¶

You can check that code raises a particular warning using pytest.warns .

Making use of context-sensitive comparisons¶

pytest has rich support for providing context-sensitive information when it encounters comparisons. For example:

if you run this module:

Special comparisons are done for a number of cases:

comparing long strings: a context diff is shown

comparing long sequences: first failing indices

comparing dicts: different entries

See the reporting demo for many more examples.

Defining your own explanation for failed assertions¶

It is possible to add your own detailed explanations by implementing the pytest_assertrepr_compare hook.

pytest_assertrepr_compare ( config , op , left , right ) [source]

Return explanation for comparisons in failing assert expressions.

Return None for no custom explanation, otherwise return a list of strings. The strings will be joined by newlines but any newlines in a string will be escaped. Note that all but the first line will be indented slightly, the intention is for the first line to be a summary.

config (Config) – The pytest config object.

op (str) – The operator, e.g. «==» , «!=» , «not in» .

left (object) – The left operand.

right (object) – The right operand.

As an example consider adding the following hook in a conftest.py file which provides an alternative explanation for Foo objects:

now, given this test module:

you can run the test module and get the custom output defined in the conftest file:

Читайте также:  Что такое error 1085

Assertion introspection details¶

Reporting details about a failing assertion is achieved by rewriting assert statements before they are run. Rewritten assert statements put introspection information into the assertion failure message. pytest only rewrites test modules directly discovered by its test collection process, so asserts in supporting modules which are not themselves test modules will not be rewritten.

You can manually enable assertion rewriting for an imported module by calling register_assert_rewrite before you import it (a good place to do that is in your root conftest.py ).

For further information, Benjamin Peterson wrote up Behind the scenes of pytest’s new assertion rewriting.

Assertion rewriting caches files on disk¶

pytest will write back the rewritten modules to disk for caching. You can disable this behavior (for example to avoid leaving stale .pyc files around in projects that move files around a lot) by adding this to the top of your conftest.py file:

Note that you still get the benefits of assertion introspection, the only change is that the .pyc files won’t be cached on disk.

Additionally, rewriting will silently skip caching if it cannot write new .pyc files, i.e. in a read-only filesystem or a zipfile.

Disabling assert rewriting¶

pytest rewrites test modules on import by using an import hook to write new pyc files. Most of the time this works transparently. However, if you are working with the import machinery yourself, the import hook may interfere.

If this is the case you have two options:

Disable rewriting for a specific module by adding the string PYTEST_DONT_REWRITE to its docstring.

Disable rewriting for all modules by using —assert=plain .

Источник

The writing and reporting of assertions in tests¶

Asserting with the assert statement¶

pytest allows you to use the standard python assert for verifying expectations and values in Python tests. For example, you can write the following:

to assert that your function returns a certain value. If this assertion fails you will see the return value of the function call:

pytest has support for showing the values of the most common subexpressions including calls, attributes, comparisons, and binary and unary operators. (See Demo of Python failure reports with pytest ). This allows you to use the idiomatic python constructs without boilerplate code while not losing introspection information.

However, if you specify a message with the assertion like this:

then no assertion introspection takes places at all and the message will be simply shown in the traceback.

See Assertion introspection details for more information on assertion introspection.

Assertions about expected exceptions¶

In order to write assertions about raised exceptions, you can use pytest.raises() as a context manager like this:

and if you need to have access to the actual exception info you may use:

excinfo is an ExceptionInfo instance, which is a wrapper around the actual exception raised. The main attributes of interest are .type , .value and .traceback .

You can pass a match keyword parameter to the context-manager to test that a regular expression matches on the string representation of an exception (similar to the TestCase.assertRaisesRegexp method from unittest ):

The regexp parameter of the match method is matched with the re.search function, so in the above example match=’123′ would have worked as well.

There’s an alternate form of the pytest.raises() function where you pass a function that will be executed with the given *args and **kwargs and assert that the given exception is raised:

The reporter will provide you with helpful output in case of failures such as no exception or wrong exception.

Note that it is also possible to specify a “raises” argument to pytest.mark.xfail , which checks that the test is failing in a more specific way than just having any exception raised:

Читайте также:  Fatal error wglcreatecontextattribsarb failed doom 2016 как исправить

Using pytest.raises() is likely to be better for cases where you are testing exceptions your own code is deliberately raising, whereas using @pytest.mark.xfail with a check function is probably better for something like documenting unfixed bugs (where the test describes what “should” happen) or bugs in dependencies.

Assertions about expected warnings¶

You can check that code raises a particular warning using pytest.warns .

Making use of context-sensitive comparisons¶

pytest has rich support for providing context-sensitive information when it encounters comparisons. For example:

if you run this module:

Special comparisons are done for a number of cases:

comparing long strings: a context diff is shown

comparing long sequences: first failing indices

comparing dicts: different entries

See the reporting demo for many more examples.

Defining your own explanation for failed assertions¶

It is possible to add your own detailed explanations by implementing the pytest_assertrepr_compare hook.

pytest_assertrepr_compare ( config : Config , op : str , left : object , right : object ) → Optional [ List [ str ] ] [source]

Return explanation for comparisons in failing assert expressions.

Return None for no custom explanation, otherwise return a list of strings. The strings will be joined by newlines but any newlines in a string will be escaped. Note that all but the first line will be indented slightly, the intention is for the first line to be a summary.

config (_pytest.config.Config) – The pytest config object.

As an example consider adding the following hook in a conftest.py file which provides an alternative explanation for Foo objects:

now, given this test module:

you can run the test module and get the custom output defined in the conftest file:

Assertion introspection details¶

Reporting details about a failing assertion is achieved by rewriting assert statements before they are run. Rewritten assert statements put introspection information into the assertion failure message. pytest only rewrites test modules directly discovered by its test collection process, so asserts in supporting modules which are not themselves test modules will not be rewritten.

You can manually enable assertion rewriting for an imported module by calling register_assert_rewrite before you import it (a good place to do that is in your root conftest.py ).

For further information, Benjamin Peterson wrote up Behind the scenes of pytest’s new assertion rewriting.

Assertion rewriting caches files on disk¶

pytest will write back the rewritten modules to disk for caching. You can disable this behavior (for example to avoid leaving stale .pyc files around in projects that move files around a lot) by adding this to the top of your conftest.py file:

Note that you still get the benefits of assertion introspection, the only change is that the .pyc files won’t be cached on disk.

Additionally, rewriting will silently skip caching if it cannot write new .pyc files, i.e. in a read-only filesystem or a zipfile.

Disabling assert rewriting¶

pytest rewrites test modules on import by using an import hook to write new pyc files. Most of the time this works transparently. However, if you are working with the import machinery yourself, the import hook may interfere.

If this is the case you have two options:

Disable rewriting for a specific module by adding the string PYTEST_DONT_REWRITE to its docstring.

Disable rewriting for all modules by using —assert=plain .

Источник

Оператор assert и вывод информации о проверках¶

Проверка с помощью оператора assert ¶

pytest позволяет использовать стандартный оператор языка Python — assert — для проверки соответствия ожидаемых результатов фактическим. Например, такую конструкцию

можно использовать, чтобы убедиться что ваша функция вернет определенное значение. Если assert упадет, вы сможете увидеть значение, возвращаемое вызванной функцией:

pytest поддерживает отображение значений наиболее распространенных операций, включая вызовы, параметры, сравнения, бинарные и унарные операции (см. Python: примеры отчетов об ошибках pytest ). Это позволяет использовать стандартные конструкции python без шаблонного кода, не теряя при этом информацию.

Читайте также:  An unexpected error occurred while connecting to the database

Однако, если вы укажете в assert текст сообщения об ошибке, например, вот так,

то никакая аналитическая информация выводиться не будет, и в трейсбэке вы увидите просто указанное сообщение об ошибке.

См. Детальный анализ неудачных проверок (assertion introspection) для получения дополнительной информации об анализе операторов assert .

Проверка ожидаемых исключений¶

Чтобы убедиться в том, что вызвано ожидаемое исключение, нужно использовать assert в контексте pytest.raises . Например, так:

А если нужно получить доступ к фактической информации об исключении, можно использовать:

excinfo — это экземпляр класса ExceptionInfo , которым обертывается вызванное исключение. Наиболее интереесными его атрибутами являются .type , .value и .traceback .

Чтобы проверить, что регулярное выражение соответствует строковому представлению исключения (аналогично методу TestCase.assertRaisesRegexp в unittest ), конекст-менеджеру можно передать параметр match :

Регулярное выражение из параметра match сопоставляется с функцией re.search , так что в приведенном выше примере match=’123′ также сработает.

Есть и альтернативный вариант использования pytest.raises , когда вы передаете функцию, которая которая должна выполняться с заданными *args и **kwargs и проверять, что вызвано указанное исключение:

В случае падения теста pytest выведет вам полезную информацию, например, о том, что исключение не вызвано (no exception) или вызвано неверное исключение (wrong exception).

Обратите внимание, что параметр raises можно также указать в декораторе @pytest.mark.xfail , который особым образом проверяет само падение теста, а не просто возникновение какого-то исключения:

Использование pytest.raises скорре всего пригодится, когда вы тестируете исключения, генерируемые собственным кодом, а вот маркировка тестовой функции маркером @pytest.mark.xfail , наверное, лучше подойдет для документирования незафиксированных (когда тест описывает то, что «должно бы» происходить) или зависимых от чего-либо багов.

Проверка ожидаемых предупреждений¶

Проверить, что код генерирует ожидаемое предупреждение можно с помощью pytest.warns .

Использование контекстно-зависимых сравнений¶

pytest выводит подробный анализ контекстно-зависимой информации, когда сталкивается со сравнениями. Например, в результате исполнения этого модуля

будет выведен следующий отчет:

Вывод результатов сравнения для отдельных случаев:

сравнение длинных строк: будут показаны различия

сравнение длинных последовательностей: будет показан индекс первого несоответствия

сравнение словарей: будут показаны различающиеся элементы

Определение собственных сообщений к упавшим assert ¶

Можно добавить свое подробное объяснение, реализовав хук (hook) pytest_assertrepr_compare (см. pytest_assertrepr_compare).

Для примера рассмотрим добавление в файл conftest.py хука, который устанавливает наше сообщение для сравниваемых объектов Foo :

Теперь напишем тестовый модуль:

Запустив тестовый модуль, получим сообщение, которое мы определили в файле conftest.py :

Детальный анализ неудачных проверок (assertion introspection)¶

Детальный анализ упавших проверок достигается переопределением операторов assert перед запуском. Переопределенные assert помещают аналитическую информацию в сообщение о неудачной проверке. pytest переопределяет только тестовые модули, обнаруженные им в процессе сборки (collecting) тестов, поэтому «assert«-ы в поддерживающих модулях, которые сами по себе не являются тестами, переопределены не будут.

Можно вручную включить возможность переопределения assert для импортируемого модуля, вызвав register-assert-rewrite перед его импортом (лучше это сделать в корневом файле«conftest.py«).

Дополнительную информацию можно найти в статье Бенджамина Петерсона: Behind the scenes of pytest’s new assertion rewriting.

Кэширование переопределенных файлов¶

pytest кэширует переопределенные модули на диск. Можно отключить такое поведение (например, чтобы избежать устаревших .pyc файлов в проектах, которые задействуют множество файлов), добавив в ваш корневой файл conftest.py :

Обратите внимание, что это не влияет на анализ упавших проверок, единственное отличие заключается в том, что .pyc -файлы не будут кэшироваться на диск.

Кроме того, кэширование при переопределении будет автоматически отключаться, если не получается записать новые .pyc — файлы, т. е. для read-only файлов или zip-архивов.

Отключение переопределения assert ¶

При импорте pytest перезаписывает тестовые модули, используя хук импорта для записи новых .pyc -файлов. В большинстве случаев это работает. Тем не менее, при работе с механизмом импорта, такой способ может создавать проблемы.

На этот случай есть 2 опции:

Отключите переопределение для отдельного модуля, добавив строку PYTEST_DONT_REWRITE в docstring (строковую переменную для документирования модуля).

Отключите переопределение для всех модулей с помощью —assert=plain .

Источник

Оцените статью
toolgir.ru
Adblock
detector