Принципы и инструменты тестирования программных продуктов — страница 9

  • Просмотров 450
  • Скачиваний 5
  • Размер файла 36
    Кб

все внесенные в программы-мутанты ошибки, то набор тестов (X,Y) соответствует мутационному критерию, а тестируемая программа объявляется правильной14. Если некоторые мутанты не выявили всех мутаций, то надо расширять набор тестов (X,Y) и продолжать тестирование. Системное тестирование Системное тестирование рассматривает тестируемую систему в целом и оперирует на уровне пользовательских интерфейсов. На уровне системы часто

сложно и малоэффективно анализировать прохождение тестовых траекторий внутри программы или отслеживать правильность работы конкретных функций. Основная задача системного тестирования - в выявлении дефектов, связанных с работой системы в целом, таких как неверное использование ресурсов системы, непредусмотренные комбинации данных пользовательского уровня, несовместимость с окружением, непредусмотренные сценарии

использования, отсутствующая или неверная функциональность, неудобство в применении и тому подобное15. Системное тестирование производится над проектом в целом с помощью метода «черного ящика». Структура программы не имеет никакого значения, для проверки доступны только входы и выходы, видимые пользователю. Тестированию подлежат коды и пользовательская документация. Категории тестов системного тестирования16: Полнота

решения функциональных задач. Стрессовое тестирование - на предельных объемах нагрузки входного потока. Корректность использования ресурсов (утечка памяти, возврат ресурсов). Оценка производительности. Эффективность защиты от искажения данных и некорректных действий. Проверка инсталляции и конфигурации на разных платформах. Корректность документации Поскольку системное тестирование проводится на пользовательских

интерфейсах, создается иллюзия того, что построение специальной системы автоматизации тестирования не всегда необходимо. Однако объемы данных на этом уровне таковы, что обычно более эффективным подходом является полная или частичная автоматизация тестирования, что приводит к созданию тестовой системы гораздо более сложной, чем система тестирования, применяемая на уровне тестирования модулей или их комбинаций.

Автоматизация тестирования Использование различных подходов к тестированию определяется их эффективностью применительно к условиям, определяемым промышленным проектом. В реальных случаях работа группы тестирования планируется так, чтобы разработка тестов начиналась с момента согласования требований к программному продукту (выпуск Requirement Book, содержащей высокоуровневые требования к продукту) и продолжалась параллельно с