Виды тестирования

Тестирование функциональности
проверяет правильность работы системы / компонента: правильность расчетов и поведение, в том числе валидация ссылок.

Тестирование защищенности
проверяет фактическую реакцию защитных механизмов, встроенных в систему, на проникновение:

• логин/пароль (перебор, лимитирование попыток ввода, блокирование аккаунта после N попыток);
• раскрытие путей и информации (файл robots.txt, текст сообщений об ошибках базы данных);
• подмена параметров запроса;
• подбор системных папок;
• обратный путь в директории (переход в родительскую папку);
• инъекции.

Тестирование безопасности
проверяет способность программного продукта при использовании оговоренным образом оставаться в рамках приемлемого риска причинения вреда здоровью, бизнесу, программам, собственности или окружающей среде.

Тестирование данных
проверяется качество данных на соответствие следующим характеристикам:

• полнота - в записях нет пропусков, обязательные поля заполненны;
• уникальность - среди данных отсутствуют дубликаты;
• достоверность - поля содержат то, что и должны содержать: имя, адрес, номер телефона;
• точность - длина значения, количество знаков после запятой. Данные должны быть близки к их среднему значению;
• согласованность - поля содержат значения, независимо от способа их измерения;
• актуальность - данные должны своевременно обновляться;
• орфография - данные не должны содержать орфографических ошибок;
• типографика - данные должны восприниматься в легчайшей для чтения и восприятия форме..

Тестирование требований
проверка требований на соответствие характеристикам качества продукта и характеристикам качества требований.

Тестирование прототипа
метод выявления структурных, логических ошибок и ошибок проектирования на ранней стадии развития продукта до начала фактической разработки.

Валидация кода
проверка на соответствие стандартам и правилам оформления кода:

• название и порядок атрибутов;
• вложенность и закрываемость тегов;
• комментарии;
• относительный и абсолютный пути;
• семантические теги.

Валидация SEO
проверка на соответствие требованиям по размещению сайта в поисковых системах (наличие заголовков H1-H6, meta тегов, размер картинок).

Тестирование пользовательского интерфейса (верстки)
выполняется путем взаимодействия с системой через интерфейс пользователя (графический, командная строка):

• верстка, цвета, графика, оформление;
• содержание выводимой информации;
• поведение курсора и горячие клавиши;
• отображение различного количества данных (нет данных, минимальное и максимальное их количество);
• отображение при отключеном css, js.

Тестирование производительности и нагрузки
процесс тестирования с целью определения производительности программного продукта:

• тестирование на клиенте – объем полученных данных от сервера, скорость передачи данных;
• нагрузочное тестирование – вид тестирования производительности, проводимый с целью оценки поведения компонента или системы при возрастающей нагрузке, например, количестве параллельных пользователей и/или операций, а также определения какую нагрузку может выдержать компонент или система;
• объемное тестирование – позволяет получить оценку производительности приложения при увеличении объемов данных;
• тестирование стабильности и надежности – позволяет проверять работоспособность приложения при длительном (многочасовом) тестировании со средним уровнем нагрузки;
• стрессовое тестирование – вид тестирования производительности, оценивающий систему или компонент на граничных значениях рабочих нагрузок или за их пределами, или же в состоянии ограниченных ресурсов, таких как память или доступ к серверу;
• тестирование на отказ и восстановление – тестирование при помощи эмуляции отказов системы или реально вызываемых отказов в управляемом окружении.

Тестирование удобства использования (не заставляй меня думать)
тестирование с целью определения степени понятности, легкости в изучении и использовании, привлекательности программного продукта для пользователя при условии использования в заданных условиях эксплуатации (навигация, логичность, информативность сообщений).

Тестирование удобства сопровождения
способность команды сопровождения быстро находить и устранять неисправности (какой функционал логируется, уровень логирования, мониторинг какой функциональности проводится).

Тестирование доступности
тестирование, которое определяет степень легкости, с которой пользователи с ограниченными способностями могут использовать систему или ее компоненты.

Тестирование интернационализации
тестирование способности продукта работать в локализованных средах (способность изменять элементы интерфейса в зависимости от длины и направления текста, менять сортировки/форматы под различные локали и т.д.).
Интернационализация – это процесс, упрощающий дальнейшую адаптацию продукта к языковым и культурным особенностям региона, отличного от того, в котором разрабатывался продукт. Это адаптация продукта для потенциального использования практически в любом месте. Интернационализация проводится на начальных этапах разработки, в то время как локализация — для каждого целевого языка.

Тестирование локализации
тестирование, проводимое с целью проверки качества перевода продукта с одного языка на другой.

Тестирование переносимости (тестирование окружения)
проверка работоспособности приложения в различных средах (браузеры, операционные системы, их типы, версии и разрядность):

• кроссбраузерное тестирование (виды браузеров и их версии);
• кроссплатформенное тестирование (типы операционных систем, их версии и разрядность, слеш в пути, перевод строки \n,\r, регистр в названии, работа с архивом);
• адаптивность (отображение картинок, таблиц, горизонтального скролла в разных размерах окон браузера и разрешениях экрана);
• местоположение, часовой пояс, время, скорость интернета.

Тестирование установки и лицензирования
процесс тестирования устанавливаемости программного продукта:

• формальный тест программы установки приложения (проверка пользовательского интерфейса, навигации, удобства пользования, соответствия общепринятым стандартам оформления);
• функциональный тест программы установки;
• тестирование механизма лицензирования и функций защиты от пиратства;
• проверка стабильности приложения после установки.

Дымовое тестирование (Smoke, позитивное тестирование критического пути)
тестирование системы для определения корректной работы базовых функций программы в целом, без углубления в детали. При проведении теста определяется пригодность сборки для дальнейшего тестирования.
Цель - как можно быстрее убедиться в работе основного функционала и обозначить наиболее критичные баги. В случае отсутствия дефектов тестирование объявляется пройденным и программа передается для проведения полного цикла тестирования.

Дефект валидация
проверка результата исправления дефектов.
Включает в себя проверку на воспроизводимость дефектов, которые были исправлены в новой сборке продукта, а также проверку того, что исправление не повлияло на ранее работавшую функциональность.

Тестирование новой функциональности
определение качества поставленной на тестирование новой функциональности, которая ранее не тестировалась. Данный тип тестирования включает в себя:

• проведение полного теста (АТ) непосредственно новой функциональности;
• тестирование новой функциональности на соответствие документации;
• проверка всевозможных взаимодействий ранее реализованной функциональности с новыми модулями и функциями.

Регрессионное тестирование
проводится с целью оценки влияния новой функциональности на действующую систему (показывает, что после внесения изменений старая функциональность работает как и прежде).

Включает в себя проверку стабильности ранее реализованной функциональности после внесения изменений:

• добавление новой функциональности;
• исправление дефектов;
• оптимизация кода;
• разворачивание приложения на новом окружении.

Проводится на уровне Smoke, MAT или AT и применяется в случаях:

• плохая архитектура приложения;
• нет юнит-тестов;
• нет или слабая аналитика по влиянию изменения требований на другие модули программы;
• высокая связанность модулей;
• высокая связанность кода;
• нет интеграционных автоматических тестов, которые запускаются при сборке или 1 раз в день;
• нет ежедневных сборок и постоянного отслеживания вновь появившихся проблем;
• тестировщики не общаются с разработчиками и не обсуждают риски;
• тестировщики плохо представляют архитектуру продукта и внутренние взаимосвязи.

Ручное
тестирование, в котором тест-кейсы выполняются тестировщиком вручную без использования средств автоматизации.

Автоматизированное
набор техник, подходов и инструментальных средств, позволяющий исключить человека из выполнения некоторых задач в процессе тестирования. Тест-кейсы частично или полностью выполняет специальное инструментальное средство.

Черный ящик
тестирование системы, функциональное или нефункциональное, без знания внутренней структуры и компонентов системы. У тестировщика нет доступа к внутренней структуре и коду приложения либо в процессе тестирования он не обращается к ним.

Белый ящик
тестирование основанное на анализе внутренней структуры компонентов или системы. У тестировщика есть доступ к внутренней структуре и коду приложения.

Серый ящик
комбинация методов белого и черного ящика, состоящая в том, что к части кода архитектуры у тестировщика есть доступ, а к части кода – нет.

Тестирование по тестам
тестирование по заранее подготовленным тестовым сценариям или руководству по осуществлению тестов.

Исследовательское тестирование
метод проектирования тестовых сценариев во время выполнения этих сценариев. Тестировщик во время выполнения проверок, продумывает новые, используя для этого полученную информацию.

Интуитивное тестирование
выполняется без подготовки, без определения ожидаемых результатов, без проектирования тестовых сценариев.