Стратегия тестирования двух версий приложения
Web и Desktop
Подготовка:
- Обзор проекта / задачи / бизнес результата / требований
- Осознание и планирование ресурсов
- Тестирование документации - её анализ, изучение определенной функциональности, разработка плана тестирования.
Desktop
(На примере компьютерной игры)
Web
(На примере веб-сайта)
Анализ основных артефактов,
связанные с тестированием приложения
Анализ основных артефактов, связанные с тестированием веб-сайта
Требования
План тестирования
Тест кейсы
Матрица соответствий
Требования
План тестирования
Тест кейсы
Матрица соответствий
Функциональное тестирование сайта
(Проверка, что каждая функция веб-сайта работает в соответствии с требованиями спецификации)
Тестирование ссылок
Корректность внутренних ссылок
Отстутствие ссылок, ведущих к одной странице
Ссылки, которые используются для отправки электронной почты админам сайта
Есть ли страницы, на которые не указаны ссылки
Отсутствие неработающих ссылок
Исходящие ссылки
Тестирование форм для всех страниц
Действительность входных данных
Допустимые значения для поля данных
Недопустимые входные значения для поля данных
Параметры форм, в которых возможно удаление или любая другая модификация данных.
Тестирование cookies
Проверка сайта с отключенными cookies
Проверка сайта с включенными cookies
Проверка, что файлы cookies зашифрованы перед записью на компьютер пользователя
Проверка аспекта безопасности при удалении файлов cookies
Если cookies имеют продолжительность действия, то проверить, активны ли они в указанный период времени.
HTML / CSS валидация
Синтаксические ошибки HTML
Проверка, что саайт доступен для поисковых машин.
Проверка, что веб-страницы имеют точную карту сайта в формате XML и HTML
Тестирование Юзабилити сайта
(Оценка веб-страниц с точки зрения конечного пользователя для определения соответствия продукта ожиданиям пользователей, выявление проблемных мест в интерфейсе)
Навигационное тестирование сайта
Все страницы сайта понятны и просты в использовании.
Кнопки, формы и поля удобны для использования.
Доступ к главному меню осуществляется со всех страниц.
Тестирования контента
Отсутствуют грамматические, орфографические ошибки
Изображения имеют соответствующие размеры и размещены правильно
Проверка оптимизации цветовой палитры сайта и размеров шрифтов
Проверка контента на понятность, структуированность и логичность
Инструкции ясны и содержат правильную информацию
Тестирование удобства использования
Является ли сайт понятным и удобным?
Удобна ли навигация?
Какое впечатление сайт производит на пользователя?
Есть лишние или ненужные вещи?
Тестирование UI
(Проверка соответствия графического пользовательского интерфейса сайта спецификации)
Соответствие стандартам графических интерфейсов
Оценка элементов дизайна: макет, цвета, шрифты, размеры шрифтов, ярлыки, текстовые поля, форматирование текста, титры, кнопки, списки, значки, ссылки
Тестирование с различными разрешениями экрана
Тестирование локализированных версий: точность перевода, проверка длины имен элементов интерфейса и т. п.
Тестирование графического интерфейса пользователя на целевых устройствах: смартфоны и планшеты.
Тестирование совместимости/конфигурационное тестирование
(Проверка работы сайта при различных программных и аппаратных конфигурациях)
Конфигурация операционной системы
Конфигурация браузера
Конфигурация базы данных
Кросс-платформенное тестирование сайта
Кросс-браузерное тестирование сайта
Тестирование производительности
(Проверка оперативности и стабильности при определенной нагрузки)
Стресс-тестирование (Тестирование поведения сайта на уровне или за пределами его ожидаемой рабочей нагрузки)
нагрузочное тестирование
(Тестирование поведения сайта при увеличении рабочей нагрузки)
Тестирование стабильности
(Тестирование способности работать в течение или чуть дольше приемлемого периода)
Объёмное тестирование
(Тестирование производительности веб-сайта за счет увеличения объема данных в базе данных)
Тестирование скорости загрузки (Страницы, куки, форм, js)
Тестирование безопасности
Проверка невозможности несанкционированного доступа к защищенным страницам
Проверка автоматического прекращения проверки сеансов после длительного простоя пользователя
Тестирование функций безопасности SSL
Проверка работы captcha с помощью автоматических скриптов
Проверка ввода неправильного пароля или имени пользователя на предмет невозможности входа в систему
Тестирование изменений
Подтверждающее тестирование
Проверка, что все обнаруженные дефекты успешно исправлены.
Регрессионное тестирование
Проверка, что не возникли новые дефекты после внесения изменений в коде.
Функциональное тестирование приложения
(Проверка, что каждая функция приложения работает в соответствии с требованиями спецификации)
Дымовое тестирование
(Короткий цикл тестов, выполняемый для подтверждения того, что после сборки кода устанавливаемое приложение, стартует и выполняет основные функции)
Тестирование сборки
(Определение соответствия, выпущенной версии, критериям качества для начала тестирования)
Установка и запуск приложения
Проверка установки приложения на заданных минимальных/рекомендуемых конфигурациях
Проверка запуска приложения
Проверка руководства пользователя и его доступность
Проверка работы приложения во время запуска / выхода на соответствие основным требованиям
Тестирование функциональности бизнеса
Проверка, что заявленная цена и содержание соответствуют полученной пользователем информации.
Проверка, что пользователь может выполнять типичные операции: покупка внутриигрового товара, премиум аккаунта и т.п.
Проверить, что приложение поддерживает платежные транзакции через платежные системы, такие как Visa, Mastercard, Paypal и т. д.
Проверка восстановления покупки независимо от устройства, но с привязкой аккаунта.
Тестирование прерываний
Отключение и подключение сети / Wi-Fi
Аварийное отключение питания устройства
Переключение на другое приложение или на рабочий стол (alt+tab)
Тестирование обратной связи с пользователями
Загрузка содержательных сообщений
Индикаторы
Соответствующая реакция кнопок на нажатие.
Сообщения об ошибках доступа к сети.
Наличие и синхронизация звуковых, вибрационных и визуальных уведомлений.
Появление экрана (сообщения) в конце процесса (игры)
Тестирование обновлений
Все пользовательские данные сохраняются после обновлений.
Проверка, что процесс обновления отображается правильно
Проверка, что обновления поддерживаются более старыми операционными системами
Тестирование потребления ресурсов устройства
Недостаток места для установки или запуска приложения.
Утечки памяти. Проверка окон, с большим количеством информации и задач с длительным рабочим процессом.
Проверка, что установленное приложение не мешает нормальной работе других приложений и не использует их память и ресурсы
Тестирование Юзабилити приложения
(Оценка приложения с точки зрения конечного пользователя для определения соответствия продукта ожиданиям пользователей, выявление проблемных мест в интерфейсе)
Проверка, что кнопки имеют нормальный размер и расположены в одной области экрана
Проверка, что приложение работает в многозадачном режиме, когда это необходимо.
Проверка навигации важных модулей приложения.
Проверка, что значки и картинки выглядят естественно в среде приложения.
Проверка, что цвет кнопок, выполняющих одну и ту же функцию, одинаков.
Текст должен быть простым, понятным и видимым для пользователя.
Короткие предложения и абзацы можно прочитать.
Проверка правильной работы системы Zoom-in и Zoom-out.
Проверка, что приложение может быть завершено из любого состояния и что оно возобновляет работу в том же состоянии.
Проверка, что компоненты приложения синхронизированы с действиями пользователя.
Проверка, что пользователь может вернуть или отменить действие, если он нажал не ту кнопку.
Проверка, что скорость отклика элемента достаточно высока
Тестирование UI
(Проверка соответствия графического пользовательского интерфейса приложения спецификации)
Проверить на соответствие требованиям UI
Проверка
пользовательского интерфейса приложения со стандартными разрешениями экрана: 640 × 480, 800 × 600, 1024 × 768, 1280 × 800, 1366 × 768, 1400 × 900, 1680 × 1050.
Проверка основного элемента дизайна: кнопки, значки, цвета, ссылки, шрифты, размеры шрифтов, макет, текстовые поля, форматирование текста, метки, подписи, кнопки, списки и т.д.
Проверка, что реклама не перекрывает кнопки управления приложением.
Тестирование совместимости/конфигурационное тестирование
(Проверка работы приложения при различных программных и аппаратных конфигурациях)
Конфигурация ОС
Конфигурация базы данных
Конфигурация устройства
Конфигурация сети
Тестирование производительности
Нагрузочное тестирование
Проверка времени отклика приложения на различные типы запросов, чтобы убедиться, что приложение работает в соответствии с требованиями для нормальной пользовательской нагрузки
Стресс-тестирование
Тестирование работоспособности приложения при нагрузках, превышающих пользовательские в несколько раз.
Тестирование стабильности
Проверка работоспособности приложения для продолжительной работы под нормальной нагрузкой.
Объемное тестирование
Проверка работы в условиях «расширенной» базы данных, под обычное время.
Параллельное тестирование
Проверка количества пользователей, которые могут одновременно работать с приложением.
Тестирование безопасности
(Проверка безопасности системы, а также анализ рисков, связанных с обеспечением целостного подхода к защите приложений, хакерами, вирусами, несанкционированным доступом к конфиденциальным данным.)
Проверка, что данные пользователей приложения (логины, пароли, номера банковских карт) защищены от сетевых атак автоматизированных систем и не могут быть найдены путем выбора.
Проверка, что система безопасности приложения требует надежного пароля и не позволяет злоумышленнику захватить пароли других пользователей.
Проверка, что приложение не предоставляет доступ к конфиденциальному контенту или функциям без надлежащей аутентификации.
Проверка защиты приложения от атак типа SQL-инъекций.
Проверка защиты приложения и сети от DoS-атак.
Проверка защиты приложения
от вредоносных атак на клиентов.
Проверка защиты системы от вредоносных реализаций во время работы программы.
Тестирование изменений
Подтверждающее тестирование
Проверка, что все обнаруженные дефекты успешно исправлены.
Регрессионное тестирование
Проверка, что не возникли новые дефекты после внесения изменений в коде.
Дымовое тестирование
(Короткий цикл тестов, выполняемый для подтверждения того, что после сборки кода устанавливаемое приложение, стартует и выполняет основные функции)
Тестирование сборки
(Определение соответствия, выпущенной версии, критериям качества для начала тестирования)