Тестирование: Что стоит автоматизировать в первую очередь?

Есть программный продукт, его нужно тестировать. Что же в первую очередь мы будем автоматизировать? А что будем проверять вручную?

Основные преимущества автоматизированного тестирования (АТ)

1. Повторяемость: Те тесты которые повторяются от версии до версии, можно автоматизировать
2. Быстрота выполнения: Автоматические тесты выполняются быстрее ручных
3. Отчеты: Результат тестирования предоставляется автоматически
4. Экономия: Тестировщик во время выполнения тестов может заниматься другими задачами

 Недостатки АТ

1. Написание авто тестов требует намного больше времени, чем написание ручного
2. Поддержка: Чем чаще меняется продукт, тем чаще нужно менять и автоматические тесты
3. Пропуск мелких ошибок: Тестировщик выполняя тест вручную мог бы заметить то, что не заметит машина
4.  Архитектура: сложность в прогнозировании результата. (Например, результат может быть неверный, автотест это поймет, а может отсутствие результата и тест может упасть, или результат упавшего теста может заблокировать или изменить правильность валидации результатов.)

И так...

Где нужно применять автоматизацию

1. Проверка критически важных функций: дымовое тестирование
2. Труднодоступные места: html, xml-код, информация из база данных и тд и тп
3. Рутинные действия: заполнение большого количества полей формы или большого количества форм
4.  Длинные сценарии, желательно  end-to-end
5. Проверка точных математических вычислений
6. Нагрузочное тестирование

 

Тестирование: Полезные советы по Coded UI

Собираю полезные ссылки по тестированию пользовательского интерфейса. Как выполнять тесты в облаке нам уже понятно - виртуальные машины нам в помощь (просто и быстро).

• Блог: Как создать возможность многократного использования теста и другое в статье blogs.msdn.com/b/gautamg/archive/2009/12/21/understanding-the-code-generated-by-coded-ui-test-part-2.aspx
• 
  

1Veg.ru: Статистика на начало мая 2013

В продолжение статистики за март и так.
Социальная статистика  (изменения за почти 2 месяца)

• Вконтакт страница - 118 (+28) работы не проводились, только автопостинг
• Facebook page - 218 (+18) -//-
• Twitter - 28 (+9) -//-
• Google+ - страница - 35 (+12), 19 подписчиков ручной постинг

На сайте все это время не установлены виджеты, только ссылки на страницы на главной сайта.
 

Тестирование Coded UI in Windows Azure

Есть задача: автоматизировать тестирование показов баннеров и делать это в Windows Azure

Что есть в интернете по этому поводу + немного нагрузочного тестирования для примеров:

• Блог: blogs.msdn.com/b/anujchaudhary/archive/2012/11/02/windows-azure-automated-ui-testing-using-the-power-of-cloud.aspx
• Load Testing with Agents running on Windows Azure – part 1 blogs.msdn.com/b/ricardo/archive/2011/04/08/load-testing-with-agents-running-on-windows-azure-part-1.aspx  
• Статья Testing Applications in Windows Azure social.technet.microsoft.com/wiki/contents/articles/5394.testing-applications-in-windows-azure.aspx
• Инструкция: Using Visual Studio Load Tests in Windows Azure Roles msdn.microsoft.com/en-us/library/windowsazure/hh674491.aspx
• Форум Visual Studio UI Automation Testing + Coded UI tests social.msdn.microsoft.com/Forums/en-US/vsautotest/threads 

Steps

1. Create TFS, Azure Cloud Service, VS project.
2. Install Windows Azure SDK for .NET - October 2012 microsoft.com/en-us/download/details.aspx?id=35448 We have installed it early
3. Install Microsoft® SQL Server® 2008 R2 SP2 - Express Edition microsoft.com/en-us/download/confirmation.aspx?id=30438 We have SQL Server Express 2012
4. Load Test Key from MSDN
5. Download Visual Studio Agents 2010 - ISO  microsoft.com/en-us/download/details.aspx?displaylang=en&id=1334
6. Download Storage Service Smart Client 
7. Download Service Bus Explorer code.msdn.microsoft.com/Service-Bus-Explorer-f2abca5a

1. Create the Azure Hosted Service - We have create Cloud Service
2. Create an Azure storage account
3. Set up Windows Azure Connect (Virtual)
4. 
   

Тестирование логики показов баннеров

Есть задачка: Оттестировать логику показов баннеров.
То есть. Для каждой (или одной) веб страницы есть баннер, который при соответствующих условиях отобразиться.
Сейчас стоит вопрос в том, как автоматизировать этот процесс.
А основная загвоздка, как понять, что на сайте отобразился именно тот (нужный) баннер.

Как я вижу это решение

1. Сфотографировать нужную область и распознать на нем текст, например с id баннера. И потом по id понять, правильный это баннер или нет. Можно также использовать qr код - если это упростит задачу или хэш картинки.
2. Сделать страницу на которой может отображаться только один баннер и только при определенных условиях. То есть, если условия соответствуют, то на странице есть картинка, не соответствуют - нет. Но тут есть свои минусы.

И что имеется в арсенале.
Visual Studio 2012 максимальная версия.

1Veg.ru: Статистика сайта на середину марта 2013

В продолжение статьи о победах в SEO раскрутке сайта 1veg.ru пишу о другой статистике по сайту.
Статистика в социальных сетях

• Вконтакт страница - 90 подписчиков 
• Facebook page - 200 лайков
• Twitter - 19 фоловеров
• Google+ - страница - 23 plus

VS: Информация о MTM, Hyper-V, Coded UI

Видео по Microsoft Test Manager, Visual Studio

• Короткая презентация возможностей Microsoft Test Manager и Visual Studio 2010  techdays.ru/videos/4286.html
• Повышаем качество тестирования с помощью Microsoft Test Manager 11 techdays.ru/videos/4395.html
• Тестирование приложений с использованием Microsoft Test Manager 2012 и Lab Management 2012  techdays.ru/videos/6531.html
• Тренинг ALM2012: Модуль 7: Тестирование приложений с (20:00) автоматизация ручных тестов techdays.ru/videos/6688.html 
• Visual Studio Ultimate 2012: Простое тестирование пользовательских интерфейсов с помощью закодированных тестов пользовательского интерфейса channel9.msdn.com/Series/Visual-Studio-2012-Premium-and-Ultimate-Overview-RUS/Visual-Studio-Ultimate-2012-Easily-testing-user-interfaces-with-Coded-UI-tests-RUS
• Создание и поддержка автоматических тестов интерфейса Coded UI в Visual Studio 2012 (20:00 - Параметры методов;)  techdays.ru/videos/6532.html

Hyper-V Видео обучение

•  Мобильная виртуализация на основе Hyper-V techdays.ru/videos/2868.html

Блоги специалистов

• Блог Дмитрия Андреева - тестирование на MTM [MSFT] blogs.msdn.com/b/dmandreev 
• Блог Владимир Гусаров vstsblog.ru Его Видео доклады techdays.ru/speaker/Hussar
• Время для Coded UI 2010, Вступление, Подключение данных, Запуск   habrahabr.ru/post/97012/

Helps

• Начальное руководство по выполнению автоматических тестов из плана тестирования в MTM msdn.microsoft.com/ru-ru/library/ff472576%28v=vs.110%29.aspx
• Проверка кода с помощью закодированных тестов пользовательского интерфейса: TestInitialize, TestCleanup   msdn.microsoft.com/ru-ru/library/dd286726.aspx

Other

• Скачать продукты microsoft.com/visualstudio/eng/downloads

Настройка и ошибки

• Если error "Remote User Access Control" при проверке то HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System  DWORD Value LocalAccountTokenFilterPolicy  Value data 1 blogs.msdn.com/b/visualstudioalm/archive/2012/06/13/creating-team-foundation-server-2012-lab-management-standard-environments-and-getting-error-verify-that-the-machines-are-accessible-using-the-user-name-and-password-provided.aspx