Тестирование приложений под Android

Сколько устройств нужно для тестирования игры под Android, — задались вопросом авторы блога Techсruch, и обратились с ним к разработчикам мобильных программ. Ответы некоторых из них вполне могут напугать даже бывалого тестера. 

400 устройств используют для тестирования каждого своего продукта в Animoca, гонконгской компании, специализирующейся на девчачьих играх для Android. Повторюсь, они тестируют каждую игру на четырехстах гажетах. 

Исполнительный директор компании Ят Сию (Yat Siu) объясняет, что это необходимо для тех, кто ориентируется на китайский рынок, где большой популярностью пользуется бюджетные Android-смартфоны от местных производителей, выпускающих с каждым месяцев все больше и больше подобных устройств. 

Авторы Life is Crime из Red Robot (суммарное число загрузок всех программ — 3,5 млн) используют для тестирования только 12 устройств, а также прибегают к помощи аутсорсинговой Testology, помогающей «покрыть» еще 35 гаджетов.   

«Я руководствуюсь здравым смыслом», — заявляет Пит Холи (Pete Hawley), один из основателей Red Robot, проработавший в EA 15 лет. Полагаясь на правило 80/20 (80% рынка за 20% игроков), он выбирает для тестирования те бюджетные решения, которые, на его взгляд будут или есть у большинства пользователей. 

Для анализа рынка в Red Robot используют базовую информацию от Google: какие версии Android наиболее распространены на рынке, какие бывают у устройств экраны. Дальше они смотрят, с каких смартфонов и планшетов в их игры заходят пользователи. В выборе будущих устройств тестирования в Red Robot также опираются на пользовательские запросы. 

По словам Холи, важно быть избирательным в том, какие устройства необходимо поддерживать, учитывая огромное число бюджетных смартфонов из Азии. 

«Важно сказать «нет» пользователям с маленькими, дешевыми устройствами, чья прошивка уже давно не обновлялась», — уточняет Холи. – «Покрывать 80% рынка – не так то уж и трудно». 

Ниже график, на котором можно увидеть, на какие устройство ориентировалась компания прошлой осенью.

Примерно такое же количество устройств использует для тестирования Pocket Gems (суммарное количество загрузок 70 млн, авторы таких игр как Tap Paradise Cove и Tappily Ever After). Они, к слову, разбивают тестирование каждой игры на три фазы: 

1. Тестирование новых фич

2. Тестирование собранной версии

3. Финальное тестирование

«Как только в ходе тестирования собранной версии вылавливаются все баги, в игру перестают заливать новый контент, код больше не трогают», — говорит глава компании Рай Виззон (Ray Vizzone). Игру начинают шлифовать, проверять, как она ведет себя на различных аппаратах с разным количеством оперативной памяти, различными процессорами, насколько производительная и так далее. Это и является финальным тестированием, после которого, в случае отсутствия критических багов отправляют в свободное плаванье.