Jump to content
Sign in to follow this  
Lynx8851

Инструкция по бета-тестированию мобильных решений ЛК

Recommended Posts

Инструкция по бета-тестированию мобильных решений ЛК

 

Бета-тестирование (от англ. beta testing) – интенсивное использование почти готовой версии продукта, с целью выявления максимального числа ошибок в его работе для их последующего устранения, перед окончательным выходом (англ. Release) продукта на рынок, к массовому потребителю.

В отличие от альфа-тестирования (англ. alpha testing), проводимого силами штатных разработчиков или тестеров, бета-тестирование предполагает привлечение добровольцев из числа обычных будущих пользователей продукта, которым рассылается упомянутая предварительная версия продукта (так называемая бета-версия). Такими добровольцами (их называют бета-тестерами) обычно движет любопытство к новому продукту – любопытство, ради удовлетворения которого они вполне согласны мириться с возможностью испытать последствия ещё ненайденных (а потому и неисправленных) ошибок. Кроме того, бета-тестирование может использоваться как часть стратегии продвижения продукта на рынок (например, бесплатная раздача бета-версий позволяет привлечь широкое внимание потребителей к окончательной дорогостоящей версии продукта), а также для получения предварительных отзывов о нём от широкого круга будущих пользователей.

 

Внимание! "Лаборатория Касперского" не несет никакой ответственности за работу бета-версии! За все ваши действия отвечаете только вы. Поэтому, если вы не уверены в своих силах, то лучше не принимайте участие в бета-тестировании.

 

Мы подготовили для вас справочную информацию, которая поможет вам в бета-тестировании.

 

Содержание

Раздел 1.

Раздел 2.

Раздел 3.

Раздел 4.

Раздел 5.

Раздел 6.

Раздел 7.

Раздел 8.

Раздел 9.

Edited by Keeper-Volok

Share this post


Link to post

Раздел 1. Как присоединиться к бета-тестированию?

 

Пользователям Android

Для участия в бета-тестировании необходимо подать заявку на вступление в группу «KISA FORUM Testers»:

1. Идем по ссылке https://groups.google.com/d/forum/kisa-alpha-testers

2. Кликаем на «Подать запрос на участие»

ИЛИ

прислать заявку на почту kavmobile@kaspersky.com.

 

Заголовок: "Заявка на участие в бета-тестировании Mobile”

В теле заявки необходимо предоставить следующую информацию:

 

Ник на форуме: <...>

E-mail для связи: <...>

Google Play аккаунт: <…>

 

OS: <...>

Model: <...>

IMEI: <...>

 

Дождаться ответа с подтверждением.

Внимание Мы будем стараться обрабатывать заявки максимально оперативно. Однако просьба набраться терпения и дать нам 2-3 дня предже, чем обращаться повторно.

 

После получения подтверждения о включении в группу нужно активировать участие на Gplay:

1. Открыть линку соотвествующего приложения:

Kaspersky Internet Security for Android: https://play.google.com/apps/testing/com.kms.free

Kaspersky Security for Mobile (B2B): TBD

Kaspersky Password Manager: TBD

Kaspersky Safe Kids: TBD

Kaspersky QR Scanner: TBD

Kaspersky Phound!: TBD

Kaspersky Threat Scan: TBD

 

2. Нажать на кнопку «Участвовать в тестировании» (теперь на Gplay вам будут доступны сборки для бета-тестирования)

 

Пользователям iOS

Для участия в бета-тестировании необходимо:

1. Подать заявку, отправив письмо на почту kavmobile@kaspersky.com.

Заголовок: "Заявка на участие в бета-тестировании Mobile”

В теле заявки необходимо предоставить следующую информацию:

 

Ник на форуме: <...>

E-mail для связи: <...>

AppleID: <…>

 

OS: <...>

Model: <...>

IMEI: <...>

 

2. Дождаться ответа с подтверждением.

Внимание Мы будем стараться обрабатывать заявки максимально оперативно. Однако просьба набраться терпения и дать нам 2-3 дня предже, чем обращаться повторно.

 

3. После получения подтверждения о включении в группу нужно установить приложение TestFlight (тут будут появляться приложения доспуные для бета-тестирования)

 

Поздравляю теперь вы в рядах бета-тестировщиков!

Edited by Keeper-Volok

Share this post


Link to post

Раздел 2. Расшифровка используемых сокращений.

 

KISA - Kaspersky Internet Security for Android.

ЛК - Лаборатория Касперского.

KL - Kaspersky Lab.

GBT - Gold Beta Tester - Золотой бета-тестер - Звание присваивается наиболее активным бета-тестерам после окончания разработки продукта.

FAQ - Frequently Asked Question(s) - Часто задаваемые вопросы.

 

Прототип - Прототип нового продукта.

Альфа-версия - Начальный этап разработки продукта, новый функционал ещё только разрабатывается.

Бета-версия - Разработка функционала закончилась, начинается тестирование компонентов.

Релиз-кандидат - Release Candidate - RC - Сборка, которая позднее может стать релизом.

Технический релиз - Technical Release - TR - Полностью готовая с технической стороны сборка продукта; дальше начинается подготовка сборки к продаже (печать коробок, создание Базы знаний, разработка материалов по продукту на сайте и т.п.)

Коммерческий релиз - Commercial Release - CR - Начало продажи продукта; с этого момента осуществляется официальная техническая поддержка.

Maintenance Release - MR – Обновление, которое содержит исправления найденных ошибок, а также добавляется новый функционал.

 

Anti-Spam – Анти-Спам

Anti-Theft – Анти-Вор

Anti-Virus – Антивирус

Encryption – Шифрование

Firewall – Фаервол – Сетевой экран

GUI - ГУИ - ГУЙ - Graphical User Interface - Графический интерфейс программы.

Parental Control - Родительский контроль.

Privacy Protection – Защита данных

 

Change log - Список изменений.

IMHO - ИМХО - In My Humble Opinion - По моему скромному мнению (один из наиболее употребляемых вариантов перевода).

Log – Лог - журнал событий.

URL - Линк - Ссылка.

Апдейт - Обновление.

Аттач - Аттачмент - Attachment - Прикреплённые к сообщению файлы.

Баг - Ошибка.

Билд - Сборка.

Пост - Сообщение.

Скриншот - Screenshot - Скрин - Снимок экрана.

Топик - Тема.

Edited by Keeper-Volok

Share this post


Link to post

Раздел 3. Начало тестирования: загрузка, установка и активация бета-версии.

 

Внимание! Перед началом бета-тестирования рекомендуем вам сделать резервное сохранение всех ваших персональных данных (контактов, фотографий, музыки и др.), хранящихся на вашем мобильном устройстве, чтобы в случае проблем, связанных с тестированием, можно было бы без проблем восстановить все ваши данные.

 

В процессе установки бета-версии в некоторых продуктах (например, KISA) нужно будет активировать программу. Участникам бета-тестирования вместе с бета-версией антивируса рассылаются еще и специальные некоммерческие коды активации, как правило, сроком на один месяц (или до окончания бета-тестирования). С этого момента вы стали тестером продукта.

 

После выхода более новой бета-версии, вам необходимо будет обновить продукт. Для этого удалите с мобильного устройства старую бета-версию и затем скачайте новую версию с форума или Google Play.

После этого можно приступить к ее установке и тестированию.

 

Внимание! Настоятельно не рекомендуется устанавливать новый билд "поверх" старого. Не переносите настройки со старой сборки на новую (если вас об этом не просят разработчики), потому что это может привести к некоторым проблемам. Поэтому прежде, чем установить новую бета-сборку, сперва полностью удалите старую.

Edited by Keeper-Volok

Share this post


Link to post

Раздел 4. Поиск багов.

 

Чтобы найти баги в программе, нужно четко представлять себе, что такое баг.

Баг – жаргонное слово, обозначающее ошибку в программе. Термин обычно употребляется в отношении ошибок, проявляющих себя на стадии работы программы, в отличие, например, от ошибок проектирования или синтаксических ошибок. «Баги» локализуются и устраняются в процессе тестирования и отладки программы. Проявиться баг может где угодно и когда угодно. Это может быть как постоянная некорректная работа программы, так и временная, проявляющаяся лишь при определенных условиях (например, параллельная работа другой программы). Под определение бага попадает так же негативное влияние испытуемой программы на работу других программ и операционной системы (далее ОС).

 

В задачу бета-тестера входит выделить баг, по возможности попытавшись убедиться, что он вызван именно испытуемой программой, определить условия, при которых этот баг дает о себе знать, и максимально подробно рассказать об этом в соответствующей ветке на форуме бета-тестирования продукта. Очень важно постараться понять, при каких именно условиях баг повторяется (или на профессиональном языке – воспроизводится), и рассказать об этом на форуме. Возможно, разработчики продукта попросят Вас предоставить дополнительную информацию по поводу найденного Вами бага, а в некоторых случаях могут выслать и отладочную версию, поэтому постарайтесь наблюдать за сообщениями на форуме.

Кроме упомянутого выше, багами также являются и грамматические ошибки в программе, недочеты в графическом интерфейсе (GUI), проблемы с чрезмерным энергопотреблением при работе программы и т.п.

 

Внимание! Не подтверждайте или опровергайте ошибки, найденные другими бета-тестерами, если вас явно об этом не просят. Помните, что у каждого из участников тестирования уникальная аппаратная и программная конфигурация мобильного телефона, поэтому у одного ошибки могут быть, а у другого нет.

 

В процессе бета-тестирования большой интерес представляет совместимость мобильных продуктов с Вашим устройством, а так же проверка совместимости продуктов с другими программами, поскольку в процессе альфа-тестирования невозможно охватить всё множество устройств и вдвойне сложно охватить всё множество программ, с которыми может возникнуть несовместимость по тем или иным причинам. Поэтому необходимо проверить совместимость тестируемого продукта с типичным для Вас набором установленных (запущенных) приложений. При этом, по возможности, надо сообщать разработчикам о наборе программ (лучше с версиями), чтобы было легче локализовать и решить проблему.

 

При выявлении отклонений в работе устройства после установки продукта (например, времени жизни батареи, использовании стандартных функций телефона, т.п.) следует подробно рассказать об этом в соответствующей ветке форума.

 

Разработчики "Лаборатории Касперского" могут попросить у вас:

- Скриншот (Screenshot) - снимок экрана. Скриншоты нужно прикреплять к своему сообщению на форуме.

- Воспроизвести баг – если у других бета-тестеров возникают баги, то разработчики могут попросить всех ее воспроизвести, чтобы убедиться, что ошибка повторяется стабильно.

- Воспроизвести на дебажной сборке - если разработчики не могут воспроизвести указанный Вами баг, они могут выслать Вам дебажную сборку. И вы должны будете установить ее, попробовать воспроизвести баг и отправить им логи.

 

Внимание! Не спрашивайте после выхода новой сборки, почему не поправили ту или иную ошибку. Везде есть свои приоритеты. Для исправления некоторых ошибок требуется время.

Edited by Keeper-Volok

Share this post


Link to post

Раздел 5. Публикация багов на форуме.

 

Как только начинается очередное бета-тестирование, на форуме создается соответствующая тема в ветке продукта с под-топиками по модулям продукта.

 

Найденный тестером баг публикуется в соответствующей теме (например, баг с невозможностью обновления антивирусных баз публикуется в теме KISA > «Обновление антивирусных баз» и т.д.).

На каждую тему назначается Топик-Лид (Topic-Lead), т.е. ответственный человек, который будет принимать поступившие жалобы и заносить в специальный документ, который в последствие будет передаваться сотрудникам ЛК для их дальнейшего устранения. Список собранных проблем можно будет найти в разделе «Список обнаруженных ошибок», который создается на каждый релиз проходящий beta-тестирование.

 

Внимание! Прежде, чем писать о новой ошибке настоятельно рекомендуется посмотреть список уже зарепорченных багов, возможно ваша проблема там уже озвучена.

 

Внимание! В указанные выше темы пишите только по делу, не флудите, излагайте свои мысли чётко. Информация в темах, которая не относится к бета-тестированию, будет удаляться. А нарушители будут наказываться вплоть до блокирования доступа на форум. Не заставляйте нас идти на крайние меры.

Edited by Keeper-Volok

Share this post


Link to post

Раздел 6. Схема обработки жалоб.

 

1. Вы сообщаете на форуме о проблеме, предварительно убедившись, что проблема отсутствует в "Списке обнаруженных ошибок", не нужно сообщать об уже известных багах. (Помните: одна проблема - одно сообщение, формулируйте проблему четко и понятно)

 

2. Топик-лид вносит жалобу в список поступивших проблем (список ведется в MS Excel, по каждой теме свой файл, шаблон приаттачен к правилам) со статусом "Поступила". Если требуются уточнения - задается вопрос автору жалобы, идет выяснение деталей.

 

3. Топик-лид рассматривает жалобу. Если жалоба является пожеланием, статус меняется на "Пожелание". Если жалоба является багой, Топик-лид пытается ее воспроизвести. Если бага воспроизвелась, то он меняет статус на "Воспроизведено", в противном случае статус меняется на "Не воспроизведено", Топик-лид запрашивает у автора жалобы дополнительную информацию, привлекает других бета-тестеров к воспроизведению проблемы. Пока жалоба не повторилась, статус ее - "Не воспроизведено". Если автор жалобы снимает проблему, статус меняется на "Отклонено".

 

4. По мере обновления списков поступивших жалоб Топик-лиды выкладывают списки в специальную тему "Списки обнаруженных ошибок" (Канал взаимодействия бета-тестеры -> сотрудники ЛК)

 

5. Списки скачиваются сотрудниками ЛК, обрабатываются только те жалобы, которые имеют статус "Воспроизведено" или "Пожелание", баги воспроизводятся тестерами. Если бага принимается, она получает статус - "Принято". Если жалоба является фичей или пожеланием на будущие версии KISA, она получает статус "Принято" или "Отложено". Если сотрудники ЛК не смоги воспроизвести жалобу, статус меняется на "Требуются детали", при этом сотрудники ЛК указывают, какая именно информация требуется.

 

6. По мере обработки жалоб, ответственный сотрудник ЛК или топик-лид, на основе обратной связи из ЛК, обновляет информацию об обработанных жалобах и их статусе. Жалобы при этом из списка не удаляются, меняется только их статус

 

7. Топик-лид и только он имеет права на внесение изменений в список поступивших жалоб.

 

8. Топик-лид должен следить за тем, чтобы число жалоб со статусами "Поступила", "Не воспроизведено" и "Требуются детали" было минимальным.

 

9. Топик-лид обновляет список жалоб не реже, чем 2-3 раза в неделю.

 

10. Топик-лид следит за тем, чтобы формулировка жалоб, заносящихся в список, была краткой и понятной

 

В аттаче диаграмма процесса обработки жалоб.

post-188291-1460644730_thumb.jpg

post-188291-1460644736_thumb.jpg

Edited by Keeper-Volok

Share this post


Link to post

Раздел 7. Полезные советы пользователям Android.

 

1. Если приложение упало, то на карте памяти или внутренней памяти устройства (в общем в /mnt/sdcard/, а вот что именно туда монтируется – это зависит от производителя аппарата) будет файл stack.trace, который можно забрать любым файловым менеджером или даже из Windows и предоставить с описанием ситуации, вызвавшей падение.

 

2. Если файл не создался или баг не связан с падением, то нужен лог, для чего есть logcat

 

Перво-наперво нужно включить режим отладки по USB.

В Android 4.0 и выше нужно зайти в Настройки - Для разработчиков. В Андроид 4.2 и выше нужно сначала включить показ Developers options: http://juick.com/Umnik/2132459 В Андроид 2.х - 3.х Настройка – Программы – Разработка

После завершения тестирования KISA режим стоит отключить в целях безопасности.

 

Вот разные варианты сбора лога, каждый найдет удобный для себя:

1. Сбор прямо с самого устройства

a. Ставим aLogcat

b. Запускаем утилиту и переключаемся на KISA

c. Воспроизводим проблему

d. Переключаемся на утилиту, ждем пару секунд и сохраняем лог

 

2. Через компьютер с использованием сценариев

Разработаны сценарии (скрипты) для сбора лога с устройства (LCC ) и выдергивания из устройства всех APK (AGS). Подробная информация представлена в этой теме.

 

3. Плагин Total Commander

a. Ставим плагин http://wincmd.ru/plugring/android_adb.html

b. Подключаем устройство

c. Воспроизводим проблему

d. Забираем лог из TC -> Network -> ADB -> Device -> .logcat -> filename.txt

 

4. SDK. Вариант 1, не интерактивный

a. Качаем и инсталлируем JDK http://www.oracle.com/technetwork/java/index-jsp-138363.html

b. Качаем и инсталлируем SDK http://developer.android.com/sdk/index.html

c. Подключаем устройство к компу

d. Воспроизводим баг

e. Сохраняем лог http://developer.android.com/tools/help/logcat.html (adb logcat -f d:\logcat.txt). Операция выполнится секуд за 5.

 

5. SDK. Вариант 2, гуевый

a. Все шаги из прошлого пункта, кроме последних двух

b. Запустить %android-sdk%\tools\monitor.bat

c. Выбрать нужное устройство

d. Воспроизвести проблему

e. В нижней четверти выделить все по Ctrl+A и сохранить нажатием на дискетку (уровень verbose)

В этом же варианте 4 можно и очищать лог до воспроизведения проблемы, чтобы лишнее не попало.

 

3. Удаление продукта, вируса и т. п. через ADB подробно описано в этой теме.

Edited by Keeper-Volok

Share this post


Link to post

Раздел 8. Полезные советы пользователям iOS.

 

При диагностике проблем на iOS имеет ценность предоставление краш логов.

Краш логи можно собрать тремя способами:

 

1) Логи можно получить из AppStore, для этого у пользователя должна быть включена отправка диагностической информации в Apple.

Включить ее можно в настройках системы Settings->Privacy->Diagnostics & Usage->Automatically Send

 

2) Логи можно получить на устройстве, для этого надо перейти в Settings->Privacy->Diagnostics & Usage->Diagnostic & Usage Data-> выбрать необходимый лог, скорее всего он будет самый первый. содержимое можно скопировать или отправить по email

 

3) Логи можно собрать через десктопный iTunes, для этого необходимо подключить устройство к компьютеру и синхронизироваться через iTunes,

при этом логи будут скопированы в следующие директории:

Mac OS X: ~/Library/Logs/CrashReporter/MobileDevice/<DEVICE_NAME>

Windows XP: C:\Documents and Settings\<USERNAME>\Application Data\Apple Computer\Logs\CrashReporter\MobileDevice\<DEVICE_NAME>

Windows Vista or 7: C:\Users\<USERNAME>\AppData\Roaming\Apple Computer\Logs\CrashReporter\MobileDevice\<DEVICE_NAME>

Edited by Keeper-Volok

Share this post


Link to post

Раздел 9. Как проверить работоспособность компонентов продукта?

 

Для проверки работоспособность компонентов антивирусного продукта можно воспользоваться следующими стандартными решениями:

— Антивирус/Сканер:
1) загрузкой и последующей установкой "EICAR Anti-virus Test" из
;

2) загрузкой и последующей установкой "AMTSO test file":
;

— Веб-Фильтр:

1) с помощью перехода на
;

2) с помощью перехода на
(за дополнительной информацией обращайтесь к
).
Edited by Keeper-Volok

Share this post


Link to post
Guest
This topic is now closed to further replies.
Sign in to follow this  

×
×
  • Create New...

Important Information

We use cookies to make your experience of our websites better. By using and further navigating this website you accept this. Detailed information about the use of cookies on this website is available by clicking on more information.