1. Проверяем скорость загрузки системы (до полной прорисовки Today) с KMS и без него.
2. Тестируем производительность системы специальными утилитами Spb Benchmark или SKTools с установленным KMS и без него, а так же с различными комбинациями настроек KMS. Тест рекомендуется проводить на чистом девайсе, после хард резета. Перед тестом рекомендуется отключить автоматическую регулировку частоты процессора (если доступно в прошивке). ориентировочно пуск-настройка-система-электропитание-экономное-снять галку с "режим экономии энергии", на разных моделях может немного отличаться.
3. Смотрим визуально как ведет себя система после устанки KMS.

Spb Benchmark (оф сайт)
SKTools (оф сайт) главное окно-меню "информация"-"bencmark" (результаты теста можно сохранить в текстовый файл)
PS: несмотря на то что SKTools не бесплатная программа, в демо режиме бенчмарк системы доступен в полной мере, так что берем ее тоже в набор своих инструментов. разработчик как и Spb очень авторитетный и имеющий немало наград в номинации лучший софт.

вобщем сам протестил воздействие KMS8 на систему так. результат:
1. Загрузка без KMS8 35-38 сек, загрузка с KMS8 55-58
2. Протестировал производительность систему с KMS8 и без нее и получил практически одинаковые результаты производительности, различие настолько мало что я его на принял во внимание.
3. Визуально заметно что система с KMS8 подтупляет, особенно заметно мне при работе проводника и открытии-навигации по менюшке "программы"

удивительно но результаты по пунктам 2 и 3 абсолютно не стыкуются. почему не могу понять. правда утилитой от SPB еще не тестил, но 2D_Mark и Vsbenchmark2007 пробовал

сейчас попробую Spb Benchmark (она более масштабно и разносторонне тестирует систему), позже отпишусь.

хм это частично надо будет внести в FAQ.

apq, хорошая программа, спасибо.

Я бы четко выписал метрики и способы измерения


Тут все понятно, замеряем кол-во секунд до полной загрузки


А тут не очень ясно, что является количественным показателем


Субъективность - это плохо, я бы как-то конкретизировал

а конкретизировать как? считать секундами как быстро открываются менюшки кпк и программ?
я обращу внимание на:
изменилась скорость открытия файлов проводником, изменилась ли скорость инициализации программ, как быстро открывается меню "пуск-программы" (у меня там были подтормаживания) повлияло ли установка KMS на стабильность системы ?
впринципе каждый сам знает где у него в системе замечались подтормаживания при KMS8

в SPB bencmark много показателей, там и скорость работы с файловой системой, тест работы процессора, тест работы IE, много чего, завтра отпишусь конкретнее. возможно найду мануал к ней. плоха что программа доступна только на англ. а я не сликом силен, но думаю справимся

IE это кто? Internet Explorer? Это прога для компа что-ли? А как она смарт-то тестит?

способы измерения понятно, а что имеется ввиду под термином метрики? уточните...

IE это Internet Explorer все верно. он присутствует в windows mobile.
SPB Bencmark программа для win mobile и на симбиане не работает.
когда методика тестирования приобретет более законченный вид ее адаптируют под симбиан.
у меня смарта нет и симбиан я не юзал уже лет пять точно

терь дошло ))) напиши в подписи модель телефона ) я бы тогда сразу допер.

Хочется уменьшить субъективную составляющую. Помните, сколько споров было по поводу тормозов в KMS8?! Я бы вообще выделил тест-кейсы - типа запусти то-то, померяй, запиши, сравни, сделай вывод. Хочется, чтобы тесты были прозрачны и воспроизводимы

полностью согласен. надо подумать...

заметил интересную особенность.
система с установленным KMS8 подтормаживает не везде, например при открытии меню "программы" и при скролинге в этом меню заметно замедление прорисовки элементов, но например при нажатии "пуск" прорисовка происходит как обычно без задержки. точно так же и файловый проводник, в Resco проводнике или Pocket RAR притормаживание заметно а в стандартном проводнике нет. хотя с другой стороны Pocket RAR хоть и медленнее прорисовывает элемнты в списке файлов, но с другой стороны один и тот же файл что с KMS8 что без него жмет при одинаковых настройках с одинаковой скоростью.
ничего не понимаю если честно, почему

винда...

есть предложение тестить скорость загрузки кпк программным способом:
помещённая в автозагрузку программа при нажатии на кнопку запоминает время (до секунд) и перезагружает аппарат. сразу после включения аппарата программа стартует и запоминает второе время показывая на экране разницу. если у кого есть под рукой visual studio (или кто чем кодит) можно попробовать. я и сам не прочь попробовать но VS только на работе, а я щас на больничном

По поводу тест-кейсов. Приведу примерчик:
Test-Case №1: Влияние KMS на время загрузки телефона
1. Загружаем устройство без KMS, измеряем время загрузки устройства до появления окна Today
2. Устанавливаем KMS, активируем, оставляем настройки по умолчанию, выключаем и включаем телефон, измеряем время загрузки устройства до появления окна Today
3. Пробуем менять различные настройки, выключаем и включаем телефон, измеряем время загрузки устройства до появления окна Today. Пытаемся найти настройки, при которых происходит увеличение времени загрузки
4. Оформляем результаты в виде таблички

а чем замеряем? мне кажется что мой пост выше даст покрайнемере точные значения в секундах. ?

ceкундомером

Надо иметь ввиду, что ручками KMS из автозагрузки Вы не уберете

а веть просили сделать опциональную фичу.

Просили

я предлагаю проводить тесты с и без кмс, чтобы полностью исключить загрузку библиотек кмс, и соответственно его влияние на систему.
точнее первый тест проводить просто до установки кмс на аппарат

Угу, так и надо

провел сейчас тест с помощью Spb benchmark с KMS8 и без, и получил в некоторых параметрах системы уменьшение производительности а в некоторых наоборот увеличение...
вот такой кампот. к сожалению визуализацию провести не могу, нет инета на компе. только GPRS

что наводит на мысли о качестве использовавшихся методов


Выложите, как появится возможность

могу выложить xml файлы теста, там в принципе и так понятно

давайте

держите:

это до установки KMS8: Click to view attachment

это уже с KMS8: Click to view attachment

интересно кто нибудь еще пробовал такой тест? хотелось бы сравнить результаты

Да, было бы интересно. Может кто-нибудь возьмется?

Viktor, может вы попробуете?

Я бы попробовал если бы бета была.

ну на бете 9-ки в любом случае будем тест проводить. интересно знать пока результаты по 8-ке у других. было б несколько результатов можно было б составить сводную табличку для сравнения по результатам на разных девайсах

Думаю после обеда народ подтянется, протестирует, тогда и табличку можно составить.

Попробую, но не сейчас. Вы же хотите бету вовремя получить?!

безусловно

Ну вот, поэтому и стоит привлечь не меня, а кого-нибудь из бета-тестеров.

на symbian могу 9ку потестить когда бетка придёт,какие нужны данные ?

к сожалению как я уже говорил программа только для Windows Mobile... вечерком поищу что либо подобное для симбиана

у меня этих тестов для симбы много есть,какие именно нужны данные ?

какие имено данные пока не определились точно, методика еще на обсуждении-доработке...
а вообще чем более разносторонний тест, тем лучше... тестирование производительности процессора, доступа к файловой системе, работы памяти, тест работы стандартных приложений. вот такое ориентировочно

хорошо ,необхадимые данные предоставлю.
Извиняюсь за новящевость,когда примерно придёт 9ка ?

мне кажется что с начала следующей недели, может через две недели... Виктор пока не хочет прямо говорить когда, потерпите уж вместе со всеми

a какие программы Вы используете?я нашел только glbenchmark,spmark и cpumonitor.

glbenchmark,spmark,cpumonitor,phonetinfo,(jbacktaskmen потребление оперативы антивирусом и т.д.) ,gbenchmark,gbenchmark 3d,(matraxbench показывает инфу о производительности проца ,инфа не точна но можно увидеть произошли ли изменения), (JBenchmark Net тестирует интернет соединение),(mconection скорость интернет соединения и потребление трафика), (Nokia Energy Profiler энергопотребление), Y-Tasks, DeviceStatus - и т.д

стоит учесть что некоторые программы не работают на некоторых устройствах вообще или показывают неверную инфу.

думаю что Spb покажет верную инфу, разработчик очень серьезный и заслуженный. Роман вы не проверяли у вас программа работает?

вот эти программы работают,проверены,их информация точная
glbenchmark,spmark,cpumonitor,phonetinfo,jbacktaskmen,JBenchmark Net,mconection,Nokia Energy Profiler,Y-Tasks, DeviceStatus