Методика тестирования ноутбуков в лаборатории Terralab.ru. Не такая, как все

Для оценки времени автономной работы ноутбуков за последние годы создано не так уж много тестов. MobileMark 2002, с одной стороны, реализует в сценарии очень полезные паузы, в которых отчетливо проявляют себя технологии Intel Enhanced SpeedStep и AMD PowerNow, динамически, или адаптивно, управляющие рабочими точками «частота-напряжение» процессоров. С другой — несмотря на то что бенчмарк построен, по словам создателей, на базе SYSmark 2002, он сразу не очень понравился тем, что в нем сильно упрощен сценарий нагрузки системы, или workload (мы неспроста привели выше его подробное описание для SYSmark 2001), и подсчет производительности, хотя теоретически SYSmark 2002 нагружает систему сильнее 2001-го. Пакет Business Winstone Battery Mark 2004 вышел в свет совсем недавно, мы еще не успели толком его прощупать, да и сравнивать результаты не с чем. Впрочем, судя по названию, очевидно, что серьезной нагрузки на систему в нем тоже нет.

Еще раз подробно изложим суть тестовой методики TerraLAB и показателей, которые вводятся и рассчитываются при оценке времени атвономной работы. Основу составляет циклический прогон тестов пакета SYSmark 2001 — Multimedia Content Creation и Office Productivity (детали специально приведены выше), один за другим, до полного истощения батарей, то есть «умирания» системы. Предупреждения о низком заряде и прочая самодеятельность предусмотрительно отключаются. Тест прогоняется в различных режимах управления производительностью процессора, и — внимание! — результатом является не просто время, которое часто приводят как основной показатель, например, пакета MobileMark 2002¹. Принципиально — учитывать производительность, которую продемонстрировал ноутбук за это время.

Главная исследуемая величина — именно пара «производительность-время». Нетрудно догадаться, что они находятся в обратно пропорциональной зависимости. Скажем, можно зафиксировать частоту процессора на максимуме (и, соответственно, напряжение питания) — и мы получим минимум времени автономной работы. Зафиксируем на минимуме — максимально сэкономим энергию батарей и выиграем во времени. При автоматическом (адаптивном) выборе частоты получим третий результат. Какой режим оптимален? Казалось бы, ответ очевиден: надо стремиться к максимальной продолжительности мобильной работы. Но не все так просто. Представьте, что за время авиаперелета вам требуется перекодировать записанные в командировке видеоролики, чтобы затем подготовить презентацию. При экономии на процессоре сократится и число обработанных роликов, и вовсе не факт, что за более короткое время, но на максимальной частоте вы обработаете их меньше.

Хочу подчеркнуть, что в SYSmark 2001 имитируется поведение человека, работающего за клавиатурой, с паузами, расстановкой и соответствующей скоростью ввода заданий, что позволяет современным процессорам переводить дух и крупицами экономить энергию (например, тесты Winstone для этого не пригодны, потому что мчат тестовые задания со скоростью, которую глазом не уловишь). Показатель SYSscore вычисляется из времени отклика системы на запросы пользователя и поэтому прямо пропорционален скорости исполнения команд, то есть отражает производительность. Умножая результат SYSscore на время, на протяжении которого данный уровень производительности поддерживался ноутбуком, мы вводим показатель, ярко характеризующий автономные вычислительные способности конкретной системы. Мы называем его автономным вычислительным запасом (или Workdone).

Очевидно, что автономный вычислительный запас прямо пропорционален емкости аккумулятора ноутбука и массе последнего, поэтому для объективного сравнения в качестве вспомогательного параметра рассчитывается так называемая эффективность конфигурации: вычислительный запас, отнесенный к емкости батарей и весу компьютера (можно пойти еще дальше и относить все к объему). Насколько экономичен ноутбук в том или ином режиме, нам помогает судить еще одна рассчитываемая величина — средняя потребляемая мощность, равная, как легко догадаться, частному от деления емкости батареи на время автономной работы.

Разумеется, тест систем на время автономной жизни от батарей только с применением ресурсоемких скриптов пакета SYSmark 2001 был бы односторонним. Мы используем еще один довольно простой тест — проигрывание DVD-Video, что характеризует экономичность видеоускорителя и привода компакт-дисков. Производительность, само собой, здесь не учитывается: современные мобильные процессоры без проблем справляются с декодированием MPEG-2 и Dolby Digital через софтверные плейеры, тратя не более 50 процентов ресурсов. В качестве DVD-фильма мы используем 18-гигабайтный (двусторонний двухслойный) диск «Aquaria» с записью жизни аквариумных рыбок, программируемый более чем на десять часов непрерывного показа. Почти на все системы, способные автономно воспроизводить DVD, устанавливался Power DVD 4.0, опция поддержки аппаратного ускорения воспроизведения с помощью видеокарты не включалась. Для большинства ноутбуков тест проводится в режиме «Portable/Laptop» (или аналогичном), яркость экрана выставляется на максимум, в некоторых случаях принудительно сбрасываемый системой при работе от батарей (по нашим оценкам — на 10–15 процентов, и, кстати, у некоторых ноутбуков это поведение невозможно отключить).

В заключение оговорим, чему в наших обзорах почти не уделяется внимание. Во-первых, это характеристики дисплея: мы не проводим никаких точных измерений быстродействия, яркости и цветопередачи. Это тем более не имеет смысла, так как производители ноутбуков сегодня могут использовать комплектующие с одного завода, а завтра — с другого. И вообще, пока от ноутбуков, особенно тонких и легких, рано требовать того же, чего и от стационарных мониторов. Рекомендуем перед покупкой примерять на себя дисплеи ноутбуков самостоятельно, в соответствии с личными предпочтениями (кстати, оценивая максимальную яркость, не забывайте отключить ее, порой многочисленные, ограничители в BIOS Setup и энергосберегающих утилитах, по умолчанию нацеленных на экономию по этой статье расходов). Во-вторых, мы не придаем большого значения качеству встроенных громкоговорителей и очень удивляемся, когда обозреватели растекаются мыслью по этому бесплодному древу. Ну что сто раз твердить одно и то же: мол, всхлипы и хрипы годятся только для озвучивания жизнедеятельности Windows? Чего требовать от машины, которая целиком весит как один лишь блок питания средней мультимедийной акустической системы?

На все ноутбуки обычно устанавливается операционная система MS Windows XP Professional SP1 (плюс, в зависимости от модели, некоторые критические обновления) на разделе NTFS, физически расположенном в более быстрой области (внешние дорожки) жесткого диска. Файловая система, напомним, выбрана исходя из рекомендаций компании Microsoft, а также из тех соображений, что ноутбукам подчас доверяют очень критичные данные, безопасность и сохранность которых под FAT32 ниже. Более того, практически все ноутбуки западных компаний, приходящие к нам, имеют предустановленную версию именно Professional на NTFS.

В процессе инсталляции используемые нами пакеты Futuremark SYSmark 2001 и Veritest PC Magazine Winstone 2004 предлагают для чистоты эксперимента временно деактивировать все автоматически запускаемые и резидентные программы, но мы допускаем фоновую работу стандартных (фирменных) утилит, приближая тест к реальным условиям; к тому же во многих системах без них невозможно управлять энергосбережением и производительностью.

Объем оперативной памяти у всех моделей, проходящих наши тесты,  составляет не менее 256 Мбайт. Большинство тонких моделей имеют интегрированные в северный мост чипсета видеоускорители, использующие для собственных нужд часть системной памяти (технология SMA), поэтому объем, доступный системе, соответственно уменьшается. Влияние таких решений и доступного объема памяти рассматривается отдельно.

1. Напомню, что MobileMark 2002 имеет два варианта запуска: первый — сценарий нагрузки офисными и мультимедиа-приложениями с отсечкой времени и производительности, второй — непрерывное пролистывание pdf-файла без оценки производительности. Очевидно, какое время обычно выгодно приводить производителям в пресс-релизах и рекламных материалах. [вернуться]