Архивы: по дате | по разделам | по авторам

Методика тестирования ноутбуков в лаборатории Terralab.ru. Не такая, как все

АрхивMobilis
автор : Илья Хрупалов   27.02.2004

Ни одна область компьютерного бенчмаркинга не имеет столь расплывчатых очертаний, как инструментарий в обозрениях ноутбуков. Тестеры позавчерашнего разлива тупо гоняют бессмысленные как по объему, так и направленности бенчмарки, совершенно не вникая в результаты и не имея возможности хоть с чем-нибудь их сравнить...

Ни одна область компьютерного бенчмаркинга не имеет столь расплывчатых очертаний, как инструментарий в обозрениях ноутбуков. Тестлабы позавчерашнего разлива тупо гоняют бессмысленные как по объему, так и направленности бенчмарки, совершенно не вникая в результаты и не имея возможности хоть с чем-нибудь их сравнить. Даже пускаясь с грехом пополам в сравнения, никто не придает значения тому, что время автономной работы радикально зависит от емкости аккумуляторной батареи, а если емкость и поминают, то почему-то в ампер-часах. Сквозь это вопиющее невежество не пробивается даже лучик света, который пытаются зажечь некоторые производители, например ASUSTeK, Fujitsu-Siemens и IBM, корректно указывающие в технических характеристиках (спецификациях) своих изделий емкость аккумуляторов в ватт-часах, то есть полную запасенную энергию, вычисляемую просто как произведение ампер-часовой характеристики батареи на выдаваемое ею напряжение.

Почти никто не фиксирует яркость, при которой компьютер проходил батарейный тест, не отслеживает режим энергопотребления процессора и других устройств. Современные лаптопы, если сравнивать с поколением Pentium III-M и первой волной моделей на Pentium 4-M, обзавелись рядом дополнительных способностей экономить энергию при работе от батарей. Управление ими распределено в BIOS Setup и специальных утилитах операционной системы, поэтому задача исследования экономичности платформы в целом, наполнившись новыми переменными, ощутимо усложнилась (уверен, что пытливые владельцы машинок 2003 года это заметили, так и не определив вес тех или иных настроек). Требуется очень жесткая дисциплина тестирования, чтобы не упустить из виду ни одно условие и правильно оценить достижения разработчиков ноутбука. Читать дальше >>>

Все современные мобильные процессоры, и даже VIA Antaur на инженерных образцах ноутбуков, способны динамически подстраивать свою частоту (а точнее — рабочие точки «частота-напряжение») в соответствии с выбранным режимом энергосбережения или производительности. Фирменные реализации такого поведения — технологии AMD PowerNow!, Intel Enhanced SpeedStep, VIA Power Saver 2.0. Лишены подобных функций, по крайней мере официально, только процессоры Intel Celeron M. С горем пополам пользователи это представляют, но мало кто (опыт показывает, что мало!) догадывается, что упомянутые технологии включаются в работу не сами по себе и не в любой операционной системе. Не вдаваясь в дебри, подчеркнем, что гарантированно автоматическое (адаптивное) управление производительностью поддерживается в Windows XP. В Windows 2000 без специальных драйверов Enhanced SpeedStep поддерживается не на всех ноутбуках. Технология PowerNow! в зависимости от ядра процессора (Thoroughbred или Barton) тоже подчас требует драйверного вмешательства, обеспечиваемого производителем ноутбука. В общем случае, если разработчики ноутбука не намудрили (обычно на этом попадаются тайваньцы третьего эшелона) или сознательно не перемудрили (замечено за продукцией Sony), поведение процессора определяется режимом Power Scheme в Power Options контрольной панели и типом питания. (Если у вас локализованная версия Windows, потрудитесь сообразить, где это, самостоятельно.) Все предельно ясно объясняет таблица.

Поведение процессоров в Windows XP в зависимости от выбранных настроек энергосбережения

Power Scheme (в настройках Control Panel/Power Options)

Тактовая частота процессора

Работа от сети

Автономная работа от батарей

Home/Office Desk

Максимальная

Автоматическая

Portable/Laptop

Автоматическая

Автоматическая

Presentation

Автоматическая

Минимальная

Always On

Максимальная

Максимальная

Minimal Power Management

Автоматическая

Автоматическая

Max Battery

Автоматическая

Минимальная

«Автоматическая» — означает, что процессор по возможности держится холодным на минимальной частоте, и только когда вычислительная нагрузка серьезно занимает его ресурсы, он раскочегаривается до более высоких значений — для Pentium M это пять-шесть рабочих точек. Точное значение частоты или ее колебание в конкретный момент времени, если интересно, можно контролировать, например, свободно доступной утилитой CPU-Z версии выше 1.20 (www.cpuid.com). Доверять информационному окну Windows XP (System Properties/General) особо не стоит. Фирменные утилиты управления энергосбережением, такие как ASUS Power4Gear, IBM Battery MaxiMiser, Sony PowerPanel, Toshiba PowerSaver, как правило, реализуют очень похожие схемы и более гибки и удобны в отношении чего угодно, только не процессора, либо разводят пятую воду на седьмом киселе там, где все могло бы быть намного проще. Некоторые из них полностью подменяют собой окно Power Options, как, например, софт от Toshiba; другие — удачно сочетаются с ним, аккуратно встраиваясь, и в этом нет равных утилите от IBM. Их действие тоже легко контролируется в программах CPU-Z или WCPUCLK.

Если не хотите забивать себе голову, всегда используйте автоматическое управление частотой, то есть все, что подается под вывесками «Portable/Laptop» (кстати, этот режим Windows XP при установке на портативный компьютер предусмотрительно выбирает по умолчанию сама), «Normal» и им подобным; в IBM PowerMiser выбирайте режим работы процессора «Adaptive». Как показывают наши тесты, в таком режиме производительность (пиковая, в тесном потоке схожих тяжелых заданий) лишь чуть ниже, чем обеспечивает процессор, находящийся на максимуме, в состоянии постоянной готовности. Принудительная фиксация частоты в нижнем положении против адаптивного управления продлевает время автономной работы только тогда, когда вы готовы жертвовать производительностью в решении некоторых спонтанных задач. Если же вы неторопливо листаете почту или даже смотрите DVD, выигрыш будет гомеопатическим. Главное — при работе от батарей не ставьте в качестве скринсэйвера трехмерные рисовалки — находящийся в автоматическом режиме процессор расстарается угодить вам качественным рендерингом и выест батарею, как лампочка. Ну а таймеры отключения тех или иных устройств — дело вашего вкуса. Читать дальше >>>

Для исследования производительности в лаборатории Terralab.ru служит проверенный временем пакет BAPCo SYSmark 2001, на некоторых ноутбуках мы начинаем прогонять свежий Winstone 2004; анализировать подсистему памяти и дисковые накопители помогает пакет AIDA32. Видеоускорители подавляющего большинства тонких&легких ноутбуков, которые будут описаны в продолжение этого материала, более чем скромны, и для их оценки вполне достаточно пакета 3Dmark 2001 SE (build 330), однако в качестве проверки «на вшивость» мы прогоняем еще и «Serious Sam Second Encounter Demo» в нетяжелых режимах (ролик «Little Trouble»). С высокопроизводительными ноутбуками класса замены десктопу другая история, но их мы в ближайшее время детально рассматривать не будем.

Напомним, что скрипты SYSmark 2001 эмулируют работу гипотетического пользователя (нажатия на клавиши и манипуляции мышкой) с двумя группами приложений. Первая группа — Internet Content Creation — это сценарий создания сайта средней компании. Сайт компонуется в Macromedia Dreamweaver 4 с применением Flash 5. Изображения редактируются в Adobe Photoshop 6.0, с помощью Adobe Premiere 6.0 добавляются спецэффекты и звук в видеоролики, которые потом кодируются Microsoft Windows Media Encoder версии 7.0. Скрипт запускает по три-четыре приложения одновременно, некоторые из них работают в фоновом режиме. Показателем производительности служит время отклика системы (время, затраченное на исполнение операции) на команды пользователя.

Вторая группа — Office Productivity — типичные офисные задачи. В Word 2000 редактируется многостраничное описание двигателя, в Power Point готовится презентация завода — с графиками, построенными в Excel, и фотослайдами. В почтовом ящике Outlook’а лежит около трех тысяч писем, а скрипт пишет еще одно, страниц эдак в десять, заодно проверяя его на орфографические ошибки и прикрепляя к нему сжатый Winzip’ом 50-мегабайтный avi-файл (видео из Content Creation). В фоновом режиме работают антивирус и Dragon Naturally Speaking. Пакет развертывает около гигабайта кода реальных приложений, даже устанавливает виртуальный принтер (так называемый BAPCo printer, сделанный из драйверов от Epson Stylus) и измеряет скорость отправления на печать многостраничного документа. Замерив, таким образом, среднее время отклика в обеих частях теста, а оно, как правило, измеряется миллисекундами, SYSmark выставляет свой рейтинг, обратно пропорциональный времени отклика. Результаты обычно хорошо сходятся.

Пакет SYSmark 2001 выбран, точнее оставлен на службе, не случайно. Два года назад, когда мы только начинали разрабатывать методику тестирования ноутбуков, он был, само собой разумеется, полностью адекватен и вообще не имел аналогов. Вряд ли стоило требовать от ноутбуков большего, особенно в сравнительных тестах. Затем появился SYSmark 2002, и почти одновременно с ним BAPCo выпустила пакет MobileMark 2002. Попробовав новинки, мы не перешли на них по двум причинам. Первая — мы решили сохранить преемственность нашей хоть и не исчерпывающей, но очень ценной базы измерений, благодаря которой можно сравнивать между собой уже три поколения ноутбуков. Согласитесь, лаптопы меняют не так часто, как видеоускорители, а круг решаемых ими задач почти не изменился.

Вторая причина — неадекватность результатов в SYSmark 2002 и MobileMark 2002. Об этом заговорили сразу же при выходе первого из них, особенно громко протестовала компания AMD, так как ее процессоры, по мнению SYSmark 2002, стали резко проигрывать интеловским Pentium 4 (даже несмотря на то, что в 2001-м для корректной оценки «Атлонов» необходимо было модернизировать код Windows Media Encoder и не все это делали). К чести лаборатории TerraLAB, для нас свет никогда не сходился клином на том или ином новомодном тесте, мы продолжали использовать SYSmark 2001 для ноутбуков и массу других, наряду с SYSmark 2002, инструментов для настольных платформ (заметим, кстати, что зачастую один старый тест лучше новых двух). С выходом процессора Pentium M белые нитки, которыми, как оказалось, был шит SYSmark 2002, вылезли наружу: практически во всех бенчмарках, кроме этого, 1,6-гигагерцовый глава Centrino обходит не только равночастотный Pentium 4 (с шиной 400/533 МГц), но и работающий на частоте 2,4 ГГц. И только SYSmark 2002 в этом сомневается, явно подсуживая длинному конвейеру P4.

Я предвижу возражения: дескать, новые пакеты используют новые версии приложений (от Microsoft, Adobe, Macromedia), оптимизированные под мультимедийные инструкции современных процессоров. Да, это так, но было критично три года назад — а в наши дни даже VIA C3 с ядром Nehemiah поддерживает SSE, не говоря уже о чипах AMD. С другой стороны, процессоры Transmeta Crusoe до сих пор настолько слабы, что с трудом проходят даже SYSmark 2001. Как показали выборочные замеры, результаты, снятые в новейших пакетах PC Magazine Multimedia Content Creation и Business Winstone, говорят о той же расстановке сил, что и SYSmark 2001. Более того, SYSmark менее подвержен влиянию объема памяти и быстродействия жесткого диска, а это очень важно для нас, потому что привести конфигурации ноутбуков к общему знаменателю не просто и мы с этим даже не связываемся. Читать дальше >>>

Для оценки времени автономной работы ноутбуков за последние годы создано не так уж много тестов. MobileMark 2002, с одной стороны, реализует в сценарии очень полезные паузы, в которых отчетливо проявляют себя технологии Intel Enhanced SpeedStep и AMD PowerNow, динамически, или адаптивно, управляющие рабочими точками «частота-напряжение» процессоров. С другой — несмотря на то что бенчмарк построен, по словам создателей, на базе SYSmark 2002, он сразу не очень понравился тем, что в нем сильно упрощен сценарий нагрузки системы, или workload (мы неспроста привели выше его подробное описание для SYSmark 2001), и подсчет производительности, хотя теоретически SYSmark 2002 нагружает систему сильнее 2001-го. Пакет Business Winstone Battery Mark 2004 вышел в свет совсем недавно, мы еще не успели толком его прощупать, да и сравнивать результаты не с чем. Впрочем, судя по названию, очевидно, что серьезной нагрузки на систему в нем тоже нет.

Еще раз подробно изложим суть тестовой методики TerraLAB и показателей, которые вводятся и рассчитываются при оценке времени атвономной работы. Основу составляет циклический прогон тестов пакета SYSmark 2001 — Multimedia Content Creation и Office Productivity (детали специально приведены выше), один за другим, до полного истощения батарей, то есть «умирания» системы. Предупреждения о низком заряде и прочая самодеятельность предусмотрительно отключаются. Тест прогоняется в различных режимах управления производительностью процессора, и — внимание! — результатом является не просто время, которое часто приводят как основной показатель, например, пакета MobileMark 20021. Принципиально — учитывать производительность, которую продемонстрировал ноутбук за это время.

Главная исследуемая величина — именно пара «производительность-время». Нетрудно догадаться, что они находятся в обратно пропорциональной зависимости. Скажем, можно зафиксировать частоту процессора на максимуме (и, соответственно, напряжение питания) — и мы получим минимум времени автономной работы. Зафиксируем на минимуме — максимально сэкономим энергию батарей и выиграем во времени. При автоматическом (адаптивном) выборе частоты получим третий результат. Какой режим оптимален? Казалось бы, ответ очевиден: надо стремиться к максимальной продолжительности мобильной работы. Но не все так просто. Представьте, что за время авиаперелета вам требуется перекодировать записанные в командировке видеоролики, чтобы затем подготовить презентацию. При экономии на процессоре сократится и число обработанных роликов, и вовсе не факт, что за более короткое время, но на максимальной частоте вы обработаете их меньше.

Хочу подчеркнуть, что в SYSmark 2001 имитируется поведение человека, работающего за клавиатурой, с паузами, расстановкой и соответствующей скоростью ввода заданий, что позволяет современным процессорам переводить дух и крупицами экономить энергию (например, тесты Winstone для этого не пригодны, потому что мчат тестовые задания со скоростью, которую глазом не уловишь). Показатель SYSscore вычисляется из времени отклика системы на запросы пользователя и поэтому прямо пропорционален скорости исполнения команд, то есть отражает производительность. Умножая результат SYSscore на время, на протяжении которого данный уровень производительности поддерживался ноутбуком, мы вводим показатель, ярко характеризующий автономные вычислительные способности конкретной системы. Мы называем его автономным вычислительным запасом (или Workdone).

Очевидно, что автономный вычислительный запас прямо пропорционален емкости аккумулятора ноутбука и массе последнего, поэтому для объективного сравнения в качестве вспомогательного параметра рассчитывается так называемая эффективность конфигурации: вычислительный запас, отнесенный к емкости батарей и весу компьютера (можно пойти еще дальше и относить все к объему). Насколько экономичен ноутбук в том или ином режиме, нам помогает судить еще одна рассчитываемая величина — средняя потребляемая мощность, равная, как легко догадаться, частному от деления емкости батареи на время автономной работы.

Разумеется, тест систем на время автономной жизни от батарей только с применением ресурсоемких скриптов пакета SYSmark 2001 был бы односторонним. Мы используем еще один довольно простой тест — проигрывание DVD-Video, что характеризует экономичность видеоускорителя и привода компакт-дисков. Производительность, само собой, здесь не учитывается: современные мобильные процессоры без проблем справляются с декодированием MPEG-2 и Dolby Digital через софтверные плейеры, тратя не более 50 процентов ресурсов. В качестве DVD-фильма мы используем 18-гигабайтный (двусторонний двухслойный) диск «Aquaria» с записью жизни аквариумных рыбок, программируемый более чем на десять часов непрерывного показа. Почти на все системы, способные автономно воспроизводить DVD, устанавливался Power DVD 4.0, опция поддержки аппаратного ускорения воспроизведения с помощью видеокарты не включалась. Для большинства ноутбуков тест проводится в режиме «Portable/Laptop» (или аналогичном), яркость экрана выставляется на максимум, в некоторых случаях принудительно сбрасываемый системой при работе от батарей (по нашим оценкам — на 10–15 процентов, и, кстати, у некоторых ноутбуков это поведение невозможно отключить).

В заключение оговорим, чему в наших обзорах почти не уделяется внимание. Во-первых, это характеристики дисплея: мы не проводим никаких точных измерений быстродействия, яркости и цветопередачи. Это тем более не имеет смысла, так как производители ноутбуков сегодня могут использовать комплектующие с одного завода, а завтра — с другого. И вообще, пока от ноутбуков, особенно тонких и легких, рано требовать того же, чего и от стационарных мониторов. Рекомендуем перед покупкой примерять на себя дисплеи ноутбуков самостоятельно, в соответствии с личными предпочтениями (кстати, оценивая максимальную яркость, не забывайте отключить ее, порой многочисленные, ограничители в BIOS Setup и энергосберегающих утилитах, по умолчанию нацеленных на экономию по этой статье расходов). Во-вторых, мы не придаем большого значения качеству встроенных громкоговорителей и очень удивляемся, когда обозреватели растекаются мыслью по этому бесплодному древу. Ну что сто раз твердить одно и то же: мол, всхлипы и хрипы годятся только для озвучивания жизнедеятельности Windows? Чего требовать от машины, которая целиком весит как один лишь блок питания средней мультимедийной акустической системы?

На все ноутбуки обычно устанавливается операционная система MS Windows XP Professional SP1 (плюс, в зависимости от модели, некоторые критические обновления) на разделе NTFS, физически расположенном в более быстрой области (внешние дорожки) жесткого диска. Файловая система, напомним, выбрана исходя из рекомендаций компании Microsoft, а также из тех соображений, что ноутбукам подчас доверяют очень критичные данные, безопасность и сохранность которых под FAT32 ниже. Более того, практически все ноутбуки западных компаний, приходящие к нам, имеют предустановленную версию именно Professional на NTFS.

В процессе инсталляции используемые нами пакеты Futuremark SYSmark 2001 и Veritest PC Magazine Winstone 2004 предлагают для чистоты эксперимента временно деактивировать все автоматически запускаемые и резидентные программы, но мы допускаем фоновую работу стандартных (фирменных) утилит, приближая тест к реальным условиям; к тому же во многих системах без них невозможно управлять энергосбережением и производительностью.

Объем оперативной памяти у всех моделей, проходящих наши тесты,  составляет не менее 256 Мбайт. Большинство тонких моделей имеют интегрированные в северный мост чипсета видеоускорители, использующие для собственных нужд часть системной памяти (технология SMA), поэтому объем, доступный системе, соответственно уменьшается. Влияние таких решений и доступного объема памяти рассматривается отдельно.


1. Напомню, что MobileMark 2002 имеет два варианта запуска: первый — сценарий нагрузки офисными и мультимедиа-приложениями с отсечкой времени и производительности, второй — непрерывное пролистывание pdf-файла без оценки производительности. Очевидно, какое время обычно выгодно приводить производителям в пресс-релизах и рекламных материалах. [вернуться]

© ООО "Компьютерра-Онлайн", 1997-2019
При цитировании и использовании любых материалов ссылка на "Компьютерру" обязательна.