В воробья из пушки не попасть

Мне жаль героя этого повествования. Всяческие знатоки и специалисты, будто сговорившись, дурили его и, словно банда леших, водили по болоту. Это, кстати, оборотная сторона как народного, так и корпоративного "консультирования". Ну да ладно, моральная оценка происшествия пусть останется за кадром. Вернемся к делу.

Один из гуру пытался обнаружить причину неполадок с печатью из PageMaker, запустив тест производительности, а по-научному - бенчмарк (benchmark). Вообще, за такое надо судить. Как за обман и "действия, повлекшие за собой..." Такого рода тесты ни в коей мере не стоит рассматривать как программы, служащие для комплексной диагностики неисправностей. Представьте себе, что, в целях проверки диагноза, тяжело больного человека, страдающего сердцем, заставят пройтись по всем кругам ада комплекса ГТО.

Думаю, в этой связи стоит еще раз напомнить, зачем вообще бенчмарки существуют.

Когда говорят: "рынок", - подразумевают: "конкуренция". Здесь всегда достаточно авторитетных знатоков и экспертов. Но как оценить преимущество компьютера одного производителя перед моделями других в условиях, когда по элементной базе они могут совпадать чуть ли не полностью? Как сравнивать производительность процессоров или модемов? Не с секундомером же над ними колдовать!

В итоге, на рынке уже давно присутствует довольно большой выбор различных тестовых комплексов, а заодно - и бизнесов, кормящихся за счет независимых и, как заявляется, "объективных" тестов. При всем скепсисе и недоверии, которые подчас возникают при знакомстве с результатами "сравнительных испытаний", ничего лучшего пока придумать не удалось. Впрочем, сотрудники тестовой лаборатории журнала "CompUnity" и ее руководитель Евгений Кривошеев, намучившись с "признанными" системами тестов, в итоге засучили рукава и создали собственный продукт. Кстати, вызывающий доверие игроков, действующих на российском компьютерном рынке. К тому же, использование подавляющего большинства тестов дает оценки "в попугаях" или "огурцах". Что и приводит к постоянным скандалам на этом фронте.

Но так или иначе, появление на рынке любого нового устройства, характеристики которого поддаются измерениям, как правило, сопровождается результатами тестов. Тестируют ныне все - от настольных компьютеров (тесты класса Winbench, Winstone или SysMark Win) или, скажем, эффективности работы батарей ноутбуков (BatteryMark) до рабочих станций Unix, сетей и систем обработки транзакций. На все случаи жизни уже, кажется, есть свои "безмены". Но задача их состоит вовсе не в поиске критических неисправностей. Да и использовать их для того, чтобы выявить проблемы, положим, взаимодействия компьютера и периферийного устройства, укомплектованного соответствующими драйверами, не представляется возможным. Достаточно прикинуть число возможных комбинаций, чтобы понять, почему.

Мир тестов такого рода интересен сам по себе. Если говорить об оценке производительности микропроцессоров, то любой специалист в этой области расскажет вам много интересного. Например, о том, что компания AMD предпочитает делать упор на операции с фиксированной точкой, тогда как процессоры Intel традиционно показывают лучшие результаты по точке плавающей.

В каждом конкретном случае речь, разумеется, идет о замерах самых разных характеристик. Естественно, определяющих для данного вида продукции. Например, CPUmark16 позволяет сделать некоторые выводы о том, как система ведет себя при работе с 16-битными приложениями, а CPUmark32 - соответственно, с 32-битными.

Установленный на компьютер потерпевшего Winstone - хорошо известный пакет, разработанный и постоянно обновляемый фирмой ZDBOp (Ziff-Davis Benchmark Operation) - отделением по разработке тестов производительности Ziff-Davis Publishing. Напомню, что в действительности претендующие на общественное признание испытания ПК проводятся, как правило, с использованием нескольких тестовых комплектов. В частности, результаты, выдаваемые Winstone, принято дополнять оценками, которые выдает другая тестирующая программа - Winbench.

Winstone оценивает эффективность ПК при работе с реальными приложениями, выполняя заданные сценариями последовательности действий (Winstone 96 использовал в основном 16-битные самые популярные, по мнению ZD, в 1996 году приложения).

При проведении тестов производительности очень важно иметь точку отсчета. В случае с Winstone 96 "базовым" (имеющим оценку производительности, равную 10) считается персональный компьютер Dell c процессором 486SX 25 МГц и 8 Мбайт ОЗУ. Измерив эффективность работы системы с каждым из приложений, тестирующая программа приводит полученные результаты в соответствие с данными о доле рынка, занимаемой каждым из приложений, и определяет общий результат. Что тоже любопытно. Представляете, соотношение на рынке ПО меняется, и ваш компьютер вдруг становится более производительным. Или напротив - теряет очки.

В отличие от Winstone, Winbench "делает вид", что запускает приложения, хотя на самом деле речь идет об имитации. Основой этого набора тестов послужил анализ поведения самых разных программных продуктов. В состав Winbench 96 входят упомянутые уже CPUmark16 и CPUmark32, CD-ROM WinMark 96, отвечающий за оценку эффективности работы CD-подсистемы, а также тесты, оценивающие воспроизведение видео, обработку графики (Graphics WinMark 96) и дисковые операции (Disk WinMark 96).

Для оценки производительности ПК в этом году применяют уже Winstone 97, работающий только с 32-битными приложениями под Windows 95 или NT, а в качестве базовых компьютеров здесь выбраны Gateway 486DX2/66 с 16 Мбайт ОЗУ (для Business Winstone) и Dell Pentium/100 с 32 Мбайт ОЗУ (в случае High-End Winstone).

Так что нашего героя обманули, использовав не специальные диагностические программы, а тесты производительности. А самому злодею-"знатоку" повезло: PageMaker включен в состав приложений, работу которых на компьютере Winstone и Winbench оценивают. Иначе "тест" вообще ничего не сказал бы. А программа честно ругнулась на ошибку, естественно, не дав никаких рекомендаций.

Если в будущем кто-то попробует устранять неисправности и "лечить" ваши компьютеры, используя "бенчмарки", - смело лупите таких специалистов. Это самозванцы и прохиндеи.

Подробную информацию о программах оценки производительности ПК можно обнаружить на сайте Ziff-Davis Benchmark Operation http://www1.zdnet.com/zdbop/zdbop.html, а результаты испытаний, проводимых тестовой лабораторией "CompUnity", постоянно публикуются на страницах этого журнала.