Архивы: по дате | по разделам | по авторам

Пифагоровы штаны

Архив

автор : Дмитрий Захаров 31.03.2003

Имя древнегреческого философа Пифагора, благодаря знаменитой теореме, знает каждый ребенок.

Имя древнегреческого философа Пифагора, благодаря знаменитой теореме, знает каждый ребенок. Об акусматике — втором направлении пифагорейской школы — известно немногим. Однако для точного описания маркетинговой части «железной» индустрии стоит поговорить и о нем. В отличие от математиков, которые занимались изучением наук, акусматики заучивали бездоказательные максимы, например: «Что самое мудрое? — Число».

Вы держите в руках первоапрельский номер, однако эта статья — не шутка. Вообще-то мы предполагали опубликовать ее в следующем номере, однако решили, что статье о том, как компании лукавят с покупателями, самое место здесь. Часть читателей наверняка не поверит, что это правда, — что ж, таков неприятный и неизбежный побочный эффект нашего решения. Впрочем, все факты, изложенные в статье, можно проверить. Далеко не все из них стали известны 1 апреля. Трудолюбивые маркетологи пытаются дурачить нас круглый год.

Самое мудрое — число

Именно на числа делают ставки рекламные отделы высокотехнологичных компаний. В идеале новая «железка» должна быть вдвое быстрее старой и по всем статьям опережать конкурента. Иначе жди коммерческого провала. Именно это соображение заставляет компании оптимизировать продукт под конкретную задачу и фанатично следовать бенчмаркам.
В 1999 году программисты AMD изменили код тестового пакета 3DMark 99 Max¹. В итоге процессоры Athlon, работавшие на «оптимизированной» версии теста, демонстрировали тридцатипроцентное превосходство над Pentium III на равной частоте. Модификацию программы особо не афишировали. Производитель теста, компания Futuremark, обратившаяся в AMD с претензией на нарушение лицензии, была отослана на далекую 39-ю страницу руководства под названием «Software Perfomance Guide». Там черным по белому было написано, что код оптимизирован. Только вот кто, кроме юристов и авторов труда, знал об этом?

Афера четырехлетней давности кажется топорной, однако со временем опыт производителей в области манипуляции бенчмарками растет. В конце 2001 года компании ATI понадобился новый аргумент в борьбе Radeon 8500 с GeForce3. Лучшим вариантом канадцы посчитали оптимизацию драйвера под популярную игру и тест Quake 3. Решение было нетривиальным. При запуске программы с названием quake3.exe включался особый режим «пониженного качества текстур», и графический ускоритель работал быстрее. Уязвимость такого решения была найдена быстро: стоило назвать файл по-другому (например, quack3.exe), как все становилось на свои места. Попавшаяся с поличным², ATI официально прокомментировала ситуацию, но факт жульничества не признала.

Тесты и тестеры

Важнейшую роль в жизни «железки» от ее рождения до попадания в компьютер пользователя играют тестеры — жрецы всемогущих Чисел. Крупные сайты заранее получают новинки, проводят исследования и готовят обзоры. По истечении срока NDA (Non-Disclosure Agreement — соглашение о нераспространении информации) сразу несколько источников в Интернете публикуют обзоры последних моделей различного «железа». Доверие специализированным изданиям почти безгранично, поэтому способность тестеров влиять на рынок оценивается маркетологами по достоинству. Компании принимают решения о закупке оборудования на основе определенных тестов. Речь идет о крупных (10–30 тысяч штук) OEM-поставках собранных систем или отдельных компонентов.

Если производитель стремится обмануть потребителя, то компьютерное СМИ всегда старается быть объективным. Эту «теорему» никто не пытался доказать, а зря. Ведь тестеры тоже люди, им свойственно ошибаться. Это понятно, но точно так же не афишируется, как 39-я страница в руководстве от AMD. Иначе может быть поставлено под сомнение самое святое в оценке «железки» — результаты тестов!

Любое крупное компьютерное издание имеет серьезную методику тестирования. Тем не менее, остается возможность вольной интерпретации фактов. Даже если при сравнении двухсот условных единиц и двухсот одной условной единицы из трехсот возможных мы скажем о заметном преимуществе, иллюзия объективности результата, выраженного числами, сохранится.

Последняя мода

18 ноября 2002 года компания Nvidia, долгое время лидировавшая на рынке видеоадаптеров, объявила о выходе GeForce FX — графического ускорителя следующего поколения. Хотя его выпуск стал по сути бумажным и пресса могла судить о GeForce FX лишь чисто умозрительно, новинка была встречена тепло. С подачи Nvidia журналисты поведали читателям о компьютерной графике с кинематографическим качеством. Не обошли они стороной и тесты, на сей раз особенно важные для американского производителя. Конкурент из Канады, выпустивший Radeon 9700 Pro за несколько месяцев до GeForce FX, уже отвоевал часть утраченных рубежей. Nvidia обещала революционную скорость в играх, и ей (как и следовало ожидать) поверили.

27 января 2003 года истек срок NDA, и несколько сайтов опубликовали результаты тестов. Однако ситуация не прояснилась. Вместо дружного хора дифирамбов и искрящейся магии чисел читатели увидели любопытные и совершенно неоднозначные обзоры. Ветки конференций, посвященные новой «железке», за несколько дней споров выросли до десятков страниц — фанаты двух лагерей спорили о том, произошла ли таки революция? Вопреки традиционной скрупулезности, тестеры исследовали видеокарту довольно поверхностно. В обзоре на старейшем сайте Tom’s Hardware (www.tomshardware.com) не хватало ряда показателей, сайт Anandtech (www.anandtech.com) не указал некоторые настройки бенчмарков, Extremetech (www.extremetech.com) оговорился, что тесты проводились в единственном разрешении, а HardOCP (www. hardocp.com) вообще использовал собственную методику тестирования.

Официальный ответ ATI сайту FiringSquad по поводу мошенничества с Quake
Большая часть нашей оптимизации под Quake 3 и другие приложения вообще не имеет никакого касательства к качеству картинки, и поэтому было бы нецелесообразно позволять пользователю запрещать оптимизированный режим. В текущей версии драйвера для Radeon 8500 есть ошибка, которая приводит к некорректной обработке качества текстур в Quake. Эта ошибка будет исправлена в следующих версиях драйвера.
Заметьте также, что установка качества текстур — это только один из множества возможных способов улучшения качества картинки в Quake 3 ценой потери производительности; альтернативные методы — включение анизотропных фильтров или запрет на компрессию текстур. Кроме того, следует отметить, что качество картинки, которое может быть достигнуто при использовании любых стандартных установок в Quake 3, превышает качество картинки у конкурентов; и только в одном случае, когда у нас стоит «высокое качество картинки» и качество текстур также выставлено по максимуму, мы сталкиваемся с потенциальным несоответствием.

Сравнение результатов GeForce FX, полученных этими сайтами, привело к неожиданным выводам: на одинаковых стендах некоторые тесты отличались как небо и земля! Судя по всему, среди производителей «железа» появилась новая мода: «оптимизировать» сайты на предмет лояльности к свежеиспеченным продуктам.

1 (назад) Подробнее об этом можно прочитать здесь: www.ebnonline. com/digest/story/OEG19990819S0001.
2 (назад) firingsquad.gamers.com/hardware/radeonquack/default.asp.

Результаты оптимизации

Редкий читатель станет перелопачивать десятки графиков и диаграмм на разных сайтах, чтобы докопаться до истины. Чаще всего аудитории доступен один сайт и один обзор, который и формирует мнение о железке. Если сравнить результаты, полученные разными тестерами, можно иногда сильно удивиться. Возьмем потенциально независимый Extremetech, принадлежащий крупному американскому издательству ZiffDavis, и HardOCP, известный своей любовью к Nvidia. Для контроля используем показатели также независимого сайта Tom’s Hardware.

Результаты почти идентичные (см. таблицу 1). Значит, платформы близки по производительности, и разности показателей можно не ждать. Как бы не так! Посмотрим на результат с тем же разрешением и глубиной цвета, но при включенном 4х антиалиасинге и 8x анизотропной фильтрации. Тут Tom’s Hardware выбывает из гонки, так как результатов для этого режима в его тестировании нет. Сравниваем Extremetech и HardOCP.

Насчет GeForce FX оба сайта сошлись во мнении: чуть больше пяти тысяч условных единиц. А вот о Radeon 9700 Pro разгорелся спор: 6627 против 5288. Интересно, куда же упорхнули полторы тысячи попугаев у HardOCP? Может, они перелетели к тестерам из Extremetech и остались там? Есть возможность сравнить результаты отдельных тестов 3DMark, которые повлияли на такую разницу. C удовольствием это сделаем.

В большинстве тестов оба сайта дают одинаковые результаты. Это лишний раз убеждает нас в том, что платформы, на которых испытывали видеокарты, почти равны. Странности начинаются, когда мы сравниваем показатели по тестам на пиксельные шейдеры, вертексные шейдеры и сложные пиксельные шейдеры. Radeon 9700 Pro, с точки зрения Extremetech, быстрее в полтора-два раза, а с точки зрения HardOCP, почти в те же разы быстрее GeForce FX 5800 Ultra. На чьей же стороне правда? Какие результаты «оптимизированы»?

Тролли против попугаев

11 февраля 2003 года Futuremark выпустила 3DMark 2003. Ждали бенчмарк, получился скандал. День спустя Nvidia официально заявила, что отказывается поддерживать новый тест, так как он далек от игровых приложений: «Максимальный вред, наносимый потребителю выпуском таких бенчмарков, имеет тройное воздействие. Во-первых, потребителя, безусловно, вводят в заблуждение. Решение о покупке, основанное на бесполезных данных, будет неверным. Во-вторых, производители видеокарт вынуждены сосредоточить свое внимание и на оптимизации [своих продуктов] к искусственно созданным ситуациям, которые нетипичны для игр. Такая оптимизация ничего не сделает для улучшения производительности в играх и не даст преимуществ потребителю. Наконец, в-третьих, усилия инженеров будут брошены на работу с тестами, а не на улучшение ситуации с играми, что также отрицательно скажется на потребительских качествах ускорителей».

Негодование Nvidia, в декабре 2002 года вышедшей из программы бета-тестеров 3DMark 2003, понятно. Технически бенчмарк крайне неудобен американскому производителю. Во второй и третьей сцене используется версия пиксельных шейдеров 1.4, реализованная в картах поколения Radeon 8x00 и выше, но не поддерживаемая GeForce3 и 4. Если пиксельные шейдеры версии 1.4 не обнаруживаются, 3DMark 2003 переходит на версию 1.1, которая требует больше проходов для отрисовки сцены и, естественно, на картах Nvidia работает медленнее. В четвертой сцене задействованы не все возможности DirectX 9: лишь часть объектов отрисовывается с помощью пиксельных шейдеров 2.0. В неблагоприятном положении оказывается и новый GeForce FX. Для того чтобы поправить положение своего последнего продукта, Nvidia выпустила специальный оптимизированный драйвер версии 42.68. В оценках производительности GeForce FX в 3DMark 2003 тестирующей братии настоятельно рекомендуется использовать именно его. Некоторые тестеры, например www.beyond3d. com, и вовсе отказываются от нового «тридэмарка».

14 февраля Futuremark ответила на критику Nvidia: «Было высказано опасение, что синтетические бенчмарки заставляют производителей «железа» оптимизировать драйверы под специфические задачи. Рекомендации Futuremark всегда одинаковы: для тестирования должны быть использованы драйверы, получившие сертификацию WHQL (Windows Hardware Quality Labs). Это происходит из-за того, что любая настройка драйверов приводит к нарушению оригинальных результатов. В соответствии с лицензионным соглашением 3DMark 2003, в любом публикуемом обзоре должны быть использованы стандартно поставляемые версии продуктов и драйверов. Более того, в тесте существуют специальные утилиты, дабы независимые обозреватели могли обнаружить любую оптимизацию драйвера. Развенчивая политику оптимизации драйверов, СМИ могут искоренить эту практику».

Далеко не всегда для «оптимизации» продуктов используются столь топорные методы. Иной раз целые маркетинговые подразделения денно и нощно убеждают пользователей в важности какого-то показателя, которым может похвастаться тот или иной продукт. В то время как этот показатель, хоть и несет в себе определенную информацию, однако не может рассматриваться отдельно от других характеристик продукта.
В забавную ситуацию попала корпорация Intel, годами убеждавшая потребителей в важности критерия тактовой частоты процессора. Ее главный конкурент на рынке процессоров для ПК — компания AMD — угнаться по этому показателю за Intel не могла и всю дорогу объясняла, что сама по себе тактовая частота не является гарантией производительности (что, в общем-то, правда), которая зависит от архитектуры процессора в целом. Более того, чтобы пошатнуть «систему координат» покупателей, тяготеющую к «оси тактовой частоты», в AMD использовали такое понятие, как P-рейтинг. Однако он сработал не совсем так, как ожидалось, поскольку часть пользователей запуталась и решила, что он ничем от тактовой частоты не отличается, однако AMD это было только на руку.
А сейчас Intel поставлена в ситуацию, когда ей нужно либо признать, что тактовая частота — не основной показатель производительности, либо смириться с тем, что одна из лучших платформ от Intel может оказаться недооцененной. Дело в том, что Centrino, о которой мы писали, очень уж хороша. Настолько хороша, что Pentium-M, работающий на тактовой частоте, допустим, 1,6 ГГц, имеет большую производительность, чем Pentium 4-M 2 ГГц. Но как объяснить это потребителю, которого за пятнадцать лет приучили к тому, что главный критерий производительности — это количество мегагерц? Получается, что никак. Поэтому часть сборщиков решила просто не упоминать о тактовой частоте Pentium-M при продажах ноутбуков Centrino. Иначе вопросов «а почему тут процессор в два раза хуже, а ноутбук стоит в два раза дороже?» не оберешься. Gateway и Toshiba «забывают» указать этот показатель в своих рекламных проспектах. Вполне возможно, что их примеру последуют и другие производители.

24 марта компания Futuremark сделала новый шаг в борьбе с «нечестными» результатами. В базу данных перестали вносится показатели систем с картами GeForce FX, которые работают на оптимизированных версиях драйверов (42.67, 42.68 и 42.69). Тем не менее, «подделать» оригинальный результат можно. Читатель сайта www.neowin.net обнаружил серьезную ошибку в 3DMark 2003. Выяснилось, что показатели частоты видеокарты (и, возможно, процессора) проверяются только один раз при запуске теста. То есть если разогнать карту уже во время прохождения теста, в результатах будет указана исходная частота. Порядок действий таков:
- Установите стандартные частоты видеокарты любой специальной программой (например, Powerstrip).
- Загрузите 3DMark 2003.
- Запустите тест и нажмите Escape, чтобы тест остановился.
- Разгоните видеокарту.
- Снова запустите тест.
- Опубликуйте результаты с помощью Online Browser и удивите всех!
На все стороны равны
Объективности тестов может помешать многое — и давление со стороны рекламодателя, и оптимизация драйверов, и банальное отсутствие методики. Тем не менее, к результатам, выдаваемым тестовыми пакетами, будут прислушиваться. Цифры, которые высвечиваются на экране после прохождения бенчмарка, несомненно повлияют на продажи «железа». Акусматика проникла в междустрочье учебников по математике для средних классов. Самое мудрое — число.