На рынке Windows в настоящее время происходит переход от 16-разрядных приложений к 32-разрядным. Доминировавшие год назад 16-разрядные пакеты все еще широко используются с Microsoft Windows 3.1 и со многими системами Windows 95. Однако большинство вновь выпускаемых продуктов представляют собой 32-разрядные программы, изначально предназначенные для работы под Windows 95 и Windows NT. В обзоре данного выпуска журнала лаборатории PC Magazine Labs представляют 32-разрядную тестовую программу Winstone 32 специально разработанную фирмой Ziff-Davis (ZD) для оценки производительности ПК при выполнении 32-разрядных программ Windows нового поколения.
Winstone 32 - это 32-разрядный родственник продукта Winstone 96 фирмы ZD, являющегося промышленным стандартом оценки производительности систем, которые работают с 16-разрядными приложениями Windows. В обеих тестовых программах использован один и тот же принцип: задается сценарий, позволяющий с помощью реального приложения получить оценку общей производительности ПК.
Основное различие между этими тестовыми продуктами заключается в том, какие программы выполняют их тесты. Winstone 32 использует наиболее распространенные 32-разрядные приложения Windows, чтобы выявить быстродействие данного ПК при работе с ними; Winstone 96 оценивает производительность системы, использу только основные 16-разрядные приложения.
Различия в целях и наборах программ для двух версий Winstone обуславливают различные требования к операционной системе, предъявляемые с их стороны. Winstone 32 нацелен на использование платформ Windows 95 и Windows NT, рассчитанных на 32-разрядные программы сегодняшнего и завтрашнего дня. Winstone 96 предназначен для ведущих платформ Windows, выполняющих 16-разрядные программы, - Windows 95 и Windows 3.x. Вместе эти две тестовые программы дают журналу PC Magazine несравненную возможность оценить общую производительность ПК.
В основе Winstone 32 и Winstone 96 лежит несколько общих принципов. Оба продукта являются лабораторными тестовыми программами, ориентированными на рынок. Они предназначены для оценки производительности, котора будет достигаться на типичных ПК при проведении обычных операций с наиболее распространенными программами из сферы бизнеса. Даваемые ими количественные оценки будут полезны для многих, поскольку большинство пользователей тратит подавляющую часть своего компьютерного времени на работу с одними и теми же основными классами программ.
Разумеется, не все попадают в эту категорию. Если вся ваша компьютерная деятельность сводится к запуску пакетов, моделирующих некую систему, то оценки, выставляемые пакетом Winstone 32, не будут иметь дл вас тот же смысл, какой они имеют для типичных пользователей деловых программ. К счастью, друга тестовая программа фирмы ZD, WinBench 96, включает в себя сотни тестов, охватывающих практически все аспекты работы любой крупной подсистемы ПК. С ее помощью вы можете сосредочить свое внимание именно на тех подсистемах ПК, которые больше всего влияют на вашу работу.
Winstone 32, подобно Winstone 96, ориентирован на работу с приложениями. Он заставляет реальные программы (а не специальные урезанные версии или демонстрационные версии) выполнять последовательность действий, предусмотренную сценарием. Мы отобрали эти действия, изучая подробные отчеты об исследованиях работы пользователей с наиболее распространенными деловыми программами. Каждая оценка, получаемая с помощью Winstone 32, отражают время, необходимое компьютеру для завершения этих действий.
Как и другие наборы лабораторных тестов ZD, полна версия Winstone 32 - а именно ее мы используем в наших испытаниях - - распространяется бесплатно. Winstone 32 включен в самый последний выпуск тестовых программ дл PC Benchmarks на CD-ROM от Ziff-Davis, который содержит также наборы тестов Winstone 96 и WinBench 96 (см. врезку "Как получить пакет Winstone 32"). За прошедшие несколько лет мы распространили миллионы копий эталонных тестов ZD, и в организациях любого размера они сейчас используются в качестве стандартов при покупке новых систем. Winstone 32 дает вам дополнительную возможность сфокусировать внимание на оценке производительности ПК при работе с 32-разрядным приложением Windows.
Если вы освоили Winstone 96 или WinBench 96, то работа с Winstone 32 не доставит вам никаких трудностей. В последнем продукте использован тот же простой процесс инсталляции и тот же интерфейс, что и у двух первых тестов. Инсталляция сводится к нескольким щелчкам мыши. Как только вы запустили тест и указали номер лицензии (только при первом запуске), вы можете получать оценки производительности системы просто путем щелкнув мышью на большой кнопке "Run".
Однако вам придется выделить некоторое место на жестком диске. Для инсталляции полного пакета Winstone 32 требует 70 Мб на диске для записи приложений и тестовых программ плюс дополнительно 30 Мб для рабочего каталога, в котором Winstone 32 будет выполнять свои тесты. Если памяти на диске не хватает, можно запускать Winstone 32 непосредственно с CD-ROM PC Benchmarks или с сервера. В любом из этих случаев единственное требование к необходимой для Winstone 32 локальной памяти сводится к наличию места для его рабочего каталога, исполнимых модулей и файлов, к которым происходит обращение.
Windows 95 и Windows NT - это существенно различающиеся друг от друга вычислительные cреды, поэтому тестирование следует проводить в той ОС, в которой вы будете работать. Если вы проводите тестирование в Windows NT 3.51, то для Winstone 32 требуется, чтобы был инсталлирован служебный пакет Service Pack 1 (для среды Windows NT), или его более поздняя версия. (Последние версии сервисных пакетов Windows NT можно загрузить из http://www.microsoft.com.)
Компакт-диск PC Benchmarks включает в себя обширное справочное руководство, описывающее все детали работы с этой программой. Он также содержит файлы электронной справочно-консультационной системы и краткий справочник, в котором есть все необходимое для запуска теста.
Главную трудность при тестировании составляет доказательство того, что вы получаете точные, воспроизводимые результаты и именно их используете дл настоящего сравнения производительности различных систем. На ваши результаты неизбежно будут влиять как тестовые процедуры и конфигурация системы, так и объем инсталлированной ОЗУ. И это правильно, поскольку те же самые факторы будут влиять и на реальную работу ващего ПК.
При испытаниях персональных компьютеров с помощью Winstone 32 мы используем набор базовых стандартных процедур тестирования, указанный в документации Winstone 32. При следовании этим процедурам вы получаете точные и воспроизводимые результаты: выданные пакетом Winstone 32 оценки будут отличаться не более, чем на 3 % при повторных запусках на том же самом компьютере (разумеется, при сохранении конфигурации и при работе в той же операционной системе).
Если тестирование - ваше единственное задание, то следует попытаться дефрагментировать диск ПК и инициализировать систему всякий раз перед запуском Winstone 32. Надо также убедиться в том, что во врем работы Winstone 32 никакая другая прикладная программа не является активной. В противном случае тот факт, что ресурсы системы используются другой активной программой, повлияют на производительность Winstone 32 на данном ПК, так же как на скорость выполнения этой программы при тех же условиях.
Правильная методика тестирования - это только половина дела; вторая половина связана с контекстом. Результаты Winstone 32 имеет смысл сравнивать только с результатами самого Winstone 32. Например, нет никакого смысла знать, что система Х при запуске Winstone 32 показала оценку 60, если нет возможности сравнить ее с аналогичными результатами, полученными с помощью Winstone 32 для других ПК. Наличие базы для сравнени имеет решающее значение, поэтому в наших обзорах всегда приводятся результаты многочисленных испытаний и подробные данные о конфигурации испытываемых ПК и периферийных устройств. Эти данные позволяют проводить точные сравнения и четко указывают тот диапазон, в который будут попадать результаты, полученные на различных ПК.
Мы настоятельно рекомендуем, чтобы поставщики, приводящие результаты Winstone 32, поступали аналогично и давали информацию о конфигурации. Фактически, именно это оговорено по условиям лицензионного соглашения о Winstone 32. Если этот пакет используется как вспомогательное средство при принятии решения или выдаче рекомендаций о выборе при наличии целого ряда систем, то важно поддерживать постоянство всех конфигурационных переменных (тип центрального процессора, объем ОЗУ и т.д.) или отдавать себе отчет о влиянии изменяемых переменных.
Чтобы определить, какие приложения лучше использовать в Winstone 32, мы проконсультировались в корпорации Computer Intelligence/Info Corp. (CII), ведущей компании по исследованию рынка (являющейс одновременно другим подразделением нашей холдинговой компании). Мы выбрали наиболее широко используемые в сфере бизнеса в настоящем и планируемом будущем 32-разрядные приложения. В результате был получен следующий набор из восьми продуктов, распределенных по трем категориям:
Те, кто знаком с Winstone 96, помнят, что в нем предусмотрены отдельные категории Word Processing (редактирование текстов) и Spreadsheet (электронные таблицы). В Winstone 32 эти категории скомбинированы в одну, поскольку 32-разрядные версии существовали лишь для нескольких из ведущих программ для обработки текстов и электронных таблиц, когда мы закончили разработку пакета эталонных тестов.
При нажатии кнопки Run в Winstone 32 программа начинает тестирование. Она оценивает производительность, по очереди проверяя работу каждого из этих восьми приложений и используя для каждого подходящий сценарий. В соответствии со сценариями, разработанными отделом лаборатоных тестов фирмы ZD с помощью Microsoft Visual Test 4.0, каждое приложение выполняет определенную последовательность задач, которые были отобраны в результате обширных исследований деятельности типичного пользовател приложений.
Чтобы выдать численную оценку, в Winstone 32 сначала определяется, сколько времени требуется данному ПК дл выполнения каждого сценария. Потом длительность обработки каждого сценария для этого компьютера нормируется относительно времени, которое требуетс базовой машине для выполнения того же сценария. В качестве базового компьютера принят работающий под Windows 95 ПК Dell с 25-МГц центральным процессором 486 SX и 8-Мбайт ОЗУ. В пакете Winstone 32 используютс нормированные величины и средневзвешенная доля продаж каждого приложения в какой-либо категории дл вычисления взвешенного гармонического среднего, которое и будет являться результатом для данной категории. Затем тестовая программа берет результаты по отдельным категориям и средневзвешенные доли продаж на рынке всех трех категорий для вычисления еще одного взвешенного гармонического среднего, которое является окончательной оценкой. Окончательный результат в Winstone 32 получается путем деления этой оценки на число, соответствующее общей оценке базовой машины, которое мы по определению положили равным 10,0. Кроме того, Winstone 32 приводит результаты по трем категориям относительно принятого за 1,0 результата для той же самой базовой машины. Мы выбрали различные нормирующие множители, чтобы можно было легко отличить общий результат от результатов по отдельным категориям.
Чем выше оценки Winstone 32, тем выше производительность. Например, машина с общей оценкой 20,0 выполняет указанные ведущие 32-разрядные деловые программы в два раза быстрее, чем базовая машина. Отметим, что и общий результат, и результаты по отдельным категориям, полученные с помощью Winstone 32, оценивают производительность ПК как единой системы. Если вас интересует производительность какой-либо подсистемы, например, графической или дисковой, используйте соответствующие тесты из пакета WinBench 96.
Мы уже упоминали, что Winstone 32 можно запускать с сервера, с CD ROM Benchmarks или с жесткого диска, если он там инсталирован. Процесс тестирования, выполняемый Winstone 32, не зависит от способа запуска. Сначала файлы, необходимые для работы каждого приложения, копируются в рабочий каталог, который должен находитьс на жестком диске тестируемого ПК. Затем запускаетс тестовый сценарий для каждого приложения из этого каталога. Внутренние механизмы учета времени пакета Winstone 32 гарантируют получение одинакового результата всеми тремя методами на данном ПК с заданной конфигурацией и операционной системой.
Минимальные требования к RAM у Winstone 32 зависят от используемой вами операционной системы. Для Windows 95 работа Winstone 32 требует по крайней мере 8 Мб системного ОЗУ. Для Windows NT минимальная оперативна память составляет 12 Мб. И это действительно минимально возможные величины, поэтому мы обычно тестируем ПК с ОЗУ большей емкости.
Структуры программ Winstone 32 и Winstone 96 довольно похожи, поэтому возникает искушение запустить их на одном и том же ПК и затем сравнить результаты. Или может появиться мысль сравнить результаты Winstone 32 на одном ПК с результатами Winstone 96 на другом. Однако сравнение результатов, полученных с помощью двух продуктов Winstone, не имеет смысла. Несколько существенных различий между этими тестовыми программами делают такие сравнения неправомерными.
Во-первых, хотя оба результата рассчитываютс относительно одной и той же физической машины, они получаются из двух разных операционных систем. Winstone 32 выполняется на базовой машине под управлением Windows 95, а для Winstone 96 - под управлением Windows 3.1. Это различие очень важно, поскольку эти две операционные системы предъявляют к машине разные требования.
Кроме того, Winstone 32 работает с совершенно другим набором приложений по сравнению с Winstone 96. Хот некоторые приложения в обеих тестовых программах носят одно и то же имя, однако сами приложения в корне отличаются друг от друга. Различие приложений означает и различие в приписываемых им весовым коэффициентам: очевидно, что коэффициенты, предусмотренные в Winstone 32, отражают рыночные доли используемых в пакете приложений, в то время как в Winstone 96 эти коэффициенты относятся только к набору приложений этого пакета. Разумеется, вы можете использовать Winstone 32, чтобы оценить работу ПК с 32-разрядными приложениями Windows, а Winstone 96 - для проверки работы того же ПК с 16-разрядными приложениями.
В промышленности продолжается переход на 32-разрядные программы, то же будет происходить и с нашими лабораторными тестами. На осенней выставке Comdex будут представлены 32-разрядными тестовые программы Winstone 97 и WinBench 97.
Winstone 32
Winstone 32, использующий восемь наиболее распространенных 32-разрядных приложений Windows, позволяет оценивать производительность ПК, работающего с 32-разрядным программным обеспечением.
Winstone 32 - это наш первый комплект лабораторных тестов для настольных систем, работающих в Windows NT.
Winstone 32 работает в Windows 95 и Windows NT 3.51 (или более поздней версией) с пакетом Service Pack 1 (или более поздней версией). Поскольку 32-разрядные приложения, с которыми работает пакет Winstone 32, используют 32-разрядный интерфейс прикладного программирования Windows, этот пакет не сможет работать в Windows 3.1 или OS/2.
Winstone 32 обеспечивает как общую оценку производительности всей системы, так и результаты работы по трем категориям приложений: делова графика и настольные издательские системы, базы данных; текстовые редакторы и электронных таблицы.
Выбор приложений для Winstone 32 основан на новых данных о распространении каждого приложения на рынке в 1995 г. и прогнозов на 1996 г.
В Winstone 32 используется тот же интерфейс, что и в Winstone 96, поэтому легко сразу же начать тестирование.
Используя обе версии Winstone, бесплатно поставляемые на одном CD, можно оценивать производительность ПК, при выполнении 32-разрядных приложений (используя Winstone 32), а также 16-разрядных приложений (используя Winstone 96).
Как получить пакет Winstone 32
Если вы хотите иметь CD-ROM, который содержит Winstone 32, а также 16-разрядные эталонные тесты Winstone 96 и WinBench 96, пошлите открытку по адресу:
Ziff-Davis Benchmark Operation 1001 Aviation Pkwy., #400 Morrisville, NC 27560 Attn.: Distribution coordinatorВы можете также послать вашу просьбу по факсу: 919-380-2879. В любом случае, пожалуйста, укажите свое имя, адрес, номер телефона и пометьте, что вы хотите получить CD ROM Benchmarks, содержащий Winstone 32. Доставка займет от четырех до шести недель. Если вы желаете ускорить доставку, укажите номер своего счета в Federal Express и сделайте соответствующие распоряжения. На компакт-диске имеются электронные руководства по работе с Winstone 32 и другими пакетами для тестирования ПК.
Марк Л. Ван Нейм является вице-президентом по тестированию продуктов в компании Ziff-Davis Publishing Co. Билл Кетчингс - руководитель отдела Benchmark Operation (эталонных тестов) фирмы Ziff-Davis. Это научно-исследовательское подразделение фирмы выпускает лабораторные тестовые программы.