Тестирование производительности 32-разрядных ОС
Соответствует ли производительность новых 32-разрядных операционных систем щедро раздававшимс обещаниям? Тщательно проведенное тестирование дает исчерпывающий ответ.
Если вы обдумываете возможность перехода на 32-разрядную операционную систему, то, вполне естественно, вас интересует ее производительность при выполнении собственных 32-разрядных прикладных программ, и не исключено, что для вас в равной степени важна эффективность выполнения уже имеющихс 16-разрядных прикладных программ.
Фирма IBM называет OS/2 "лучшей DOS, чем сама DOS, и лучшей Windows, чем сама Windows". Корпорация Microsoft утверждает, что производительность в среде Windows 95 будет "по меньшей мере" такой же, как в среде предыдущей версии Windows (конечно, если вы не удовлетворены производительностью вашей системы в среде Windows 3.x, то из заявления Microsoft не следует, что вас внезапно "осчастливит" Windows 95). Даже высококлассная Windows NT Workstation 3.51 рекламируется как "самая мощная операционная система для настольных ПК".
Какова в действительности производительность этих ОС? Лаборатория PC Magazine Labs подвергла каждую операционную систему исчерпывающим испытаниям в течение нескольких тысяч часов для того, чтобы выяснить их реальное быстродействие.
Большое внимание в наших тестах было уделено определению скорости выполнения существующих 16-разрядных прикладных программ Windows, выполняемых в качестве автономных задач, - именно так многие потребители будут использовать новые ОС до той поры, пока собственные 32-разрядные прикладные программы не получат более широкое распространение. Там, где это возможно, мы также проверяли производительность собственных 32-разрядных программ OS/2 Warp, Windows 95 и Windows NT. Поскольку доставшиеся нам в наследство от прошлого прикладные программы и игры DOS по-прежнему широко используются, мы также провели их тестирование в средах DOS различных операционных систем.
Прикладные программы на базе компонентных объектов и растущая популярность технологии динамической компоновки объектов (OLE) заставляют по-новому взглянуть на производительность. На производительность системы влияют накладные расходы, обусловленные работой программы-контейнера для OLE-сервера, а также взаимодействием прикладных программ. Мы провели ряд тестов, с помощью которых оценили несколько типов операций OLE. И наконец, модель вытесняющей многозадачности, применяемая в новых операционных системах, поощряет интенсивную многозадачность, поэтому наши тесты охватывают и эту сферу.
Все тесты выполнялись на платформах с процессорами 486 и Pentium - Compaq Deskpro 486/33M и Hewlett- Packard Vectra XU 5/90C, - оснащенных ОЗУ различной конфигурации емкостью от 4 до 32 Мбайт.
Корпорация Microsoft, по-видимому, сдержала свои обещания, касающиеся производительности Windows 95. Хотя новая операционная система редко в точности повторяла результаты Windows 3.1 или Windows for Workgroups, в целом производительность была на том же уровне.
Мы были несколько разочарованы результатами, показанными системой OS/2 Warp фирмы IBM при работе с 16-разрядными прикладными программами Windows. OS/2 Warp неизменно выполняла их медленнее, хотя и ненамного, чем Windows 3.1x или Windows 95. Трудно сравнивать эффективность собственных прикладных программ OS/2 и Windows из-за несоответствия версий одних и тех же продуктов, доступных на платформах OS/2 и Windows. Мы с нетерпением ждем выхода в свет таких программ, как WordPro фирмы Lotus, которая будет поставляться в 16- и 32-разрядных редакциях для Windows и 32-разрядной редакции для OS/2, чтобы получить возможность провести корректное сравнение.
Система Windows NT Workstation в целом отстает от Windows 3.1x и Windows 95, хотя иногда ей удаетс потеснить OS/2 Warp. Она показала свою наивысшую производительность при работе с 32-Мбайт ОЗУ.
Полученные нами результаты ясно показывают, что мы не можем рекомендовать устанавливать 32-разрядную операционную систему на 4-Мбайт компьютере. Какой бы ни была стоимость модернизации, вы сэкономите деньги, если воздержитесь от нее до тех пор, пока не расширите память до 8 Мбайт. Разница в производительности компьютеров с 4- и 8-Мбайт ОЗУ столь велика, что она практически отодвигает на второй план вопрос о выборе операционной системы.
Если вы работаете лишь с одной прикладной программой, то, по всей видимости, вам будет достаточно 8-Мбайт ОЗУ для выполнения обычных задач в любой из рассматриваемых операционных систем (за исключением Windows NT, для функционирования которой требуется как минимум 12 Мбайт). Но даже простое переключение задач в среде Windows 95 будет происходить гораздо эффективнее, если у вас имеется 16 Мбайт памяти. При расширении ОЗУ до 16 Мбайт резко улучшалась производительность всех операционных систем в наших тестах OLE, когда в память одновременно помещаются две прикладные программы и возникают дополнительные затраты времени на организацию их взаимодействия.
В настоящее время единственная операционная система, производительность которой значительно повышается при расширении ОЗУ с 16 до 32 Мбайт, - это Microsoft Windows NT Workstation. Она также предъявляет самые высокие начальные требования к емкости памяти. На машинах с 32-Мбайт ОЗУ ее производительность была одинаковой с другими испытанными нами операционными системами. Однако вам следует тщательно оценить свои потребности, прежде чем переходить на 32-Мбайт систему. Может быть, вы с большей пользой потратите свои деньги, если приобретете менее жадную к ресурсам ОС и аппаратные средства, которые помогут вам повысить производительность, например дополнительную кэш-память, более быстродействующий жесткий диск или графический адаптер.
Так как многие пользователи не откажутся от 16-разрядных прикладных программ Windows и после перехода на Windows 95, мы сочли нужным провести тестирование с помощью нашего набора эталонных тестов Winstone 95, в ходе которого производительность системы оценивается на основе выполнения 13 наиболее популярных 16-разрядных прикладных программ Windows 3.1x. Winstone не работает в среде OS/2 и Windows NT из-за несовместимости между его управляющей программой, Microsoft Test, и этими операционными системами. В связи с повышенными требованиями к памяти со стороны некоторых входящих в состав теста Winstone прикладных программ он не может выполняться на 4-Мбайт системе.
Windows for Workgroups стала первой версией Windows, в которой более медленный способ доступа к файлам в реальном режиме, применявшийся в Windows 3.1, был заменен 32-разрядным драйвером файлового доступа. В нее был также добавлен VCACHE, 32-разрядный кэш, заменивший собой SmartDrive. По умолчанию VCACHE реализует кэширование с отсроченной записью - весьма рискованный метод повышения производительности системы, при котором запись данных на жесткий диск откладывается до той поры, когда система не начнет простаивать. В Windows 95 также используются 32-разрядный доступ к файлам и VCACHE, однако здесь не происходит кэширования записи по умолчанию. Кроме того, кэш Windows 95 являетс динамическим, он увеличивается или уменьшается в соответствии с потребностями системы.
В целом Windows for Workgroups показала себя самой быстродействующей из трех версий Windows, хотя ее преимущество было невелико. По крайней мере отчасти это объясняется применением кэша с отсроченной записью. Windows 3.1 и Windows for Workgroups, похоже, достигают максимума производительности при емкости ОЗУ 16 Мбайт, в то время как производительность Windows 95 продолжает улучшаться, возможно, благодаря динамическому кэшу.
WINSTONE 95
Соответствуют ли истине утверждения о равной производительности Windows 95 и Windows 3.1? Действительно, результаты весьма близки. Наши лабораторные тесты Winstone 95 показывают, что эта система находится почти на одном уровне с Windows 3.1. Наибольший разрыв зафиксирован на системе с процессором 486 и всего 4-Мбайт ОЗУ. Но на более быстрой системе с процессором Pentium и 32-Мбайт ОЗУ всех опередила Windows 95. Она была также единственной испытанной операционной системой, существенно улучшившей свои показатели при расширении ОЗУ до 32 Мбайт. В целом, однако, Windows 95 была медленнее, чем Windows for Workgroups 3.11. На производительность WfWG благотворно влияет наличие кэша с отсроченной записью - средство, по умолчанию отсутствующее в Windows 95.
Набор лабораторных тестов Winstone 95 выполняет 13 наиболее популярных 16-разрядных прикладных программ Windows 3.1x и оценивает результаты в соответствии с частотой применения той или иной программы в практике пользователей. Winstone 95 не работает в среде OS/2 Warp или Windows NT Workstation. Дл Winstone 95 требуется по меньшей мере 8 Мбайт памяти.
Compaq Deskpro 486/33M Результаты теста Память (Мбайт) 8 16 32 Windows 3.1, баллы 38 41 41 WfWG 3.11, баллы 39 45 45 Windows 95, баллы 35 40 41 Чем больше баллов, тем лучше
HP Vectra Pentium 90 Результаты теста Память (Мбайт) 8 16 32 Windows 3.1, баллы 89 122 122 WfWG 3.11, баллы 83 138 138 Windows 95, баллы 83 120 130
Тест Microsoft Word основан на компонентах из комплекта Winstone 95, заимствованных из текстового процессора Word и представляющих наиболее часто встречающиеся в Word функции, в том числе поиск и замену; проверку орфографии; различные операции, используемые для форматирования символов, абзацев и документов; а также файловые операции, такие, как открытие и импорт текстового файла и импорт двух различных документов WordPerfect.
Каждая операционная система прошла тестирование с помощью 16-разрядной версии Word 6.0 для Windows. Мы также исследовали поведение 32-разрядного Word for Windows NT в среде Windows 95 и Windows NT. Так как ранее выполнявшееся лабораторией PC Magazine тестирование показало, что производительность этой программы неудовлетворительна, мы протестировали предварительную версию Word 7.0 for Windows 95.
Производительность всех перечисленных программ повысилась при увеличении емкости ОЗУ с 4 до 8 Мбайт, но наиболее ярко разница была заметна в OS/2 Warp. Рабочее множество теста было таково, что 16 Мбайт оказалось вполне достаточно для всех операционных систем, за исключением Microsoft Windows NT 3.51, которая слегка улучшила свои результаты при расширении памяти до 32 Мбайт.
По показателям чистого быстродействия 16-разрядные версии Word опередили 32-разрядные программы, хот более тонкая оптимизация Word for Windows 95 принесла некоторую пользу. До тех пор пока не появится большее число 32-разрядных прикладных программ, нельзя сделать окончательный вывод о том, какая платформа обладает самым высоким быстродействием.
Мы надеялись создать похожий тест, взяв за основу Ami Pro, чтобы сопоставить собственную 32-разрядную прикладную программу OS/2 с ее 16-разрядными Windows-аналогами и Word. Однако некоторые команды не могли быть реализованы средствами макроязыка версии программы для OS/2, что сделало сравнение некорректным.
Производительность: Microsoft Word
Тест Microsoft Word основан на широком наборе задач, часто встречающихся при редактировании текстов. Мы тестировали все операционные системы с использованием 16-разрядного Word 6.0a, 32-разрядного Word for Windows NT, предварительную версию 32-разрядного Word 7.0 for Windows 95. Мы выполняли тест с четырьмя разными конфигурациями памяти на системах с процессорами 486 и Pentium.
Compaq Deskpro 486/33M Время выполнения теста, мин Память (Мбайт) 4 8 16 32 Windows 3.1 (16-разр. Word) 3.6 2.7 2.6 2.5 WfWG 3.11 (16-разр. Word) 3.4 2.4 2.3 2.3 Windows 95 (16-разр. Word) 4.8 2.6 2.4 2.4 Windows 95 (32-разр. Word) 5.5 3.5 3.3 3.2 OS/2 Warp 3.0 (16-разр. Word) 10 3.3 2.7 2.7 Windows NT 3.51 (16-разр. Word) н/п н/п 3 2.7 Windows NT 3.51 (32-разр. Word NT) н/п н/п 3.7 3.5 Windows NT 3.51 (32-разр. Word 95) н/п н/п 3.3 3 Чем меньше время, тем лучше
HP Vectra XU 5/90C Время выполнения теста, мин Память (Мбайт) 4 8 16 32 Windows 3.1 (16-разр. Word) 2.2 0.9 0.7 0.7 WfWG 3.11 (16-разр. Word) 2.4 0.9 0.7 0.7 Windows 95 (16-разр. Word) 3 0.8 0.7 0.7 Windows 95 (32-разр. Word) 3.8 1.2 0.9 0.9 OS/2 Warp 3.0 (16-разр. Word) 4.7 1.1 0.8 0.8 Windows NT 3.51 (16-разр. Word) н/п н/п 1.2 0.9 Windows NT 3.51 (32-разр. Word NT) н/п н/п 1.4 1.2 Windows NT 3.51 (32-разр. Word 95) н/п н/п 1.1 0.8
н/п - неприменимо: тестируемая ОС не рассчитана на работу с такой конфигурацией памяти.
Как и тест Word, тест Microsoft Excel основан на эталонных тестах Winstone 95. В нем оцениваютс типичные функции электронных таблиц, включая проведение расчетов, построение диаграмм, редактирование и вывод на печать. Для полноты сравнения мы также провели тестирование собственной 32-разрядной электронной таблицы для OS/2 - Mesa for OS/2 фирмы Athena Software, которая содержит средства эмуляции тестовых макрокоманд Excel, за исключением операций печати и предварительного просмотра перед выводом на печать. Мы также исследовали 32-разрядную программу Microsoft Excel 5.0 for Windows NT.
Так как для функционирования пакета Excel требуетс немалая память, мы наблюдали значительное увеличение производительности при расширении ОЗУ с 4 до 8 Мбайт. А поскольку используемая для тестирования модель была не столь велика, чтобы требовать значительный объем памяти, то при дальнейшем наращивании емкости ОЗУ производительность повышалась незначительно.
Целью тестирования программы Mesa было не столько сравнение общего времени ее выполнения с аналогичным показателем Excel, сколько выяснение влияни дополнительной памяти на поведение собственной прикладной программы OS/2. Mesa оказалась в состоянии выполнить тестовый сценарий с 8-Мбайт памятью, а дальнейшее увеличение емкости ОЗУ дало лишь минимальное повышение производительности.
Самое большое влияние на общую скорость выполнени задачи оказывает скорость печати. Windows 3.1 использовала старую модель драйвера принтера LaserJet III. За период, прошедший между выходом Windows 3.1 и Windows for Workgroups 3.11, драйвер был усовершенствован, что снизило время вывода на печать с буферизацией почти вдвое. Дальнейшие улучшени подсистемы печати, появившиеся в Windows 95, объясняют ее еще более быстрые результаты.
Производительность: Microsoft Excel
В тесте Microsoft Excel представлен типичный набор функций электронных таблиц, в том числе проведение расчетов, построение графиков и диаграмм, редактирование и вывод на печать. Мы использовали 16-разрядный Excel 5.0 и 32-разрядный Excel for Windows NT. Мы также использовали 32-разрядную электронную таблицу Mesa for OS/2 фирмы Athena Software, которая позволяет эмулировать большую часть тестовых макрокоманд Excel.
Compaq Deskpro 486/33M Время выполнения теста, мин Память (Мбайт) 4 8 16 32 Windows 3.1 (16-разр. Excel) 7 6 5.5 5.5 WfWG 3.11 (16-разр. Excel) 6 4 3.5 3.5 Windows 95 (16-разр. Excel) 6 3.5 3.2 3 Windows 95 (32-разр. Excel NT) 7 4 3.5 3 OS/2 Warp 3.0 (16-разр. Excel) 25 6 5.5 5.5 OS/2 Warp 3.0 (32-разр. Excel Mesa) н/п 9 8.5 8.5 Windows NT 3.51 (16-разр. Excel) н/п н/п 5 4.8 Windows NT 3.51 (32-разр. Excel NT) н/п н/п 4.5 4.5 Чем меньше время, тем лучше
HP Vectra XU 5/90C Время выполнения теста, мин Память (Мбайт) 4 8 16 32 Windows 3.1 (16-разр. Excel) 4 1.6 1.4 1.4 WfWG 3.11 (16-разр. Excel) 3 1.2 1 1 Windows 95 (16-разр. Excel) 5 1 0.8 0.8 Windows 95 (32-разр. Excel NT) 5 1.2 1 1 OS/2 Warp 3.0 (16-разр. Excel) 8.5 1.7 1.5 1.4 OS/2 Warp 3.0 (32-разр. Excel Mesa) н/п 2.1 2 1.8 Windows NT 3.51 (16-разр. Excel) н/п н/п 1.6 1.4 Windows NT 3.51 (32-разр. Excel NT) н/п н/п 1.3 1.2
н/п - неприменимо: тестируемая ОС не рассчитана на работу с такой конфигурацией памяти.
Тест Access построен на основе стандартных операций, выполняемых над содержимым базы данных, в том числе импорт файлов в таблицы, разнообразные виды поиска, обновления, удаления данных и составление отчетов. Хот корпорация Microsoft рекомендует работать с Access при наличии как минимум 6-Мбайт ОЗУ, мы провели тестирование с 4 Мбайт (и узнали, почему Microsoft рекомендует 6 Мбайт).
В целом производительность переставала расти после 8 Мбайт, хотя Windows NT показала некоторое улучшение результатов при переходе с 16 на 32 Мбайт. Очевидно, это объясняется значительными собственными накладными расходами, оказывающими влияние даже при 16-Мбайт памяти.
ПРОИЗВОДИТЕЛЬНОСТЬ: MICROSOFT ACCESS
Этот тест на базе 16-разрядной СУБД Microsoft Access 2.0 использует ряд обычных для баз данных операций, в том числе импорт файлов в таблицы, поиск, обновление, удаление данных и составление отчетов. На обеих аппаратных платформах производительность почти не росла после отметки 8 Мбайт, но процессор Pentium позволил операционным системам лучше воспользоваться дополнительной памятью.
Compaq Deskpro 486/33M Время выполнения теста, мин Память (Мбайт) 4 8 16 32 Windows 3.1 20 7.5 7 7 Windows 95 30 7 6 6 WfWG 3.11 10 6 6 6 OS/2 Warp 3.0 40 8 7.5 7.2 Windows NT 3.51 н/п н/п 7 6.8 Чем меньше время, тем лучше
HP Vectra XU 5/90C Время выполнения теста, мин Память (Мбайт) 4 8 16 32 Windows 3.1 10 3 2.6 2.6 Windows 95 25 2.8 2.1 2.1 WfWG 3.11 15 3 2.1 2.1 OS/2 Warp 3.0 30 3.3 2.7 2.6 Windows NT 3.51 н/п н/п 2.9 2.6
н/п - неприменимо: тестируемая ОС не рассчитана на работу с такой конфигурацией памяти.
Тест WordPerfect for DOS построен по образцу тестов Microsoft Word, но мы свели к минимуму или исключили задачи, которые редко применяются в текстовом процессоре DOS, работающем в текстовом режиме.
Первые попытки выполнения WordPerfect под управлением различных версий Windows и OS/2 были исключительно медленными по сравнению с MS-DOS; в некоторых случаях разница достигала порядка. Главными виновниками, как нам представлялось, были операции поиска с заменой и вывода на печать.
Анализ показал, что необходимо оптимизировать сеансы DOS, установив значение Low для параметра Idle Sensitivity в файле информации о программе (PIF). Параметр Idle Sensitivity определяет, как долго операционная система разрешает программе оставаться в состоянии простоя, прежде чем начать распределение выделенных ей ресурсов между другими задачами. Установка для этого параметра значения Low приводит к тому, что прикладная программа реже запрашивает право распоряжаться ЦП и клавиатурой.
ПРОИЗВОДИТЕЛЬНОСТЬ: WORDPERFECT 5.1 FOR DOS
WordPerfect 5.1 for DOS, базовая программа для этого теста, самый популярный текстовый процессор DOS за все время. OS/2 Warp и Windows 95 несколько улучшили свои показатели при увеличении емкости ОЗУ с 4 до 8 Мбайт. В остальном размер памяти не оказывал существенного влияния. При установке низкого уровн чувствительности к состоянию простоя операционные среды с ГИП показали результаты лишь немного ниже, чем DOS.
Compaq Deskpro 486/33M Время выполнения теста, сек Память (Мбайт) 4 8 16 32 MS DOS 6.2 70 68 70 70 Windows 3.1 84 80 80 80 WfWG 3.11 82 80 80 80 Windows 95 (текстовый режим) 80 80 80 80 Windows 95 (граф. режим) 90 87 88 88 Windows NT 3.51 н/п н/п 110 100 OS/2 Warp 3.0 90 75 77 75 Чем меньше время, тем лучше
HP Vectra XU 5/90C Время выполнения теста, сек Память (Мбайт) 4 8 16 32 MS DOS 6.2 22 21 21 21 Windows 3.1 24 23 23 23 WfWG 3.11 23 23 23 23 Windows 95 (текстовый режим) 23 21 21 21 Windows 95 (граф. режим) 31 27 27 27 Windows NT 3.51 н/п н/п 30 30 OS/2 Warp 3.0 34 25 25 24
н/п - неприменимо: тестируемая ОС не рассчитана на работу с такой конфигурацией памяти.
Создатели как Windows 95, так и OS/2 утверждают, что большинство игровых программ DOS могут выполняться под управлением этих ОС. Использование Windows NT в качестве игровой платформы маловероятно, но мы подвергли тестированию и ее, чтобы исследовать ее возможности в этой области.
В качестве тестовой задачи мы выбрали программу DOOM II фирмы id Software и исследовали ее поведение в текстовом режиме Windows 95, а также в графическом режиме Windows 95, OS/2 Warp и Windows NT. В качестве эталона для сравнения мы использовали результаты, полученные в среде DOS 6.2. DOOM II не выполнялся в среде Windows 3.x.
Мы рассматривали три показателя, характеризующие производительность игровой программы: время загрузки, частоту кадров в условиях нормальной активности (бег по обычному коридору со средним числом объектов на ярусе), частоту кадров в условиях стрессовой активности (перемещение по боевой зоне, насыщенной десятками противников). Время загрузки измеряется как время, требующееся для загрузки программы DOOM и специальной демонстрационной программы. Мы проводили тестирование в отсутствие звука, поскольку звуковые средства не работают в среде Windows NT.
Так как DOOM не использует преимущества 8-Мбайт памяти во время загрузки, то при выполнении программ в текстовом режиме Windows 95 и DOS - не связанном с большими накладными расходами - мы не наблюдали повышения быстродействия, связанного с наличием дополнительной памяти. В графической среде больша часть памяти используется самой операционной системой; игра распоряжается только ее оставшейся частью (или виртуальной памятью), и поэтому увеличение размера ОЗУ идет ей на пользу.
В нормальном и напряженном режимах игры система Windows 95, со своей графической оболочкой или без нее, была способна на равных состязаться с DOS. OS/2 Warp постоянно уступала в скорости, ее частота кадров в некоторых случаях была на треть ниже. Частота кадров в среде Windows NT на компьютере Compaq с 16-Мбайт ОЗУ, составившая 33,3 кадр/с, была самой низкой, которую только может показать DOOM. Снижение частоты кадров было совершенно очевидным даже на глаз.
Архитектура Windows NT плохо приспособлена для таких игр, как DOOM, которые часто обращаются непосредственно к аппаратным устройствам. Ради устойчивости и надежности Windows NT не разрешает подобные операции и эмулирует их с помощью программных средств, что существенно снижает быстродействие.
КАДРЫ В СЕКУНДУ: DOOM II
Тест "Кадры в секунду" измеряет частоту смены кадров анимации в игре DOOM II в условиях нормальной и пиковой игровой активности. Хотя у всех операционных систем наблюдалось выпадание кадров при пиковом уровне активности, пиковый и нормальный показатели сильно различались. DOOM II не выполнялся в среде Windows 3.x, мы также не тестировали Windows NT с ОЗУ емкостью менее 16 Мбайт.
Чем выше показатель, тем лучше
Compaq Deskpro 486/33M Показатель теста, кадр/с Память, Мбайт 4 8 16 32 MS-DOS 6.2 Норм. активность 10 11 12 12 Пиков. активность 8 8 8 8 Windows 95 (текстов. режим) Норм. активность 9 10.5 12 12 Пиков. активность 8 7.5 8 8 Windows 95 (графич. режим) Норм. активность 9 10 12 12 Пиков. активность 7 7 7.5 7.5 OS/2 Warp 3.0 Норм. активность 8 8 8.5 9 Пиков. активность 6.5 6.5 6.5 7 Windows NT 3.51 Норм. активность 5 5 Пиков. активность 3.5 3.5
Чем выше показатель, тем лучше
HP Vectra XU 5/90C Показатель теста, кадр/с Память, Мбайт 4 8 16 32 MS-DOS 6.2 Норм. активность 11 14 16 16 Пиков. активность 6 6 7 7 Windows 95 (текстов. режим) Норм. активность 12 15 16 16 Пиков. активность 6 6.5 6.5 6.5 Windows 95 (графич. режим) Норм. активность 12 14 15 15 Пиков. активность 6 6 6.5 6.5 OS/2 Warp 3.0 Норм. активность 10 12 12 14 Пиков. активность 6 6.5 6.5 6.5 Windows NT 3.51 Норм. активность 11 12 Пиков. активность 5 5.5
ВРЕМЯ ЗАГРУЗКИ ПРОГРАММЫ: DOOM II
Тест "Время загрузки" программы для DOOM II измеряет время, требуемое для загрузки операционной системы DOOM и специальной демонстрационной программы. Хот кривые для текстовых режимов ОС становятся плоскими после отметки 8 Мбайт по причине их малой собственной потребности в ресурсах, производительность графических интерфейсов повышалась по мере увеличения размера дополнительной памяти.
Compaq Deskpro 486/33M Показатель теста, секунды Память, Мбайт 4 8 16 32 MS-DOS 6.2 20 18 19 19 Windows 95 (текстов. режим) 20 18 19 19 Windows 95 (граф. режим) 65 56 30 20 OS/2 Warp 3.0 30 37 32 30 Windows NT 3.51 н/п н/п 56 38 Чем меньше показатель, тем лучше
HP Vectra XU 5/90C Показатель теста, секунды Память, Мбайт 4 8 16 32 MS-DOS 6.2 13 10 10 10 Windows 95 (текстов. режим) 13 10 9 10 Windows 95 (граф. режим) 45 40 17 12 OS/2 Warp 3.0 35 20 17 16 Windows NT 3.51 н/п н/п 33 19
н/п - неприменимо: тестируемая ОС не рассчитана на работу с такой конфигурацией памяти.
Наши тесты OLE состояли из 11 задач пакетов Microsoft Word 6.0, Microsoft Excel 5.0 и Paradox for Windows 5.0 фирмы Borland.
В число тестовых задач входили следующие: запустить WordArt и изменить объект WordArt в составе документа Word; выйти из WordArt и возвратить управление редактору Word; перенести с помощью метода drag-and-drop диаграмму Excel в документ Word; создать электронную таблицу Excel в документе Word; применить функцию автоматического форматирования AutoFormat к электронной таблице Excel; редактировать таблицу Excel "по месту"; редактировать существующую диаграмму, используя отдельно запущенный экземпляр Excel; провести редактирование "по месту" встроенной таблицы Paradox; ввести новые значения в таблицу Paradox; редактировать диаграмму Excel внутри документа Word, связанного с Excel Workbook, находящейся на диске; изменить содержимое связанной диаграммы.
Все тесты выполнялись с 16-разрядными версиями прикладных программ. Тесты Warp проводились в полноэкранном сеансе Win-OS/2. В среде Windows NT прикладные программы запускались в ходе разделяемого сеанса Windows on Windows (WOW). Мы не проводили тестирование с 4-Мбайт памятью.
Время выполнения тестов отдельных компонентов лежало в пределах от менее чем 1 с до почти 40 с. Мы даем среднее арифметическое значение результатов индивидуальных тестов. Так как технология OLE требует, чтобы одновременно в памяти находились две прикладные программы (или их части), то системна производительность, как правило, нарастала при росте объема памяти до отметки 16 Мбайт, хотя в большинстве наших тестов для одиночных прикладных программ рост производительности прекращался при 8 Мбайт. Из-за большой собственной потребности в ресурсах системы Windows NT ее результаты в тестах OLE не могли сравниться с результатами других операционных систем до тех пор, пока мы не расширили ОЗУ до 32 Мбайт.
ПРОИЗВОДИТЕЛЬНОСТЬ: OLE
Наши тесты OLE состоят из 11 операций OLE с использованием Microsoft Word 6.0, Microsoft Excel 5.0 и Paradox for Windows 5.0 фирмы Borland. Показанные результаты представляют собой среднее значение оценок за выполнение индивидуальных заданий. Только OS/2 Warp и (особенно) Windows NT выиграли от увеличения емкости ОЗУ более 16 Мбайт.
Compaq Deskpro 486/33M Показатель теста, секунды Память, Мбайт 8 16 32 Windows 3.1 11 7 6.5 WfWG 3.11 13 7.5 6.5 Windows 95 13 7 5.6 OS/2 Warp 3.0 19 9 7 Windows NT 3.51 н/п 12.5 7 Чем меньше показатель, тем лучше
HP Vectra XU 5/90C Показатель теста, секунды Память, Мбайт 8 16 32 Windows 3.1 8 3.5 2.5 WfWG 3.11 10 3.5 3 Windows 95 9 3.5 2.3 OS/2 Warp 3.0 12 3.8 3 Windows NT 3.51 н/п 6.3 3.5
н/п - неприменимо: тестируемая ОС не рассчитана на работу с такой конфигурацией памяти.
Для проведения тестов многозадачности мы выбрали программы, которые может выполнять в многозадачном режиме средний пользователь. В пору бурного развити Internet, электронной почты и оперативных информационных служб наш выбор, вполне естественно, остановился на загрузке информации, поступающей по линии связи, с одновременным выполнением интенсивных операций дискового ввода-вывода.
В качестве коммуникационного компонента теста мы использовали различные редакции программы HyperAccess фирмы Hilgraeve. Для тестирования 16-разрядных средств связи в среде Windows 3.1, Windows for Workgroups 3.11, Windows 95 и Windows NT мы использовали HyperAccess 2.01. Для 32-разрядных тестов в среде Windows 95 и OS/2 были использованы стандартные программы HyperTerminal и HyperAccess Lite for OS/2 соответственно. HyperAccess - высокопроизводительный коммуникационный пакет, реализующий в среде Windows 95 и OS/2 Warp преимущества многопотоковой обработки и имитирующий в среде Windows 3.1 многозадачность, разделяя модуль обслуживани коммуникационного порта и дисплейный модуль.
Нам не удалось проверить 16- и 32-разрядные коммуникационные программы на всех платформах. Не смогли мы также добиться надежного выполнени HyperAccess for Windows в среде OS/2 Warp; 32-разрядна версия HyperAccess для Windows NT еще не вышла в свет. По утверждению фирмы Hilgraeve, программа HyperTerminal for Windows 95 не может работать в среде Windows NT, так как в ней используется еще не реализованный в NT программный интерфейс с телефонными линиями TAPI (Telephony API).
Чтобы сжатие информации в модеме не влияло на результаты теста, мы передавали по линии связи 4-Мбайт ZIP-файл с использованием протокола ZModem при скорости обмена 28,8 кбит/с. Мы применяли два 28,8-кбит/с модема Practical Peripherals, соответствующих стандарту V.34, соединенных с помощью эмулятора телефонной линии Skutch, который обеспечивает согласованную телефонную линию.
Дисковый ввод-вывод в нашем тесте был представлен операцией копирования двоичных и текстовых файлов общим объемом 96 Мбайт из одного каталога в другой с помощью команды XCOPY. Все версии XCOPY были 16-разрядными, за исключением Windows NT, где имеется 32-разрядна утилита.
Тест многозадачности состоял из трех частей: хронометраж выполнения XCOPY в однозадачном режиме, проведенный с целью определения эталонного значения, хронометраж XCOPY с одновременной загрузкой информации из линии связи (многозадачный режим) и однозадачна загрузка, выполнявшаяся в течение того же времени, что и XCOPY в режиме многозадачности. Тестирование проводилось на компьютерах Pentium HP Vectra XU 5/90c и Compaq Deskpro 486/33M в 16-Мбайт конфигурациях. XCOPY выполнялась в приоритетном режиме в составе самохронометрирующегося командного файла, а загрузка происходила в фоновом режиме и инициировалась с удаленной машины-источника.
Для каждой ОС был выбран устанавливаемый по умолчанию режим многозадачности. Мы тестировали Windows NT и OS/2 Warp, используя тома FAT, а также их собственные файловые системы - NTFS и HPFS соответственно.
При оценке многозадачности необходимо учесть две важные величины: какова производительность каждой задачи в отсутствие других одновременно выполняемых задач и насколько снижается производительность каждой задачи, когда обе работают в многозадачном режиме. Диаграммы показывают производительность каждой задачи в многозадачном (столбцы на переднем плане) и в однозадачном режиме (столбцы на заднем плане). Столбцы сгруппированы парами по операционным системам. Левый столбец в паре представляет производительность XCOPY; правый столбец - производительность при загрузке данных из линии связи. Разница между столбцами на переднем и заднем плане показывает снижение производительности в многозадачном режиме. Чем меньше эта разница, тем меньшим было снижение производительности для данной задачи. Результаты, полученные для однозадачной операции копирования XCOPY, представлены в килобайтах в секунду, а для многозадачного режима - в килобайтах в минуту (чтобы изобразить столбцы в одном масштабе).
Производительность операций загрузки в однозадачном режиме для всех операционных систем и на обеих машинах была примерно одинаковой и составила около 200 Кбайт/мин. Но снижение производительности любой операционной системы при переходе в многозадачный режим сильно зависело от аппаратной платформы.
На Pentium-системе производительность при загрузке информации по линии связи для всех операционных систем снижалась примерно на 1% при переходе к многозадачности. Исключением стала Windows for Workgroups, где производительность уменьшилась почти на 10%.
Система 486/33, однако, вела себя совершенно по-иному. Снижение производительности в средах Windows 3.1, OS/2 Warp и Windows NT достигало 48%, а потери Windows 95 и Windows for Workgroups в режиме многозадачности составили всего около 8%.
Компонент XCOPY также продемонстрировал некоторые интересные различия между системами. На машине 486/33 разрыв между однозадачным и многозадачным режимами составил менее 10% для всех операционных систем, за исключением Windows NT с FAT, которая показала почти 17%-ное снижение производительности в многозадачном режиме. Работавшие на платформе с процессором Pentium 32-разрядные операционные системы продемонстрировали гораздо меньшее ухудшение результатов при переходе на многозадачность, чем 16-разрядные, из которых Windows 3.1 снизила свои показатели на 40%, а WfWG - на 22%.
Еще одно интересное различие выявилось между OS/2 и Windows NT. Обе они способны работать и с FAT, и с собственной высокопроизводительной файловой системой. В среде OS/2 файловая система HPFS обеспечивает более высокую производительность при выполнении операции XCOPY, а в среде Windows NT система FAT опережает NTFS по показателям быстродействия из-за накладных расходов, связанных с обеспечением повышенной безопасности данных в NTFS. Абсолютным победителем по скорости на машине с процессором Pentium стала система Windows 95, а Windows for Workgroups была непревзойденной на испытательной платформе с процессором 486. (Накопитель Quantum в нашей тестовой платформе HP Vectra не позволяет реализовать 32-разрядный доступ к диску, применяемый в Windows.)
Одним словом, если вы собираетесь работать в многозадачном режиме, наилучшую относительную производительность вы, как правило, получите на процессоре Pentium. Наши результаты свидетельствуют, что при загрузке информации по линии связи, в ходе которой прикладная программа должна предотвращать переполнение буфера или контролировать входной поток, процессор Pentium обеспечивает достаточную вычислительную мощность для того, чтобы все системы могли работать с полной нагрузкой как в одно-, так и в многозадачном тесте. Компьютер Compaq снижал свою производительность в многозадачном режиме при работе с большинством ОС. В заключение отметим, что на платформе Pentium Windows 95 показала лучшие результаты из всех операционных систем, второе место разделили OS/2 и Windows NT.
Мы проводили тестирование как на общедоступных, так и на высококлассных системах. К общедоступным системам относились машины Compaq Deskpro 486/33M с жесткими дисками емкостью 340 Мбайт и графическими адаптерами Compaq QVision 1024. Изделия высокого класса были представлены компьютерами HP Vectra XU 5/90C с 540-Мбайт жесткими дисками и графическими адаптерами Matrox MGA PCI/2.
Системы были оснащены памятью 4 Мбайт, 8 Мбайт, 16 Мбайт и 32 Мбайт. За исключением тех случаев, когда было оговорено иное, наша система Windows NT использовала файловую систему NTFS, а OS/2 Warp - HPFS. При тестировании на машинах с 4-Мбайт памятью использовалась версия OS/2 Warp 3.0 Full Pack (но не OS/2 Warp Connect) c файловой системой FAT.
Каждая система была сконфигурирована в соответствии с рекомендациями поставщиков. Для Windows 3.1 мы установили кэш SmartDrive с емкостью, равной одной четверти системной памяти; исключением стала память 32 Мбайт, где мы использовали кэш размером 4096 Кбайт. Мы использовали одинаковые установки параметров при тестировании DOS под Windows for Workgroups. Дл кэширования дисковых операций Windows применялс драйвер VCACHE. Установочные параметры Windows NT 3.51 и Windows 95 оптимизированы к аппаратным средствам компьютера, поэтому мы принимали для этих ОС значения, устанавливаемые по умолчанию. Корпорация IBM рекомендовала установить размер кэш-памяти для OS/2 Warp Full Pack и OS/2 Warp Connect равным 48 Кбайт при 4-Мбайт ОЗУ, 512 Кбайт при 8-Мбайт ОЗУ и 10% величины физической памяти для ОЗУ большей емкости.