Сегодня в тестах видеокарт довольно остро стоит вопрос: как проводить измерения? Если не прибегать к помощи синтетических тестов, выдающих результат в баллах, а также если в игре нет встроенного режима бенчмарка, большинство редакторов склоняется к использованию FRAPS. Собственно, мы тоже. Но рендеринг кадра - процесс очень сложный, он включает в себя разные этапы и, по сути, представляет собой конвейер рендеринга. Утилита FRAPS остановилась в самом начале этого процесса, то есть она измеряет, сколько кадров отсылаются на конвейер, но не может показать, сколько кадров выходят с конвейера рендеринга, и, что важно, за какое время они проходят конвейер.
Хотя с помощью FRAPS можно измерить время рендеринга каждого кадра, что позволяет оценить подёргивания или микро-подёргивания в случае систем с несколькими GPU, не всё так просто. Человеческий глаз намного более чувствителен к дефектам, и воспринимаются подёргивания совсем иначе, чем показывает FRAPS. Эффект подёргиваний на видеокартах AMD проявляет себя намного сильнее, наверное именно по этой причине NVIDIA решила оснастить тестовые лаборатории ряда изданий специальным аппаратным и программным обеспечением.
С помощью FCAT (Frame Capture Analysis Tool) NVIDIA желает показать, как следует измерять время рендеринга кадров. Но полная методика измерения предусматривает не только маленькую программную утилиту. Программно-аппаратный комплекс FCAT позволяет полностью раскрыть и проанализировать проблему неравномерной частоты кадров. Но для этого требуется аппаратное обеспечение для захвата кадров и скоростная система хранения на SSD/HDD, чтобы записывать несжатое видео. Программное обеспечение для анализа затем может по видеопотоку определить, какой именно кадр вышел с конвейера рендеринга. Так что вместо запуска утилиты FRAPS в реальном времени на тестовой сцене, можно записать полную сцену в виде несжатого потока, который затем проанализировать. Программа FCAT выдает файл CSV, который затем довольно легко анализировать, хотя объём работы на каждый тест оказывается весьма значительным.
Что это значит для методики Hardwareluxx?
Мы просмотрели большое количество отзывов о работе FCAT и пришли к следующему заключению: метод FCAT является более точным и позволяет избавиться от многих проблем, возникающих при рендеринге на разных GPU и с разными драйверами. Но для нас данный способ нельзя назвать альтернативой нынешней методике, в которой мы используем десять игр и проводим 51 альтернативных тестов с разными настройками и разрешениями. Время проведения тестов и анализа по методике FCAT возрастет значительно, но оно не оправдывает разницы в результатах между FCAT и FRAPS.
Помимо затрат времени, тестовая конфигурация FCAT довольно затратная по аппаратному обеспечению. Рядом с тестовой системой должна быть развернута еще одна с картой захвата, а также четырьмя SSD для записи несжатого материала.
Мы знаем о том, что методика FRAPS не является на 100 процентов идеальной. Но утилита FRAPS даёт вполне реалистичный результат, который позволяет читателям оценить производительность. Причём здесь важны не абсолютные результаты производительности, а сравнение видеокарт между собой. В случае систем на нескольких GPU наша методика тоже позволяет выполнить такое сравнение, хотя здесь возникают новые проблемы.
Мы надеемся, что в ближайшем будущем появится утилита, которая, в отличие от FRAPS позволяет получить результаты на поздних ступенях конвейера рендеринга. Возможно, обсуждение проблемы в Сети воодушевит разработчиков на создание подобной программы.