Еще с 2013 стало известно, что производители смартфонов фальсифицируют результаты тестов. Компании любят внедрять улучшения на регулярной основе, но, как часто оказывается, они не приводят к ощутимому влиянию на производительность. Поэтому производители любят хитрить. Как оказалось, Huawei намеренно искажает производительность тестов на различных новых смартфонах. Хотя в качестве причины указывает других китайских производителей.
Факт манипуляции был обнаружен нашими коллегами Anandtech во время тестирования нового Honor Play. При проведении измерений были получены странные результаты, которые плохо соответствовали Kirin 970 и не совпадали с результатами P20, представленного весной. Поэтому наши коллеги еще раз протестировали смартфоны на такой же SoC, на сей раз более скрупулезно, используя тестовые пакеты, которые не определяются. Результат таков: все протестированные смартфоны содержат функцию определения запуска тестов, которая манипулирует производительностью SoC.
В случае Honor Play в тесте GFXBench (T-Rex Offscreen) мы получаем практически удвоение частоты кадров с 66 до 127 fps. Вместе с тем при проведении теста среднее энергопотребление увеличивается с 4,4 до почти 7,6 Вт. В тесте 3DMark (Sling Shot 3.1 Extreme Unlimited Graphics) прирост составил 38%, Huawei P20 оказался на 25% быстрее в этом же тесте, а P20 Pro (тест) - на 7%.
Отмечается, что Huawei использует особую форму "оптимизации". Например, в случае Galaxy S4, HTC One M8 или OnePlus 3T чит заключался в увеличении частот SoC выше максимума, здесь же наблюдается обратная ситуация. Чип Kirin 970 работает на полной производительности или заявленных тактовых частотах только при определении теста. Кроме того, температурные ограничения больше не срабатывают или наблюдаются намного позже. В случае запуска обычных программ ограничения сказываются довольно рано.
Причина подобной фальсификации видна при детальном анализе энергопотребления. При "нормальном" уровне энергопотребления SoC от 3,5 до 4,4 Вт процессор Kirin 970 работал бы существенно медленнее конкурентов. И при нормальных условиях, когда запуск теста не определен, SoC работает в пределах привычного теплового пакета. Иначе батарея опустошалась бы быстрее, да и срок службы смартфона уменьшался бы.
В интервью Anandtech Huawei признала манипуляции, но в качестве причины указала неназванных китайских конкурентов. Они тоже фальсифицируют тесты, и Huawei пришлось пойти на такой шаг, чтобы оставаться конкурентоспособной. Вроде бы поначалу такой довод кажется справедливой, но на самом деле он является отговоркой. В интервью также было сказано, что бенчмарки имеют мало отношения к повседневным сценариям использования смартфона.
Конечно, последнее действительно верно, но почему тогда дочерний бренд Honor постоянно указывает высокую производительность на своих презентациях смартфонов, особенно по отношению к играм. И приводит результаты бенчмарков, чтобы подтвердить это.
Данная новость уже возымела последствия. UL, разработчик 3DMark, ранее известный как Futuremark, провел минувшей ночью собственные тесты, после чего убрал P20 Pro, Nova 3 и Honor Play из рейтингов. Кроме того, как указывают наши коллеги Anandtech, P20 тоже отсутствует в рейтингах. Данный шаг связан с нарушениями условий работы теста со стороны производителя смартфона. Среди всего прочего, условия запрещают манипуляцию с производительностью, связанную с распознаванием теста. Huawei уже работает над исправлением проблемы. Компания проинформировала UL, что собирается встроить "производительный режим", который могут активировать пользователи. Он должен увеличить производительность до уровня, который наблюдается сегодня при определении бенчмарка.