Huaweiベンチマークは、操作されたSoCパワーを使用したプライベートテストとパブリックテストの結果です。
数週間前に取り上げました プロのデジタル一眼レフカメラを使用したHuawei 自分撮り機能についてのコマーシャルで、消費者をだまそうとする方法を見つけるのを止められないようです。今回は、彼らが操作しているベンチマークです。
ベンチマークは人気があり、（ 今まで？） CPU、GPU、システムパフォーマンスのベンチマークなど、デバイスのパフォーマンスを示す正当な方法。ベンチマークの要点は、ストレス下でのデバイスのパフォーマンスの正確な結果を消費者に提供することです。
残念ながら、Huaweiは最新のデバイスのいくつかに「ベンチマーク検出メカニズム」を組み込んでいるようです。このメカニズムが本質的に行うことは、特定のアプリでベンチマークされていることを検出したときにSoCをはるかに高い電力制限と熱ヘッドルームにプッシュすることです。したがって、ユーザーが通常使用するよりもはるかに高いパフォーマンススコアが得られます。これは不正直であるだけでなく、 危険な SoCの寿命のために、そして非常に迅速にデバイスを過熱し、そのバッテリー寿命を縮める可能性があります。
この慣行に対するHuaweiの防御は、次のように要約するのが最適です。 他のみんなもそうします！」 –そして悲しいことに、彼らは実際に正しいのです。ベンチマークの不正行為はまったく新しいものではありません。10年前にPCシーンで横行し、モバイルシーンでもしばらくの間使用されていました。
ベンチマーク操作のために3DMarkから除外されたさまざまなデバイス。
サムスンギャラクシーS4のExynosバリアントは、同様のベンチマーク不正行為を行っていることが判明し、モバイルレビューサイトの編集者も AnandTech ベンチマークデータを操作している他のスマートフォンベンダーも多数発見しました。これにより、Galaxy S4、Galaxy Note 3、HTC One、その他多数のデバイスが登場しました。 上場廃止 3DMarkデータベースから。
ほとんどのメーカーは呼び出された後に動作を停止しましたが、いくつかは継続しました。たとえば、OnePlusはGeekBenchなどの人気のあるベンチマークで不正行為を続けましたが、OnePlus 5T以降、実際には優れたデバイスであり、改造と開発のコミュニティなので、OnePlusはそうではないと感じたのかもしれません 必要 ベンチマークデータを操作します。
悲しいことに、Huawei P20、Huawei P20 Pro、Honor PlayなどのデバイスでHuaweiがベンチマークを操作しているという検証済みのレポートがあるため、Huaweiは他のデバイスベンダーが中断したところを取り戻しているようです。基本的に、Huawei P20のパフォーマンスは、Huawei Mate 10 Proと比較すると低下していました。当時、Huaweiは「 ファームウェアの問題 」– SoCの非常に優れた電力制限をトリガーする上記のベンチマーク検出メカニズムが実際に原因であったため、完全に大胆な嘘です。
SoCがプッシュされているため、これが行われるとSoCの全体的な効率が低下するため、これはSoC自体に悪いだけではありません。 かなり外 その通常の操作ウィンドウの（ CPUをサーマルグリースなしで可能な限り高くオーバークロックすることを想像してください） 。ただし、これは 市場 自体。
1つは、SoCの外観が悪くなることです。 ニーズ 販売する価値があるようにベンチマークデータを操作する。第二に、それは中国のスマートフォン市場に疑問を投げかけます–それはすでに模倣、クローン、そして怪しげな慣行で溢れています。さらに、Huaweiのベンチマーク動作は、おそらくこれまでで最もひどいものです。 大規模 ベンチマーク検出メカニズムがオフの場合とオンの場合のパフォーマンス結果の違い。そのあまり AnandTech 公開されているベンチマーク結果と独自の内部テストの違いは次のとおりであると述べました。 絶対に驚くべき」。
Huaweiは発見されたことに対応しており、前述したように、彼らの対応は基本的に「 他のみんなもそれをします 」。彼らが文字通り言ったこと（ Huaweiのコンシューマービジネスグループのソフトウェア社長であるWangChenglu博士からの引用） 「だった 他の人も同じことをしてハイスコアを獲得し、Huaweiは沈黙を保つことができません。 Huaweiは、中国の他の企業と協力して、ユーザーエクスペリエンスに最適な検証ベンチマークを見つけたいと考えています。」
王博士はまた、誤解を招くベンチマーク数を持つ他のメーカーを指摘し、中国で名前のない人気のスマートフォンメーカーを最大の犯人として挙げました。王博士によると、ベンチマークの不正行為は「中国では一般的な慣行」になり、Huaweiは消費者に「開放」したいと考えていますが、競合他社が「非現実的なスコアを継続的に投稿」すると問題が発生します。 Huaweiは、中国の主要な競争に対抗しようとしています。これは、他のデバイスメーカーが非現実的なスコア数を生成する場合、困難に思われる作業です。
要約すると、Huawei
- 彼らがベンチマーク番号を操作していることを認める
- 中国の電話市場の他のすべての人がそれをしていることを認めます
- ＃2のために停止する予定はありません。
どうすれば誰でもできます 信頼 この種のものの後の中国の電話市場？いずれにせよ、Huaweiは同社が「 将来のベンチマークデータがサードパーティによって独立して検証されるようにする 」。
HuaweiはXDAに完全な応答を送信しました：
「Huaweiは、高いベンチマークスコアを追求するのではなく、常にユーザーエクスペリエンスを優先します。特に、スマートフォンのベンチマークとユーザーエクスペリエンスの間に直接的な関係がないためです。 Huaweiスマートフォンは、AIなどの高度なテクノロジーを使用して、CPU、GPU、NPUなどのハードウェアのパフォーマンスを最適化します。
誰かが写真アプリを起動したり、グラフィックを多用するゲームをプレイしたりすると、Huaweiのインテリジェントソフトウェアは、ハードウェアの全機能を適用すると同時に、デバイスの温度と電力効率を管理することで、スムーズで安定したユーザーエクスペリエンスを実現します。 Webの閲覧ほど電力を消費しないアプリケーションの場合、必要なパフォーマンスを提供するために必要なリソースのみが割り当てられます。
通常のベンチマークシナリオでは、Huaweiのソフトウェアがベンチマークアプリケーションを認識すると、「パフォーマンスモード」にインテリジェントに適応し、最適なパフォーマンスを提供します。 Huaweiは、ユーザーが必要なときにデバイスの最大電力を使用できるように、「パフォーマンスモード」へのアクセスをユーザーに提供することを計画しています。
ファーウェイは、業界のリーダーとして、パートナーと協力して、ユーザーエクスペリエンスを正確に評価できる最高のベンチマーク基準を見つけようとしています。」
とにかく、 true によって実行されたベンチマーク AnandTech Huawei P20、P20 Pro、Honor Playをテストしました。また、すべてのデバイスが同じHiSilicon Kirin 970 SoCを共有しているため、すべてのデバイスが同じように動作しましたが、各デバイスには熱制限があるため、各デバイスの実際のパフォーマンスは熱制限によって制限されます。異なるシャーシと冷却設計。 Huawei P20 Proは最高のサーマルを備えているため、真のパフォーマンス状態でパフォーマンスが向上します。
の編集者 AnandTech 、Andrei Frumusanuは、次のように述べています。
「これまで、ベンダーが実際にSoC周波数を上げたり、最大状態にロックしたりして、一般的なアプリケーションで通常利用できる以上のパフォーマンスを上げているのを見てきました。代わりにHuaweiが行っているのは、他の方向からベンチマークスコアを取得することです。ベンチマークアプリケーションは、SoCが実際に宣伝されている速度で実行する唯一のユースケースです。一方、他のすべての実際のアプリケーションは、ハードウェアの熱制限により、その状態よりも大幅に低く抑えられています。抑制されていないパフォーマンスで私たちが目にするのは、おそらく制約のないSoCの「真の」形式ですが、これはユーザーが実際に体験するものと比較すると完全に学術的です。」
彼らのグラフは、Huaweiの最新の電話が実際のパフォーマンス状態ですでに3.5〜4.4Wに達しているのに対し、3.5WTDPは維持できる最大量であることを示しています。一方、公開されているベンチマークを実行すると、電話はTDPでオーバードライブ状態になり、電力値は6Wを超え、8.5Wでピークになります。 AnandTechが指摘しているように、これらの数値はデバイスの過熱通知をすばやくトリガーし、ソフトウェアの期待値と熱制限が一致しないことを示します。
この状況から得られることは、実際のパフォーマンスの数値は電話の温度に依存するため、安定していないということです。 Huaweiは、GPUがピークGPU周波数状態に達するのをブロックしません。デフォルトの動作は、実際には「大幅に低いSoC温度レベルと全体的な電力消費を維持しようとする過酷な熱スロットリングメカニズム[…]」です。
携帯電話の通常モードは、GPUベンチマーク中に、スロットルされていないバリアントによって投稿されたものと同じピーク消費電力の数値に達する可能性があります。ただし、これらの数値はすぐに大幅に低下し、AnandTechは、場合によっては電話が2.2Wに減速するため、パフォーマンスが大幅に低下する可能性があると指摘しています。
この出版物は、ベンチマークの不正行為は今年のデバイスでのみ導入されたようだと述べています。 Huawei Mate9やHuaweiP10などの電話は影響を受けず、EMUI8.0以降のデバイスのみが影響を受けるようです。 AnandTechはまた、Huaweiから、これは「純粋にソフトウェアの実装」であると言われ、出版物の調査結果を裏付けました。
AnandTechは、影響を受けたKirin 970搭載電話のGPUパフォーマンスの真の数値を投稿しました。結論として、Huaweiは GPUのパフォーマンスと効率の両方で競合他社に大きく遅れをとっている 。
この出版物には、Kirin970およびKirin960を搭載したHuaweiデバイスの電力比較グラフも掲載されています。グラフは、Huaweiの電力調整調整が、より高い電力消費の問題を軽減するため、実際にはユーザーエクスペリエンスに優れていることを示しています。 AnandTechによるKirin960のテストでは、「ひどいGPU電力特性」があることが示されましたが、Kirin 970を搭載したデバイスには、消費電力と温度を下げるための新しい厳密なスロットルメカニズムがあります。
AnandTechはまた、Kirin960とKirin970の両方が、それぞれのフォームファクターの持続可能なレベルをはるかに超える電力消費を示しているという事実を考慮すると、新しいスロットルポリシーが理にかなっていると述べました。
Huaweiは、新しいスロットルメカニズムを導入することで必ずしも問題を起こしたわけではありませんが、ホワイトリストを介して人気のあるベンチマークアプリケーションを除外することで、不正行為のしきい値を確実に超えました。これは、この場合はベンチマーク不正行為と呼ばれます。
PCMarkと3DMarkの背後にある会社であるFuturemarkを買収したULは、Huawei P20、Huawei P20 Pro、Huawei Nova 3、およびHonorPlayを3DMarkから除外しました。
同社は、Huawei P20 Pro、Huawei Nova 3、およびHonorPlayでのベンチマークの不正行為を検証しました。 AnandTechのテストとレポートに基づいて、標準のHuaweiP20も除外されました。同社は不正なベンチマークスコアをホストすることを望まないため、ユーザーは影響を受ける電話のベンチマーク結果を表示できなくなります。
同社は、テストが同一であるにもかかわらず、パブリック3DMarkアプリのスコアがプライベートアプリ（一般には公開されていない）のスコアよりも最大47％高いことを発見しました。
発表の中で、ULは、Huaweiが将来より透明性の高いアプローチを採用することを約束するのを見てうれしいと付け加えました。 ULの見解では、ユーザーが設定できるオプションのパフォーマンスモードは、デフォルトで無効になっている限り、現在のルールで許可されています。同社は次のように述べています。「デバイスは、他のアプリケーションと同じようにベンチマークを実行する必要があります。」
結論として、公開されているベンチマークを使用して取得されたすべてのHuawei GPUパフォーマンスベンチマークは、実際のパフォーマンスを表すものと見なされるべきではありません。
Huaweiはベンチマークテストのベストプラクティスについて話し合うためにULに連絡し、次の声明を発表しました。
「HuaweiとUL（3DMarkの作成者）は今週、ベンチマークの実践について包括的な議論を行い、協力する次のステップについて前向きな合意に達しました。
議論の中で、Huaweiは、スマートフォンが人工知能のリソーススケジューリングメカニズムを使用していると説明しました。シナリオごとにリソースのニーズが異なるため、最新のHuaweiハンドセットは、人工知能などの革新的なテクノロジーを活用して、すべてのシナリオでユーザーの要求を満たしながら、ハードウェアがその機能を最大限に発揮できるようにリソース割り当てを最適化します。
ULはHuaweiのアプローチの意図を理解していますが、ベンチマークアプリケーションがデバイスによって検出されたときに、デフォルトで「パフォーマンスモード」の使用を強制することに反対しています。 ULルールでは、デバイスが他のアプリケーションであるかのようにベンチマークを実行する必要があります。
Huaweiは、デバイスをどうするかを選択する消費者の権利を尊重します。したがって、HuaweiはユーザーにEMUI 9.0の「パフォーマンスモード」へのオープンアクセスを提供し、ユーザーがデバイスの最大電力をいつ使用するかを選択できるようにします。
HuaweiとULは、現在の一般的なベンチマークテスト方法論についても一般的に議論しています。 ULとHuaweiは、製造業者、報道機関、および消費者のニーズに最適なベンチマーク基準を開発する業界運動に参加したいと考えています。
現在のベンチマーク結果に関する混乱を防ぐために、ULとHuaweiは話し合いの結果、さまざまなHuaweiデバイスのベンチマークスコアを一時的に除外し、HuaweiがHuaweiハンドセットのすべてのユーザーにパフォーマンスモードへのアクセスを許可した後、それらを復活させます。」
タグ Huawei
