Ang mga resulta ng benchmark ng Huawei sa pribado kumpara sa mga pampublikong pagsubok na may manipuladong lakas ng SoC.
Ilang linggo na ang nakakaraan nag-cover kami Ang Huawei ay gumagamit ng isang propesyonal na DSLR camera sa isang komersyal tungkol sa kanilang mga kakayahan sa selfie, at tila hindi lamang nila mapigilan ang paghahanap ng mga paraan upang subukan at linlangin ang mga consumer - sa oras na ito, ang mga benchmark na ito ay kanilang minamanipula.
Ang mga benchmark ay isang tanyag at ( hanggang ngayon?) lehitimong paraan ng pagpapakita ng pagganap ng isang aparato - maging ang mga CPU, GPU, o benchmark ng pagganap ng system. Ang buong punto ng mga benchmark ay upang bigyan ang mga mamimili ng isang tumpak na resulta ng kung paano gumaganap ang mga aparato sa ilalim ng stress.
Sa kasamaang palad, tila nagsama ang Huawei ng isang 'mekanismo ng benchmark detection' sa ilan sa kanilang pinakabagong mga aparato. Mahalagang ginagawa ng mekanismong ito ay itulak ang SoC sa isang mas mataas na limitasyon ng kuryente at thermal headroom kapag nakita nito na sinusukat ito sa ilang mga app - sa gayon, na nagreresulta sa mas mataas na mga marka sa pagganap kaysa sa karaniwang ginagamit ng mga gumagamit sa pang-araw-araw na paggamit. Ito ay hindi lamang hindi matapat, nito mapanganib para sa habang-buhay ng SoC, at maaaring mabilis na mag-overheat ng isang aparato at mabawasan ang buhay ng baterya.
Ang pagtatanggol ng Huawei sa kasanayang ito ay maaaring pinakamahusay na ibuod bilang, ' ginagawa din ito ng iba! ' - at nakalulungkot, talagang tama sila. Ang benchmark na pandaraya ay hindi naman bago - laganap ito sa eksena ng PC isang dekada na ang nakakalipas, at sandali rin ito sa mobile na eksena.
Ang iba't ibang mga aparato ay tinanggal mula sa 3DMark para sa pagmamanipula ng benchmark.
Ang variant ng Exynos ng Samsung Galaxy S4 ay nahuli na gumagawa ng mga katulad na kasanayan sa pandaraya sa benchmark, at ang mga editor para sa mobile review site AnandTech natuklasan ang isang malaking bilang ng iba pang mga vendor ng smartphone na nagmamanipula rin ng data ng benchmark. Humantong ito sa isang bilang ng mga aparato, tulad ng Galaxy S4, Galaxy Note 3, HTC One, at maraming iba pa tinanggal mula sa 3DMark database.
Kahit na ang karamihan sa mga tagagawa ay tumigil sa pag-uugali pagkatapos na tawagan, ilang nagpatuloy - halimbawa, ang OnePlus ay nagpatuloy sa pagdaraya sa mga sikat na benchmark tulad ng GeekBench, kahit na tila pinahinto ang kasanayan mula pa noong OnePlus 5T - na talagang isang mahusay na aparato at napaka-tanyag sa ang modding at development na komunidad, kaya marahil ay naramdaman ng OnePlus na hindi nila ginawa kailangan upang manipulahin ang data ng benchmark.
Nakalulungkot, tila kumukuha ang Huawei kung saan tumigil ang iba pang mga vendor ng aparato, dahil may mga napatunayan na ulat ng pagmamanipula ng mga benchmark ng Huawei sa mga aparato kabilang ang Huawei P20, Huawei P20 Pro, at ang Honor Play. Talaga, ang pagganap ng Huawei P20 ay bumagsak kumpara sa Huawei Mate 10 Pro - at sa panahong iyon, sinabi ng Huawei na ito ay isang ' isyu ng firmware '- isang tahasang naka-bold na kasinungalingan, dahil ito ay tunay na dahil sa nabanggit na mekanismo ng benchmark detection, na nagpapalitaw ng isang labis na superior na limitasyon ng kuryente para sa SoC.
Hindi lamang ito masama para sa mismong SoC, dahil ang pangkalahatang kahusayan ng SoC ay bumababa kapag tapos na ito, dahil ang SoC ay pinipilit maayos sa labas ng normal na window ng operating nito ( isipin ang overclocking ng iyong CPU kasing taas nito na maaaring pumunta nang walang anumang thermal grease) . Gayunpaman, masama rin ito para sa merkado mismo
Para sa isa, ginagawang masama ang SoC, na parang ito mga pangangailangan upang manipulahin ang data ng benchmark upang maging sulit sa pagbebenta. Pangalawa, nagdudulot ito ng pag-aalinlangan sa merkado ng smartphone ng Intsik - na napuno na ng mga panggagaya, clone, at mga lilim na kasanayan. Bukod dito, ang pag-uugali sa benchmark ng Huawei ay marahil ang pinaka-malasakit na nakikita pa, dahil mayroong tunay na malaki at mabigat pagkakaiba sa mga resulta ng pagganap sa mekanismo ng benchmark detection kumpara sa kung ito ay naka-off. Napakarami, iyon AnandTech sinabi na ang mga pagkakaiba sa mga magagamit na resulta ng benchmark na publiko, at ang kanilang sariling panloob na mga pagsubok, ay ' ganap na nakakagulat ”.
Tumugon ang Huawei sa nalaman, at tulad ng sinabi namin kanina, ang kanilang tugon ay karaniwang ' ginagawa din ng iba '. Ang literal nilang sinabi ( quote mula kay Dr. Wang Chenglu, Pangulo ng Software sa Huawei's Consumer Business Group) ay ' ang iba ay gumagawa ng parehong bagay, nakakakuha ng mataas na marka, at ang Huawei ay hindi maaaring manahimik. Nais ng Huawei na magsama sa iba pa sa Tsina upang makahanap ng pinakamahusay na benchmark ng pag-verify para sa karanasan ng gumagamit. '
Itinuro din ni Dr. Wang ang iba pang mga tagagawa na may nakaliligaw na mga benchmark na numero, at binanggit ang isang hindi pinangalanan na tanyag na tagagawa ng smartphone sa Tsina bilang pinakamalaking salarin. Ayon kay Dr. Wang, ang benchmark cheating ay naging 'pangkaraniwang kasanayan sa Tsina,' at habang nais ng Huawei na 'magbukas' sa mga mamimili, mayroon silang problema kapag ang mga kakumpitensya ay 'patuloy na nag-post ng mga hindi makatotohanang marka.' Sinusubukan ng Huawei na harapin laban sa pangunahing kumpetisyon ng Intsik, isang gawain na tila nahihirapan kapag ang ibang mga gumagawa ng aparato ay gumawa ng mga hindi makatotohanang numero ng iskor.
Upang buod, Huawei
- Inaamin na nagmamanipula sila ng mga numero ng benchmark
- Inaamin ng iba pa sa merkado ng telepono ng Tsino na ginagawa ito
- Walang planong huminto dahil sa # 2.
Paano naman kahit sino pagtitiwala ang merkado ng telepono ng Tsino pagkatapos ng ganitong uri ng mga bagay-bagay? Sa anumang kaso, gumawa ng pahayag ang Huawei na ang kumpanya ay ' matiyak na ang data ng benchmark sa hinaharap ay malayang na-verify ng mga third party '.
Nagpadala ang Huawei ng isang buong tugon sa XDA:
'Palaging inuuna ng Huawei ang karanasan ng gumagamit kaysa sa paghabol sa mataas na mga marka ng benchmark - lalo na't walang direktang koneksyon sa pagitan ng mga benchmark ng smartphone at mga karanasan ng gumagamit. Gumagamit ang mga smartphone ng Huawei ng mga advanced na teknolohiya tulad ng AI upang ma-optimize ang pagganap ng hardware, kabilang ang CPU, GPU at NPU.
Kapag ang isang tao ay naglunsad ng isang photography app o nagpe-play ng isang graphic-intensive game, ang intelihente ng software ng Huawei ay lumilikha ng isang maayos at matatag na karanasan ng gumagamit sa pamamagitan ng paglalapat ng buong kakayahan ng hardware, habang sabay na pinamamahalaan ang temperatura at kahusayan ng kuryente ng aparato. Para sa mga application na hindi kasing lakas ng pag-browse tulad ng pag-browse sa web, maglalaan lamang ito ng mga mapagkukunang kinakailangan upang maihatid ang kinakailangang pagganap.
Sa normal na mga sitwasyon sa benchmarking, sa sandaling makilala ng software ng Huawei ang isang benchmarking application, matalinong umaangkop ito sa 'Mode ng Pagganap' at naghahatid ng pinakamainam na pagganap. Plano ng Huawei na bigyan ang mga gumagamit ng access sa 'Performance Mode' upang magamit nila ang maximum na lakas ng kanilang aparato kapag kinakailangan nila.
Ang Huawei - bilang pinuno ng industriya - ay handang makipagtulungan sa mga kasosyo upang makahanap ng pinakamahusay na mga pamantayan sa benchmarking na maaaring tumpak na suriin ang karanasan ng gumagamit. '
Sa anumang kaso, totoo pinatakbo ng mga benchmark AnandTech Sinubukan ang Huawei P20, P20 Pro, at Honor Play - at lahat ng mga aparato ay gumanap nang pareho, sapagkat lahat sila ay nagbabahagi ng parehong HiSilicon Kirin 970 SoC - ngunit ang totoong pagganap ng bawat aparato ay nalilimitahan ng mga thermal limit, dahil ang bawat aparato ay mayroong iba't ibang mga chassis at disenyo ng paglamig. Ang Huawei P20 Pro ay may pinakamahusay na mga termal, kaya't mas mahusay itong gumaganap sa isang tunay na estado ng pagganap.
Ang editor ng AnandTech , Andrei Frumusanu, ay may mga sumusunod na sinabi:
'Sa nakaraan nakita namin ang mga vendor na talagang tinaasan ang mga frequency ng SoC, o ikinakulong ang mga ito sa kanilang pinakamataas na estado, pinapataas ang pagganap na lampas sa karaniwang magagamit sa mga pangkalahatang aplikasyon. Ang ginagawa sa halip ng Huawei ay nagpapalakas ng mga marka ng benchmark sa pamamagitan ng pagpunta dito mula sa iba pang direksyon - ang mga application ng benchmarking ay ang mga use-case lamang kung saan talagang gumaganap ang SoC sa mga na-advertise nitong bilis. Samantala ang bawat iba pang aplikasyon sa totoong mundo ay na-throttle sa isang makabuluhang degree sa ibaba ng estado na iyon dahil sa mga thermal limit ng hardware. Ang natapos nating makita sa hindi pa nakakabagong pagganap ay marahil ang 'totoong' anyo ng isang hindi napigilan na SoC, kahit na ito ay ganap na pang-akademiko kung ihahambing sa kung ano talaga ang nararanasan ng mga gumagamit. '
Ipinapakita ng kanilang mga graph na ang mga pinakabagong telepono ng Huawei ay umabot na sa 3.5-4.4W sa kanilang totoong estado ng pagganap, habang ang 3.5W TDP ay ang maximum na halaga na maaaring mapanatili. Sa kabilang banda, ang telepono ay napupunta sa sobrang paggamit ng TDP kapag gumaganap ng magagamit na mga benchmark na magagamit sa publiko, na may mga numero ng kuryente na papunta sa itaas ng 6W at tumaas sa 8.5W. Tulad ng nabanggit ng AnandTech, ang mga figure na ito ay mabilis na nagpapalitaw ng isang overheating notification sa aparato, na nagpapahiwatig ng hindi pagtutugma ng mga thermal limit sa mga inaasahan ng software.
Ang maaaring makuha mula sa sitwasyong ito ay ang tunay na mga numero ng pagganap ay hindi matatag dahil nakasalalay ito sa temperatura ng telepono. Hindi hinaharangan ng Huawei ang GPU mula sa maabot ang rurok na estado ng dalas ng GPU. Ang default na pag-uugali ay talagang isang 'malupit na mekanismo ng throttling ng thermal [...] na susubukan na mapanatili ang mas mababang antas ng temperatura ng SoC at pangkalahatang pagkonsumo ng kuryente.'
Ang normal na mode ng mga telepono ay maaaring umabot sa parehong mga rurok na mga numero ng pagkonsumo ng kuryente sa panahon ng mga benchmark ng GPU tulad ng mga nai-post ng mga hindi naka-init na variant. Gayunpaman, ang mga numerong ito ay mabilis na bumabalik nang malaki, at sinabi ng AnandTech na ang telepono ay pumupunta sa 2.2W sa ilang mga kaso, na may epekto ng makabuluhang pagbawas ng pagganap.
Nakasaad sa publication na ang benchmark na pag-uugali sa pandaraya ay tila ipinakilala lamang sa mga aparato ngayong taon. Ang mga teleponong tulad ng Huawei Mate 9 at ang Huawei P10 ay hindi apektado, at tila EMUI 8.0 lamang at mas bagong mga aparato ang apektado. Sinabi rin sa AnandTech ng Huawei na ito ay 'pulos isang pagpapatupad ng software,' na nagpatunay sa mga natuklasan ng publication.
Ang AnandTech ay nag-post ng mga tunay na numero ng pagganap ng GPU para sa mga apektadong telepono na pinapatakbo ng Kirin 970, at ang konklusyon ay ang Huawei ay makabuluhang sa likod ng mga katunggali nito sa parehong pagganap at kahusayan ng GPU .
Nag-post din ang publication ng mga graph ng paghahambing ng kuryente para sa mga Kirin 970 at Kirin 960 na aparatong Huawei na pinapatakbo. Ipinapakita ng mga graph na ang mga pagsasaayos ng power throttling ng Huawei ay sa katunayan mas mahusay para sa karanasan ng gumagamit habang pinapagaan nila ang problema ng mas mataas na pagkonsumo ng kuryente. Ang pagsubok ng AnandTech ng Kirin 960 ay nagpakita na mayroon itong 'kakila-kilabot na mga katangian ng kuryente ng GPU,' habang ang mga aparato na pinapatakbo ng Kirin 970 ay may isang bagong mahigpit na mekanismo ng throttling upang maibagsak ang pagkonsumo ng kuryente at temperatura.
Nabanggit din ng AnandTech na ang bagong patakaran sa pag-throttling ay may katuturan kapag isinasaalang-alang ang katotohanan na kapwa ang Kirin 960 at ang Kirin 970 ay nagpapakita ng pagguhit ng kapangyarihan na higit sa kanilang mga napapanatiling antas para sa kani-kanilang mga kadahilanan sa form.
Kahit na ang Huawei ay hindi kinakailangang gumawa ng anumang mali sa pamamagitan ng pagpapakilala ng isang bagong mekanismo ng throttling, tiyak na tumawid sila sa threshold ng pandaraya sa pamamagitan ng pagbubukod ng mga tanyag na application ng benchmark sa pamamagitan ng isang whitelist, na kung saan ay tinukoy bilang benchmark cheating sa kasong ito.
Ang UL kung saan nakuha ang Futuremark, ang kumpanya sa likod ng PCMark at 3DMark, ay tinanggal ang Huawei P20, Huawei P20 Pro, Huawei Nova 3, at ang Honor Play mula sa 3DMark.
Na-verify ng kumpanya ang benchmark cheating sa Huawei P20 Pro, Huawei Nova 3, at ang Honor Play. Batay sa pagsubok at pag-uulat ng AnandTech, tinanggal din nito ang karaniwang Huawei P20. Hindi na matitingnan ng mga gumagamit ang mga resulta ng benchmark ng mga apektadong telepono dahil hindi nais ng kumpanya na mag-host ng mga daya sa benchmark na marka.
Nalaman ng kumpanya na ang mga marka mula sa pampublikong app ng 3DMark ay hanggang sa 47% na mas mataas kaysa sa mga marka mula sa pribadong app (na hindi magagamit sa publiko), sa kabila ng katotohanang magkapareho ang mga pagsubok.
Sa anunsyo, idinagdag ni UL na masaya na makita ang Huawei na nangangako na gumamit ng isang mas malinaw na diskarte sa hinaharap. Ang pagtingin ni UL ay ang mga opsyonal na mode ng pagganap na maaaring itakda ng gumagamit ay pinapayagan sa ilalim ng mga kasalukuyang panuntunan nito hangga't hindi pinagana ang mga ito bilang default. Ang kumpanya ay nagsabi: 'Ang isang aparato ay dapat patakbuhin ang benchmark na para bang ito ay anumang iba pang application.'
Bilang konklusyon, ang lahat ng mga benchmark ng pagganap ng Huawei GPU na kinunan gamit ang mga magagamit na benchmark na magagamit sa publiko ay hindi dapat kunin bilang isang representasyon ng aktwal na pagganap.
Inabot ng Huawei ang UL upang talakayin ang mga pinakamahusay na kasanayan para sa benchmark na pagsubok, at naglabas ng isang pahayag:
'Ang Huawei at UL (tagalikha ng 3DMark) ay nagsagawa ng komprehensibong talakayan sa mga kasanayan sa benchmarking ngayong linggo, at naabot ang isang positibong kasunduan sa mga susunod na hakbang sa pagtutulungan.
Sa talakayan, ipinaliwanag ng Huawei na ang mga smartphone nito ay gumagamit ng isang artipisyal na mekanikal na pag-iiskedyul ng mapagkukunan ng mapagkukunan. Dahil ang magkakaibang mga sitwasyon ay may iba't ibang mga pangangailangan sa mapagkukunan, ang pinakabagong mga handset ng Huawei ay gumagamit ng mga makabagong teknolohiya tulad ng artipisyal na intelihensiya upang ma-optimize ang paglalaan ng mapagkukunan sa isang paraan upang maipamalas ng hardware ang mga kakayahan nito sa buong sukat, habang tinutupad ang mga kahilingan ng gumagamit sa lahat ng mga sitwasyon.
Naiintindihan ng UL ang hangarin ng diskarte ng Huawei, ngunit taliwas sa pagpuwersa sa paggamit ng isang 'Mode ng Pagganap' bilang default kapag ang isang application ng benchmarking ay nakita ng aparato. Ang mga panuntunang UL ay nangangailangan ng isang aparato upang patakbuhin ang benchmark na para bang ito ay anumang iba pang application.
Iginagalang ng Huawei ang karapatan ng mga mamimili na pumili kung ano ang gagawin sa kanilang mga aparato. Samakatuwid, bibigyan ng Huawei ang mga gumagamit ng bukas na pag-access sa 'Mode ng Pagganap' sa EMUI 9.0, upang mapili ng gumagamit kung kailan gagamitin ang maximum na lakas ng kanilang aparato.
Tinalakay din ng Huawei at UL ang kasalukuyang mga karaniwang pamamaraan ng pagsubok ng benchmark sa pangkalahatan. Gusto ng UL at Huawei na lumahok sa isang kilusang industriya upang bumuo ng mga pamantayan sa benchmarking na pinakamahusay na makapaghahatid sa mga pangangailangan ng mga tagagawa, pindutin, at mga mamimili.
Upang maiwasan ang pagkalito sa paligid ng kasalukuyang mga resulta ng benchmarking, pagkatapos ng talakayan, pansamantalang tinanggal ng UL at Huawei ang mga marka ng benchmark ng isang saklaw ng mga aparatong Huawei, at ibabalik ang mga ito pagkatapos bigyan ng Huawei ng lahat ng mga gumagamit ng mga handset ng Huawei ang pag-access sa Mode ng Pagganap. '
Mga tag Huawei
