O privire mai atentă asupra testelor Anti-Malware și a naturii uneori nesigure a procesului.

Imaginați-vă că unul dintre copiii dvs. este un elev de liceu și urmează să dea examene de admitere la diverse universități sau colegii. Știți că examenele se susțin la un moment dat pe parcursul anului, elevul are o idee despre ce poate include examenul și așteaptă cu nerăbdare mai multe detalii. Chiar dacă nu știe exact în ce constă examenul, elevul stă conștiincios acasă și studiază intens ca să fie pregătit.

În ultimul moment elevul dvs. aude, neoficial, că examenul este programat, dar nu sunt disponibile detalii. Stresat și frustrat, studentul dvs. este inclus în examen.

După examen aflați că anumiți elevi au primit detalii cu privire la conținutul examenului: li s-a permis, de asemenea, să ia anumite materiale împreună cu ei pentru a-și asista participarea. După examen, aceiași studenți au avut ocazia să-și vadă rezultatele și să negocieze notele în funcție de întrebările pe care le-au greșit pentru a-și îmbunătăți scorul final.

Bănuiesc că veți fi supărat, poate nervos și probabil veți obiecta cu privire la procesul nedrept prin care a trecut copilul. Ar fi corect dacă o universitate sau un colegiu ar folosi rezultatele examenului pentru a decide dacă să îi ofere copilului dvs. un loc în cadrul acestora?

Industria anti-malware și abilitatea acesteia de a detecta încercările atacatorilor cibernetici de a afecta sau de a face sistemele să pară inutile, pot părea adesea o artă întunecată pentru oamenii care caută să privească din exterior în interiorul industriei. Acesta este motivul pentru care testarea eficacității produselor este importantă, astfel încât să nu aveți nevoie să fiți un expert pentru a înțelege dacă un produs funcționează bine sau nu.

Cu toate acestea, testele sunt la fel de bune ca etica și competența examinatorului și, în timp ce majoritatea practică o etică bună, există unele persoane care nu fac același lucru. De exemplu, dacă un test are o metodologie discutabilă, dacă include participanți care au o relație specială cu examinatorul, daca examinatorii permit anumitor furnizori să-și optimizeze produsele, sau este pur și simplu executat prost, atunci rezultatele sunt puse la îndoială.

Industria de securitate se luptă cu această problemă de ceva timp: în 2008, formarea Organizației pentru Standardele de Testare Anti-Malware (AMTSO) a avut ca scop îmbinarea celor două părți (examinatori și vânzători) și crearea unui forum pentru comunicare. Scopul și charter-ul AMTSO, pe scurt, este de a oferi un astfel de forum, de a crea standarde și bune practici, de a oferi educație în domeniul testelor și de a crea instrumente și resurse pentru a sprijini testarea bazată pe standarde.

AMTSO este în curs de elaborare a standardelor: au publicat un proiect convenit, în decembrie, de către membrii, format din examinatori, vânzători și cadre universitare. S-ar părea rezonabil ca un membru al AMTSO să efectueze teste în conformitate cu standardele propuse. La urma urmei, ele fac parte din organizația care le-a creat și unii examinatori au efectuat cu succes teste bazate pe acest draft.

Orice încercare de testare, chiar și fără a respecta în mod formal standardele, ar trebui să fie efectuată în condiții echitabile și imparțiale. De exemplu, dacă anumiți furnizori au posibilitatea de a-și configura produsul pentru a optimiza rezultatul final sau dacă li se acordă un alt acces privilegiat în timpul testului, atunci tuturor furnizorilor ar trebui să li se acorde aceleași avantaje. În cazul în care lucrurile nu sunt echilibrate, atunci ar trebui să fie clar cine a beneficiat de avantaje și, mai important, cine nu a facut-o.

Există și alte practici discutabile: ce se întâmplă dacă un vânzător plătește pentru a fi testat chiar înainte de a participa la un test de grup? Ar trebui să se menționeze acest lucru în rezultatul testului care urmează? Imaginați-vă scenariul în care se publică o metodologie de testare și un furnizor plătește pentru a fi testat cu scopul de a vedea ce rezultat ar putea obține. Atunci când se efectuează testul real, este posibil ca detectarea optimizată să se potrivească cu testul, dar  nu mai reflectă rezultatul pe care un cumpărător al produsului ar putea aștepta să îl vadă în condiții normale de utilizare.

După efectuarea unui test, există de obicei o perioadă de timp în care furnizorilor li se dă posibilitatea de a valida rezultatele: adică decid dacă sunt de acord cu ceea ce au "pierdut" sau cu ceea ce au fost detectați în mod eronat (cunoscut ca fals pozitiv). Unii examinatori utilizează această etapă ulterioară pentru a genera bani din testarea lor - dacă doriți ca rezultatele să fie validate, atunci trebuie să plătiți - în timp ce alți examinatori permit numai anumitor furnizori să valideze rezultatele testelor. Segmentarea furnizorilor, astfel încât numai anumite persoane să aibă posibilitatea de a valida rezultatele, creează rezultate ale testelor care nu pot fi utilizate pentru a compara produsele corect sau cu exactitate.

Când un Chief Security Officer (CSO) preia un raport care să arate eficacitatea produselor anti-malware, este normal să se ducă direct la graficul care afișează procentul de malware detectat. În același timp, când membrii echipei de vânzări din partea vânzătorului folosesc rezultatele testului, ele includ numai graficul. Dacă examinatorul a ascuns, adânc în raport, unele inconsecvențe ale termenilor în care au participat diferiți vânzători, este puțin probabil să fie citiți sau luați în considerare când reies rezultatele finale.

Dacă raportul de testare va fi folosit pentru a lua o decizie crucială cu privire la ce tip de protecție trebuie selectat atunci este esențial să se țină seama de metodologia, relațiile comerciale și etica din spatele încercării. Dacă aceste informații nu pot fi obținute din informațiile din raport, contactarea examinatorului pentru clarificare devine o necesitate.

Este important ca un test să aibă loc în condiții de egalitate și toate echipele care iau parte să respecte aceleași condiții, oportunități și opțiuni de validare. Dacă nu sunt, atunci rezultatele sunt părtinitoare în favoarea vânzătorilor care au beneficiat de condiții privilegiate.