Historia testów rozwiązań antywirusowych nierozerwalnie wiąże się z historią aplikacji antywirusowych. Są one bowiem jednym z ważniejszych czynników decydujących o wyborze danego rozwiązania przez użytkownika końcowego. O ich sensie, a dokładniej o zasadności metod wykorzystywanych przez testujących, powstał artykuł pt. „Sygnatury do lamusa” autorstwa Marty Janus, analityka zagrożeń z firmy Kaspersky Lab Polska.
„Ogromna ilość i zróżnicowanie dostępnych na rynku rozwiązań wywołują naturalną potrzebę poznania i porównania możliwości każdego z nich - bez tego wybór odpowiedniej dla nas aplikacji byłby niezmiernie trudny.” – pisze autorka. Sama idea miałaby sens jednak jedynie w momencie, w którym wszystkie testy zawsze wykonywane by były zgodnie z skodyfikowanymi regułami i standardami, zmieniającymi się wraz z ciągłymi potrzebami użytkowników oraz co ważne, ze stale zmieniającymi się technologiami. Kryteria testów zmieniane się jednak jedynie w zależności od potrzeb producentów poszczególnych rozwiązań. Zdarza się do tego, że stosowane metody są niedoskonałe a nawet nieadekwatne do wymagań.
Jedną z najczęściej testowanych funkcji antywirusów jest tzw. „skanowanie na żądanie”. Jest to statyczne skanowanie plików na podstawie sygnatur zagrożeń. Taka metoda jest szybka i nie wymaga rozległej wiedzy ze strony testera. Pozwala stworzyć proste rankingi, na podstawie których nawet mniej doświadczony użytkownik może wyciągnąć jednoznaczne wnioski.
„Program, który wykrył 100% wirusów jest dobry, program, który wykrył zaledwie" 90% jest zły – koniec, kropka.” - dodaje Autorka.
Metoda ta miała sens kilkanaście lat temu, kiedy to zagrożenia były nieliczne i pojawiały się na tyle rzadko, że infekcja komputera była zjawiskiem znikomym. Współcześnie sytuacja zmieniła się drastycznie. Cybersprzestępcy są świetnie zorganizowanymi szajkami profesjonalistów, którzy zarabiają duże pieniądze na krzywdzie innych. Każdego dnia powstają dziesiątki tysięcy nowych zagrożeń, a niebezpieczeństwo czyha na użytkowników na każdym kroku. Obecnie dostępne rozwiązania na rynku nie muszą już tylko radzić sobie z wykrywaniem zagrożeń. Muszą leczyć skomplikowane infekcje, oraz zapewniać codzienną ochronę przed tym co jest jeszcze nieznane, ponieważ samo dopisywanie kolejnych rekordów baz sygnatur nie ma znaczenia przy codziennie powstających nowych zagrożeniach. Należy również dodać, że każdy taki test powinien być przeprowadzany na „reprezentatywnej” grupie wirusów, która powinna zawierać zagrożenia aktualne, z różnych regionów świata oraz o podobnym stopniu szkodliwości. Przygotowanie takiego materiału badawczego wielokrotnie byłoby jednak dość czasochłonne, dlatego też w zbiorach testerów można doszukać się wielu uchybień, które nie powinny mieć miejsca („w kolekcjach wirusów używanych przez testerów często można znaleźć duży odsetek plików uszkodzonych, tekstowych, bądź fałszywych alarmów – słowem: niegroźnych śmieci”). Dodatkowo zawsze należy pamiętać o możliwości pojawiania się błędu statystycznego, a także o fakcie, że skanowanie na bazie sygnatur jest jednym z wielu elementów kompleksowej ochrony i nie jest jednoznacznym obrazem bezpieczeństwa jakie daje poszczególna aplikacja antywirusowa. Aby uzyskać rzetelne wnioski należałoby dokonać spójnej analizy wszystkich elementów składowych, za czym idzie należałoby przetestować w każdej aplikacji z osobna np.: moduł heurystyczny, proaktywny, zaporę sieciową, filtr antyspamowy, kontrolę rodzicielską, ochronę tożsamości a nawet należałby przyjrzeć się funkcjom przywracania systemu i danych czy uruchamianiu plików w bezpiecznym środowisku. Dopiero po przeprowadzeniu odpowiednich analiz wszystkich integralnych składników rozwiązań antywirusowych można mówić o obiektywnych testach.