防毒軟體評比之奧秘
http://malware-test.com/blog/2006/10/11/%e9%98%b2%e6%af%92%e8%b...4%e4%b9%8b%e5%a5%a7%e7%a7%98/ 在一些資安雜誌或網站上,經常可以看見防毒軟體的評比報告,但你有沒有發現評比結果都不太一樣,為什麼呢?讓我一一為各位說明。
所謂外行看熱鬧,內行看門道。一般人只看評比數字之高低,但忽略了其背後真正之涵義。評比最重要的是「測試項目」、「測試樣本」與「測試方法」,它們決定了最後的評比結果。例如,VB100(註解1)只關心有沒有通過WildList(註解2)測試樣本及正常檔案誤判率(False Positive Rate)。此外,必須公開「測試項目」、「測試樣本」與「測試方法」,讓別人可以根據其公佈的資訊加以檢驗其評比結果。一般測試機構幾乎不會公佈測試樣本,只會告訴各位他們使用如WildList的測試樣本,但大家還是無法驗證,最好可以附上每個測試樣本的MD5或SHA1值。
一般評比會在測試項目、測試樣本及測試方法上動手腳,以至於造成不同的評比結果,這就是為什麼你經常會在知名的雜誌或網站上看到不同的評比結果。另外一種評比是廠商為了宣傳自己的產品,委託知名的測試機構(如NSS, AV-Test, Virus Bulletin, ICSA等等)或雜誌(如PC Magazine, SC Magazine, CNET等等)測試競爭者與自己產品的好壞,但他們只會公佈評比數字,很少會公佈詳細資訊,所以,各位很難去檢驗其評比結果。藉此可以達到兩個目的,一方面藉由這些知名的雜誌或測試機構為其產品背書,以達到宣傳的目的,另一方面讓使用者信任他們產品的品質,以達成購買其產品的目的。
另外,你有沒有發現一個很特別的現象,幾乎所有的測試機構都只測試病毒偵測率(Virus Detection Rate),而沒有測試病毒清除率及其他項目,為什麼呢?這是因為只要擁有病毒樣本,就可以測試病毒偵測率,此種測試是最省時間及最為簡單,其他的,幾乎都要花費很長的時間及需要擁有相當的測試技術才可完成的。
最後要說明的是個人用戶與企業用戶版本的測試項目還是有一些區別。除了偵測率及清除率外,企業用戶很在乎「系統穩定度」、「系統效能」、「中央控管能力」、「對病毒的反應能力」等等。所以,如果要測試企業版本,可能需要測試這些項目,所花費的時間,可想而知。
註解:
1. VB100:Virus Bulletin組織會定期測試防毒軟體,如果通過他們的測試,他們會頒給廠商一個VB100的標誌,有興趣的人,請參考
http://www.vir....com。
2. WildList:這個組織定期會公佈最熱門的病毒名稱清單,幾乎所有的測試機構都會採用他們所提供的病毒名稱清單做為測試病毒的基準,有興趣的人,請參考
http://www.wil....org。