编者按:评测是一项严肃、严格的工作。但在很多时候,由于态度的不严肃,方式的不严格,使得最终的评测结果流于形式。作为科技门户网站,中关村在线在安全产品评测方面,虽然目前还无法达到“绝对权威”和“绝对一流”的高度,但我们已经开始借鉴国内外专业评测机构的严肃的态度,严格的方式,力求遵循专业机构的评测机制和流程,从评测方法到评测环境,从评测方式到数据收集,努力做到合理、公平,并将这一评测结果体现在2009年ZOL安全软件年度横评中,希望这样的评测能给互联网网民带来最具指导性的消费索引。
ZOL软件2009年11款安全软件年度横评
● 媒体评测与专业评测机构的差距
与专业评测机构相比,非专业机构(本文特指国内媒体)评测存在着诸多漏洞,这其中包括病毒收集、评测方式、数据收集整理等各个方面。具体如下:
1.病毒收集
病毒收集来自互联网,收集过后没有经过严格的测试分析,很多经由用户上报的文件并非病毒,甚至有的上报文件属于正常的软件文件或系统文件。
本次评测中,所有病毒文件全部经过PCSL(国内非盈利性安全产品评测机构)实验室验证,通过分析代码和特征码认定文件是否为病毒,确保病毒包内所有文件均为病毒。由此,在评测第一关中即可杜绝虚假数据的客观因素。
2.评测方式
此次评测采用国际权威的VB100认证方式,不做动态扫描测试,只做静态扫描。病毒文件首先以压缩包的方式存在,在杀毒软件安装完毕后,监控全开状态下,将压缩包文件解压到指定文件夹。
3.数据收集
在媒体评测中,除去病毒收集和评测方式,数据采集非常不合理。比如在CPU占用率方面,其它媒体评测只做单次测试随机单次取值。在此次评测中,我们将采用多次测试随机多次取值,每一次测试的每一组取值均为6次,然后再根据数据出现频率(以中间值为准)予以计算。
如:在CPU占用率最低测试中,对病毒包的扫描进行三次,每一次扫描的每个单项测试都是6次取值,在获得数据后,以出现频率最多的数字为准。这样的数据收集可以尽可能的接近杀毒软件实际情况,避免数据收集的不合理。
4.数据报告
在这一项评测中,拟采用与国际权威安全评测机构VB100、英国西海岸等不完全一样的统计方式。
权威结构的病毒测试结果,部分数据依赖于杀毒软件自身的扫描报告,但由于各安全产品对病毒文件的识别机制不同、病毒特征识别的差异、病毒统计方式的不同,造成原本只有100个病毒文件,最后出现200个查杀数据结果(这与病毒文件自身存在自解压文件也有关系,编注)。因此,本文采用相对比较简洁,但更为苛刻的方式:只查看病毒包残留文件数。
我们在遵循权威机构测试的前提下,加入更为合理的细节处理,使得这11款安全软件能够在一个合理、公平的平台上有一个相对客观的评测结果。
它更多评测细则和疑问,笔者将在本文的最后,以问答的形式体现。