四大中文搜索引擎检索性能测评_岳珍.pdf

四大中文搜索引擎检索性能测评岳?珍(南京大学 信息管理系,江苏 南京 210093)摘?要:本文从定性和定量两方面对四大中文搜索引擎:百度、搜狐、新浪、天网的检索性能进行了测评,其中对定量指标进行了重点考察和分析,提出了测评检索主题选择的若干原则。最后总结了中文搜索引擎目前存在的问题和改进的方向。关键词:中文搜索引擎;性能测评;评价方法中图分类号:TP393?4;G354?文献标识码:A?文章编号:1007?7634(2005)06?0921?07Evaluation of Four Famous Chinese Search EnginesYUE Zhen(Department of In f ormation Management,Nanjing University,Nanjing 210093,China)Abstract:This article selects 4 most famous Chinese search engines(baidu,sohu,sina,tianwang)andmeasures the performance of searching on them from both aspects of quantitative and qualitative,in whichqualitative index is significantly analyzed.The author also provides several principles of selecting searchingsubjects for measuring and finally pointed out some existing problems of Chinse search engine.Key words:Chinese search engine;performance measuring;evaluation methodology收稿日期:2004-09-22作者简介:岳?珍(1984-),女,山东济宁人,南京大学信息管理系本科生,北京大学信息管理系 2005 级情报学专业研究生.?随着 Internet 上信息量的激增,搜索引擎已成为用户查找网上信息必不可少检索工具,网上中文信息的增长也促使了一大批优秀中文搜索引擎的涌现,众多的搜索引擎使得网络用户面临一个选择的问题,因此对搜索引擎检索性能的比较研究和评价也逐渐受到重视。但由于网络信息?海量?的特点使得大多数传统的重要信息检索指标难以量化,因此国内很多学者对中文搜索引擎进行评价时往往避开定量指标,仅从定性方面进行评述。最近国内有学者提出了?相对查全率?和?相对查准率?的概念和计算方法,笔者尝试运用这些定量指标、综合一些学者提出的指标体系,对中文搜索引擎的检索性能测评进行了探索。一方面检验本文所采用的指标体系的科学、合理、有效性,为今后的搜索引擎性能评价研究提供参考,另一方面为中文搜索引擎检索技术的优化、改进提供理论和事实依据。1?搜索引擎的选定及其特点以知名度为主要标准,笔者在进行了相关资料的查阅和网上调查后,选择了以下四个在网民中知名度较高,且各具特色的搜索引擎:百度、搜狐、新浪和天网。这几个搜索引擎基本上代表了当前中文搜索引擎技术的发展方向和发展特点,其专有技术特点如表 1 所示。2?指标体系国内学者在综合国内外对搜索引擎评价研究成果的基础上,提出了以下指标:?索引数据库构第23卷第6期2005 年 6月情?报?科?学Vol.23,No.6June,2005成,包括标引的文件种类,标引深度,更新频率;?检索功能,包括基本检索、高级检索、目录式浏览检索和其它功能检索;?检索效果,包括相对查全率,相对查准率,响应时间(由于受网络链接时间和速率的制约,响应时间很难准确测定,且对用户来说秒级和毫秒级的响应时间差别影响并不是很大,所以测试搜索引擎检索性能通常忽略该指标)。?检索结果,包括相关性排序、显示内容、输出数量选择、显示格式选择;?用户负担,(帮助文件、数据库和检索功能说明、查询举例、构造检索式的表 1?搜索引擎专有技术特点搜索引擎特?点百?度全球最大中文搜索引擎,独有?超链分析?技术。以网页快照、网页预览、相关搜索词、错别字纠正提示、新闻搜索、Flash 搜索、信息快递搜索为特色。目前它成为中国 80%以上的门户性网站如新浪、搜狐、腾讯、上海热线、广州视窗、新华网等的搜索引擎。搜?狐搜狐的目录导航式搜索引擎完全是由人工加工而成,相比机器人加工的搜索引擎来讲具有很高的精确性、系统性和科学性。分类专家层层细分类目,组织成庞大的树状类目体系。利用目录导航系统可以很方便的查找到一类相关信息。采用百度搜索引擎技术,包括链接分析技术和中文语言处理技术;是中国知名度最高的网络门户。新?浪新浪搜索在关键词的查询反馈结果中,在同一页面上包含网站、网页、新闻、商品等各类信息的综合搜索结果,最大限度地满足用户的检索需要,使用户得到最全面的信息,这项服务在国内尚属唯一1。天?网天网利用中国教育网的优势,有强大的FTP 文件检索功能,是基于中文分词和标注技术的检索工具。帮助措施)。本着科学、合理、有效的原则综合分析以上各种测评指标体系,从最能反映搜索引擎?检索性能?的角度出发,本测试选定检索功能、检索效果、检索结果显示和用户负担这四大类指标展开测试和评析。具体测试指标:?检索功能:基本检索功能、高级检索功能;?检索效果:相对查全率、相对查准率、重复率、死链接率;?检索结果显示:显示定制、相关性排序规则;?用户负担:用户界面、在线帮助、检索式辅助构造。3?检索效果测评方法?3?1?相对查全率计量方法 2在一个较短时间内,设 Ai(i=1,2,?,m)为第 i 个搜索引擎,Xj(j=1,2,?,n)为取自不同检索课题的不同检索词。得矩阵P=a11a12?a1na21a22?a2n?am 1am2?amn,aij为第 j 个检索词在Ai搜索引擎上查询时返回的记录数。令 a*j=Max a1j,a2j,?,amjj=1,2,?,nb*j=Mixa1j,a2j,?,amjj=1,2,?,nai=?nj(a*j-aij)(i=1,2,?,m)bi=?nj(aij-b*j)(i=1,2,?,m)则搜索引擎 Ai的相对查全率为:R(Ai)=biai+bi(i=1,2,?,m)可看出,0?R(Ai)?1,当 Ai的每个检索词返回结果数都是最大,R(Ai)=1,每个检索词返回结果数都是最小时,R(Ai)=0。?3?2?相对查准率计量方法 3(1)相关性范畴等级和权数,如表 2 所示。表 2?相关性范畴等级定义和权值相关性范畴定?义种?类权?值范畴 1重复或无用的信息重复链接0死链0不相关链接0有一定的字面联系,但内容信息无用的链接0范畴 2检索出的信息对检索者有潜在用处给出了相关但并不详尽的信息0?5检索结果中包含了范畴 3信息的链接0?5范畴 3检索出的信息对检索者有明显的用处详尽、丰富的相关链接1相近的探讨和论述1?相关性系数?g(j)=0?j?范畴 10?5?j?范畴 21?范畴 3(相关922情?报?科?学?23卷程度划分为三个等级,边界清晰且易于判别)(2)每个检索词 Xi的查准率 P(Xi)的计算方法。对每个检索词取前 30 个结果(调查显示一般的搜索引擎都以 10 为单位输出检索结果,人们对前三屏兴趣较大,N 取为 30 是理想的),分为四组,记为 Ji=1,2,3,J2=4,5,?,10,J3=11,12,?,20,J4=21,22,?,30对每条记录 j(j=1,2,?,N 当返回记录数?30时,N 取为 30,否则 N 为实际返回记录数)。令每组权值 f(j)=0?45?j?J10?25?j?J20?2?j?J30?1?j?J4H(Xi)=?Nj=1f(j)g(j)(0 N?30)M(Xi)=0?45N?0 N?30?25N+0?6?3 N?100?2N+1?1?10 N?200?1N+3?1?20 N?30P(Xi)=H(Xi)M(Xi)?当 N=0 时,P(Xi)=0(3)计算出 P(A)=1n?ni=1P(Xi),P(A)的值就是搜索引擎 A 的相对查准率。?3?3?检索主题的选择从相对查全率和相对查准率的计算过程可以看出检索词为 X1,X2,?Xn的选取直接影响到计算结果,为了最大限度的保证测评的客观性。笔者在选择检索主题时查阅了大量文献和网上资料,在以下原则的基础上选择了六个检索主题。?现实性,即有实际检索价值;?既包含专指度高的主题,亦包含专指度低的主题;?考虑网络信息的分类,涉及尽可能多的类别;?考虑不同层次的网络用户的不同检索需求;?易于判定检索结果的相关性范畴。从以上原则出发,参考其它学者在对搜索引擎测评时检索主题的选择以及搜索引擎和网站的分类目录,通过筛选大量网上和实际生活学习中的检索实例,确定了以下六个检索主题和相应的检索词。X1:希腊古典哲学?社会科学类,专业性较强,专指度高,来自图书馆实际参考咨询工作。检索词:希腊古典哲学X2:转基因食品是否安全?自然科学、卫生健康、生活类,受广大网民普遍关注的问题。检索词:转基因食品、安全性X3:雅典奥运会的相关情况?体育娱乐休闲类,专指度一般,网上热门检索主题。X4:澳柯玛集团的公司和产品信息?国内著名公司的相关资料,公司企业、工商经济类,专指度较低,来自实际竞争情报检索课题案例。检索词:澳柯玛X5:俄罗斯外交的新动向?政治军事类,带有新闻性质,专指度一般。来自笔者在实际生活学习中遇到的检索课题。检索词:俄罗斯、外交X6:电脑病毒震荡波的预防和查杀?电脑网络类,震荡波是五月新出现的电脑病毒,有很强的时新性,可检测搜索引擎的更新频率。该检索主题对网络用户有很强的实用价值,来自网上热门检索主题。4?测试结果与分析 4?4?1?检索功能表 3?各搜索引擎检索功能一览表(Y:有此项功能,N:无此项功能)评价标准百计搜狐新浪天网基布尔检索YYYY本邻近检索NNNN检截词检索NYNN索字段检索YYYY技加权检索NNNN术概念检索NNNN自然语言检索?NNNN相关反馈检索?YNNY目录式检索?NYYY多内码处理?YYNY多语种检索?Y 中英Y 中英Y 中英Y 中英多媒体检索?YNYN?从表3 可以看出四个中文搜索引擎检索功能都比较单薄,都具备的检索功能只有布尔检索和字段检索两个简单的基本检索技术,虽然都具备英文检索功能,但通过实际检索可以发现除大网络外,其它搜索引擎收录的英文网页都十分有限。邻近检索、字段检索、截词检索、加权检索、概念检索功能基本上都是空白,还有待填补。值得一提的是百度的相关反馈检索对检索者有一定的帮助,据有关资料统计可使检索效率提高9236 期?四大中文搜索引擎检索性能测评10%20%,此外搜狐目录的检索功能还是比较强大的,可以有效地提高查准率。新浪由于不具备多内码处理功能,在中文简繁体的转换上存在问题,有时会出现乱码现象。自然语言检索功能缺乏中文搜索引擎普遍具有的缺陷,在很大程度上增加了用户的负担,笔者认为是有待解决的重要问题。?4?2?检索效果(1)相对查全率。从表 4 可以看出百度不愧号称全球最大中文搜索引擎,在查全率上占有绝对的优势,充分说明百度索引标引数量远远多于其它三个搜索引擎。在检索第六个主题震荡波的时候出现了特殊情况,百度返回了大量相关度高的结果,新浪返回了较少的结果,但相关度也比较高。搜狐和天网却一个相关的结果都没有返回。从该检索主题时新颖性可以判断出搜狐和天网的更新频率都比较低,至少在半个月以上。(2)相对查准率。由于在检索结果的相关性系数判断上不可避免的带有检索者的主观性,且不同检索主题的选择对查准率的影响很大,所以这里强调一个相对的概念。只要在判断时保持四个搜索引擎的一致性还是可以消除一定程度上的主观性的影响。所以笔者在对每一个检索课题检索时都选用了相同的检索词和相同的检索途径?关键词检索。在判断相关性系数时为了最大限度的保持一致性,每一个结果都进行两次以上的反复判别,避免由于先检索和后检索时笔者对课题的熟悉程度不同使得相关度的把握标准发生变化带来的影响,如表 5-表 4?各主题词的检索结果数及搜索引擎的相对查全率X1X2X3X4X5X6相对查全率百?度2538870228000780003050004340098?32%搜?狐601117663231775641737102?89%新?浪1060139009170012400354002419?22%天?网2082106194921325742460667?27%8 所示。从表 9 的检索结果来看,百度和新浪的查准率比搜狐和天网较高。但仔细分析可发现第六个检索课题检准率为 0 很大程度上影响了搜狐和天网的平均查准率。除去第六个检索课题,四个搜索引擎的查准率相差不是很大。仔细分析每个检索主题各搜索引擎返回的结果可以发现四个搜索引擎各有所长。值得一提的是利用百度查找澳柯玛集团相关资表 5?百度各检索主题检索结果的相关性系数5X1记录数123456789101112131415g(i)00.500.5000.50000.50000记录数161718192021222324252627282930g(i)00.500000.500.5000000.5X2记录数123456789101112131415g(i)0.5110.500.50.5110.50.51010.5记录数161718192021222324252627282930g(i)10.500.5110.510.51110.50.50.5X3记录数123456789101112131415g(i)100.50.50.50000.50110.501记录数161718192021222324252627282930g(i)0.50.50.50.500.500.50.500.50.50.50.51X4记录数123456789101112131415g(i)100111111001111记录数161718192021222324252627282930g(i)111001010.5010.510.50X5记录数123456789101112131415g(i)0.500.50.500001000000记录数161718192021222324252627282930g(i)10010.50.500.50.50.50.51000X6记录数123456789101112131415g(i)11110.50.50.50.51110.50.510.5记录数161718192021222324252627282930g(i)0.500.50.50.50.501000.500.50.51924情?报?科?学?23卷表 6?搜狐各检索主题检索结果的相关性系数 6X1记录数123456789101112131415g(i)0.50.500000.50.50001000记录数161718192021222324252627282930g(i)0.50.50.500000.50000110X2记录数123456789101112131415g(i)10010.50.50110.510.5000.5记录数161718192021222324252627282930g(i)100.5010.50.5010.50.5000.51X3记录数123456789101112131415g(i)1100.50.50.5110.5110.510.50记录数161718192021222324252627282930g(i)0.510.50.50.50.5000000000X4记录数123456789101112131415g(i)1000.500.5000010110.5记录数161718192021222324252627282930g(i)0.50.500.5000.5000.50.50.5000.5X5记录数123456789101112131415g(i)011110.500.50.50000.50.50.5记录数161718192021222324252627282930g(i)0.5000.50.500.50.50000100.5X6记录数123456789101112131415g(i)000000000000000记录数161718192021222324252627282930g(i)-表 7?新浪各检索主题检索结果的相关性系数 7X1记录数123456789101112131415g(i)00.500000.50.500010.500记录数161718192021222324252627282930g(i)000000.500.5000.500.50.50X2记录数123456789101112131415g(i)0.50.5111110.50.50.5010.50.51记录数161718192021222324252627282930g(i)10.50.50.500.50.510000.5100X3记录数123456789101112131415g(i)10.51110.50.50010.50.50.50.51记录数161718192021222324252627282930g(i)00.5010.50.510.500010.510X4记录数123456789101112131415g(i)10101000.500010.50.51记录数161718192021222324252627282930g(i)110.511000.510.5100.500X5记录数123456789101112131415g(i)00.500.50.51110.510.51010记录数161718192021222324252627282930g(i)010001100000.5010.5X6记录数123456789101112131415g(i)11110.50.510.510.50.50.50.50.50.5记录数161718192021222324252627282930g(i)0.50110.500.510-9256 期?四大中文搜索引擎检索性能测评料时,返回的结果准确率比较高而且很全面,几乎澳柯玛集团所有的公司的主页都被囊括在前三十个结果中,且有大量产品详细信息。新浪在查找新闻信息时返回的结果质量非常高,如俄罗斯外交这个检索课题,新浪返回的结果中包含大量有价值的新闻评论。笔者在进行了一些类似检索主题查找后,初步得出了以下两条结论:查找公司企业信息百度搜索引擎是最佳选择。新闻类信息的查找首选新浪搜索引擎。古希腊哲学这类专指性较高,学术性较强的检表 8?天网各检索主题检索结果的相关性系数 8X1记录数123456789101112131415g(i)00000.50000.50000.510记录数161718192021222324252627282930g(i)0000.5010.500000.50.500X2记录数123456789101112131415g(i)10.5001110.501100.511记录数161718192021222324252627282930g(i)10.500.51010.501100.511X3记录数123456789101112131415g(i)0000.500.500.50.50000.501记录数161718192021222324252627282930g(i)0.50.50.50.50.51010.500000.50X4记录数123456789101112131415g(i)0010.50.50.50.50.500.5000.500.5记录数161718192021222324252627282930g(i)000.50111100.50010.50.5X5记录数123456789101112131415g(i)10.501010.5000.500.50.510.5记录数161718192021222324252627282930g(i)000110,50100.51100.50X6记录数123456789101112131415g(i)000000000000000记录数161718192021222324252627282930g(i)000000000000000表 9?相对查准率百度搜狐新浪天网X1希腊古典哲学13.5%23.8%18.0%14.8%X2转基因食品?安全性65.2%48.0%61.1%54.9%X3雅典?奥运42.6%52.5%54.9%26.2%X4澳柯玛63.9%32.0%51.2%36.9%X5俄罗斯?外交27.5%43.0%44.3%45.5%X6震荡波67.2%070.0%0平?均46.7%33.2%49.9%29.7%索主题查准率普遍偏低,可见这类主题不适宜用综合性搜索引擎进行查找。其中搜狐这个主题的检准率较高可能与搜狐的分类目录中有希腊古典哲学这一条目有关,可见分类主题一体化的优势。天网特有的 FTP 检索,在查找一些软件下载的信息方面还是技高一筹的,只是考虑到实验成本对检索词的个数限制,没有选中此类的检索主题,故未将大网的这一优点体现出来。笔者在测评结束后还进行了后续研究,发现天网在查找高校信息方面独具优势,这可能与天网是由高校实验室开发的有关。(3)死链接率和重复率。百度和新浪的网页快照一定程度上降低了死链接率,但依然无法完全避免死链接。天网的死链接率竟高达 1/4,已经到了让人有点无法忍受的地步,天网的这一问题亟待改善。百度、搜狐、天网都有一定的去重功能,但重复链接依然没有被完全消除。但总体来说,在这次测评中四个搜索引擎的重复率都不是很高,如表 10所示。?4?3?结果显示和用户负担国外搜索引擎测评最主要的一个特点是强调926情?报?科?学?23卷?人性化?,国外很多网络检索工具测评的文章都将个性化和用户负担作为主要测评指标 9。但中文搜索引擎在这一方面做得还明显不够。个性化定制只停留在每页结果显示个数和结果显示格式的定制等较低层次。用户得到的结果好坏很大程度的依赖于检索者自身的检索技巧,用户负担较重。就结果相关性排序而言,百度更加严谨一些,如表 11-12所示。表 10?死链接率和重复率死链接数死链接率重复链接数重复率百度1810%42.2%搜狐2212.2%73.9%新浪126.7%116.1%天网4525%95%表 11?检索结果显示结果显示定制检索结果相关性排序规则百度可定制采用超链分析技术及内容相关度评价,按相关性排序搜狐不可定制根据关键词在文献中出现频率新浪不可定制根据与查询要求相匹配的结果的质量来进行排序,其中新闻检索的结果是按日期排序天网可定制不明表 12?用户负担用户界面友好性在线帮助文件检索式辅助构造百?度一?般详?细无搜?狐较友好详?细无新?浪一?般详?细无天?网一?般十分详细无5?结?语就总体检索性能而言,百度最优,搜狐和新浪次之,天网再次之。但这几个搜索引擎各具特色,用户可以根据不同的检索需求做出最佳选择,笔者在上文中已经对此进行了一些分析。总的来说,这四大中文搜索引擎基本上可以满足网上观光者浏览查找某类信息的检索需求。只要具备了一定的检索技巧,问题查找型的用户一般还是可以利用这些搜索引擎查到比较满意的答案。但是中文搜索引擎还是存在许多需要改进的问题。(1)完善检索功能,同时注重对用户的培训,提供详尽的帮助信息,使各种检索功能得到充分发挥。特别是自然语言理解能力有待提高,以减轻用户负担。(2)科学组织网络信息源,一体化情报检索语言原理的应用是一个很好的发展方向,通过分类主题一体化,人工语言和自然语言一体化可以显著提高查准率。增加用户对搜索引擎的满意度。(3)增加个性化信息服务功能,如?个性化?查询界面,智能信息过滤、挖掘、推送技术,提高?亲和度?,是增强搜索引擎竞争力的有效手段。参考文献 1 韩圣 龙.网 络信 息检索 评价 指标 J.情报 学报,2001,(4):87-93?2 凤元杰,等.搜索引擎主要性能评价指标体系研究J.情报学报,2004,(1):63-68.3 张莉扬.网络检索工具性能评价标准浅议 J.情报科学,2001,(10):1115-1118?4 张莉扬.中英文网络检索工具评价与比较 J.现代图书情报技术,2001,(5):42-45,51?5 ,2004-05-15.6 ,2004-05-03.7 ,2004-05-19.8 www.e.pku.,2004-05-19.9 陆?兴.八个著名中文搜索引擎的特征及其评析 J.图书馆理论与实现,2003,(2):46-48?(责任编辑:刘凤勤)9276 期?四大中文搜索引擎检索性能测评