为什么常识

搜索引擎评价体系应该分几个方面?建立怎样的指标?

生活词典 changshi.cidiancn.com

阅读: 321

搜索引擎评价体系应该分几个方面?建立怎样的指标?4 个答案

答案 1:

只说搜索质量,召回率,索引量和相应速度是技术指标,在此不讨论干这活儿累计两年半.一年的Google quality rater,一年半淘宝搜索评测.Google的做法:1.单个item与关键词匹配度(相关性)五个等级:vital:官方网站类useful:极其相关,或包含大量相关信息relevant:相关的slig-tly relevant:有点相关,提及的Off-Topic:完全无关附加:spam,-等几个附件选项,独立可选,但与以上不冲突网上流传的那份Google的 < Quality Rater Guidelines > 说的就是这部分.jiang-aiming/seo/google...2.side by side(ranking)黑盒测试,两组排序对比:同序位不同item的相关性对比同item不同排位对比偏主观,两组关系评级分为about t-e same,slig-tly better,better,muc- better.其余还有针对图片的,-的评测,基本只做相关性评测.PS:还有专门的-评测,不过那个项目的活儿我没接. :)淘宝的做法:因为是购物搜索,基本只做相关性评测,但也做A/B对比相关性等级基本只分为good,fair,bad.根据不同质量结果在A/B抽样数据中的占比,评价算法调整的好坏.并根据bad case做进一步调优.side by side测试也做,但投入产出比太小.只在部分特殊项目中尝试.另外,Ya-oo!是以DCG指标来衡量搜索结果质量baike.baidu/view...

答案 2:

借用开复老师的答案:搜索的质量评估通常是看几个指标:>

相关度 -- 请受过训练的人来评估每个引擎的前几个结果是否相关,评估时不参考结果的来源、引擎的品牌等。指标有DCG等[1]。

索引规模 -- 每个引擎知道自己的规模,也就是有多少网页(除去重复的),但是不知道对方的规模,可是可以根据两方搜索结果的爬取,得知有多少网页是我有他无,或他有我 无,从此得知大约两个引擎的索引规模。比较有挑战的一点是如果索引规模大了可能导致相关度下降(因为有些长尾结果会排序太靠前)。成熟的商业全网搜索引擎索引规模在10billion以上.

速度 -- 就是输入搜索词,得到结果的时间。很多测试告诉我们0.2秒的速度会导致用户满意度的落差,和未来使用的频率。

新鲜度 -- 就是能爬到多新的内容,而且要有一定规模(只有新闻内容不算够新)。

分享常识给亲友.

下一篇:知乎邀请码的发放在执行上是如何实现的? 下一篇 【方向键 ( → )下一篇】

上一篇:知乎是否可以规范答案总结的格式? 上一篇 【方向键 ( ← )上一篇】