技术 · 前沿动态
向量检索的召回怎么评估
从指标定义、样本构建到参数影响,说明向量检索召回效果的评估流程与持续优化方式。
指标的定义
召回衡量相关结果是否出现在前若干条,常用前五与前十条命中率。
评估集要覆盖不同长度、不同表述方式的查询,才能反映真实场景。
样本的构建
从真实查询日志抽样,按主题分层,避免集中在少数热门问题。
每条查询标注相关文档,标注口径要在团队内统一,相关细节值得在实践中持续观察。
检索的方式
纯向量检索对语义相近表达更友好,但对专有名词可能不够稳定。
混合关键词与向量分数,能改善稀有词的召回表现,这一点在长期使用中会逐渐显现。
参数的影响
扩大搜索范围通常提升召回,但耗时同步增加,执行前先明确条件再作判断更合适。
量化与裁剪会损失部分精度,需要通过对比实验确认可接受范围。
持续的优化
上线后定期用新查询补充评估集,防止指标停留在旧分布上。
把召回异常样本单独归档,作为下一轮优化的输入,结合自身情况安排通常更为稳妥。
读者留言
共 4 条 · 精选展示前五和前十条分开看,能发现排序问题。
样本要覆盖不同表述,不然评估集太窄。
混合分数改善稀有词召回,实测有效。
异常样本归档,这个习惯值得坚持。