← 返回博客

报告会撒谎——用两层评测拦截 Agent 幻觉,并且让评测本身不漂移

在 cross-border-crm 里,我们遇到一个反直觉的问题:即使报告的每条引用都指向真实记录,结论仍然可能写错——比如把「在谈」写成「已成交」。这不是数据错了,是推理错了。

两层评测:先结构断言,再语义 Judge,取更严格的一层合并结论,失败样本进回归
报告结论每条引用都指向真实记录第一层:结构断言来源标识 + 结构化字段核对第二层:独立语义 Judge「在谈」vs「已成交」三类问题分治引用未观察 / 字段矛盾 / 语义待复核失败样本回归绑定运行材料 · 评测规范 · 模型版本

一、为什么一层检查不够

只做结构检查,会放过「字段对但语义错」的结论;只做语义判断,又会放过「根本没引用」的幻觉。单层要么漏、要么误伤,所以必须两层,并且取更严格的一层合并。

二、第一层:结构断言

核对成功工具观察里的来源标识与结构化字段。报告的每个结论,都必须能追溯到某个工具返回的具体字段;对不上的先标记。这一层是确定性的,跑得快、可解释。

三、第二层:独立语义 Judge

结构对,语义未必对。再跑一个独立的语义 Judge,判断「在谈」和「已成交」这类状态差异是否被正确表达。语义层更贵、更慢,所以只在结构层存疑或结论高风险时重点投入。

四、三类问题分开治

三类问题的处置不同:幻觉和字段矛盾直接判负,语义待复核升级人工。分开治,回归集才不会混成一锅。

五、评测本身也要防漂移

已存评价必须匹配运行材料、评测规范、模型版本——资料变化后不能沿用旧高分,否则就是用旧答案给新错误背书。Trace 经 Langfuse 投递,失败样本进回归集,修一次、验一次、留一条。

六、复盘

评测系统最大的敌人不是模型,而是自己的分数失真。把「引用未观察 / 字段矛盾 / 语义待复核」分清楚,把评价绑定到运行材料与模型版本,才能让「越用越准」有据可查,而不是一句口号。