报告会撒谎——用两层评测拦截 Agent 幻觉,并且让评测本身不漂移
在 cross-border-crm 里,我们遇到一个反直觉的问题:即使报告的每条引用都指向真实记录,结论仍然可能写错——比如把「在谈」写成「已成交」。这不是数据错了,是推理错了。
两层评测:先结构断言,再语义 Judge,取更严格的一层合并结论,失败样本进回归
一、为什么一层检查不够
只做结构检查,会放过「字段对但语义错」的结论;只做语义判断,又会放过「根本没引用」的幻觉。单层要么漏、要么误伤,所以必须两层,并且取更严格的一层合并。
二、第一层:结构断言
核对成功工具观察里的来源标识与结构化字段。报告的每个结论,都必须能追溯到某个工具返回的具体字段;对不上的先标记。这一层是确定性的,跑得快、可解释。
三、第二层:独立语义 Judge
结构对,语义未必对。再跑一个独立的语义 Judge,判断「在谈」和「已成交」这类状态差异是否被正确表达。语义层更贵、更慢,所以只在结构层存疑或结论高风险时重点投入。
四、三类问题分开治
- 引用未观察——结论引用了根本没返回的数据,这是幻觉;
- 字段矛盾——结论与返回字段冲突,这是对不齐;
- 语义待复核——字段对、语义存疑,需要人工或更强判断。
三类问题的处置不同:幻觉和字段矛盾直接判负,语义待复核升级人工。分开治,回归集才不会混成一锅。
五、评测本身也要防漂移
已存评价必须匹配运行材料、评测规范、模型版本——资料变化后不能沿用旧高分,否则就是用旧答案给新错误背书。Trace 经 Langfuse 投递,失败样本进回归集,修一次、验一次、留一条。
六、复盘
评测系统最大的敌人不是模型,而是自己的分数失真。把「引用未观察 / 字段矛盾 / 语义待复核」分清楚,把评价绑定到运行材料与模型版本,才能让「越用越准」有据可查,而不是一句口号。