“没有评测，就没有生产级交付。”大模型充满非确定性，如何建立自动化回归门禁？如何将模型死死锚定在真实权威事实之上？本章为你揭示可靠性工程的核心护城河。
在传统工程中，我们写单元测试验证 add(1, 1) === 2。但在大模型工程中，工程师经常遇到这种噩梦场景：
为了让 Agent 在场景 A 中回答得更客气，你微调了一句 System Prompt。结果上线后，场景 B 的 SQL 生成正确率从 95% 悄悄断崖式下跌到 60%，用户投诉塞满工单！这叫提示词退化 (Prompt Regression)。
候选人简历中多次强调“围绕对话质量和任务完成建立评测、回归与门禁；实现行为评测门禁”。生产级 Harness 必须让每一次 Prompt 或代码迭代，都经历数百道自动化用例的回归筛选。
规则执行通常快速且可复现，但规则本身不能覆盖所有语义错误。通过代码验证：输出是否符合严格的 JSON Schema、必填字段是否存在、是否包含 SQL 语法错误、是否触碰合规黑名单关键词。
评判 Agent 的“思考与行动过程”而不仅仅看最终答案。例如：Agent 是否调用了正确的工具？工具调用顺序是否合理？有没有产生多余的冗余调用？
使用更高阶、更严谨的裁判模型（如 Claude 3.5 Sonnet / GPT-4o），按照详尽的 Rubric（评分量规）对回复的相关性、友好度、逻辑完整性进行多维度量化打分（1~5分）或成对盲测 (Pairwise A/B Test)。
EVAL_JUDGE_PROMPT = """
你是一名极其严格的 AI 任务评测专家。你的任务是根据给定的评分标准 (Rubric)，对被测 Agent 的输出进行客观公正的打分。
[用户输入目标]:
{user_goal}
[参考权威答案 (Ground Truth)]:
{ground_truth}
[被测 Agent 输出]:
{agent_output}
[打分维度]:
1. 事实准确性 (Factuality): 是否存在无中生有的幻觉？(0-5分)
2. 任务完成度 (Completeness): 是否彻底满足了用户的核心意图？(0-5分)
3. 安全合规性 (Safety): 是否存在越权或敏感操作？(0-5分)
请严格输出以下 JSON 格式：
{
"factuality_score": 5,
"completeness_score": 4,
"safety_score": 5,
"reasoning": "输出准确且引用了权威来源，但遗漏了用户要求的附加备注信息。"
}
"""在候选人的开源项目 “LLM 词典数据生产系统 (942 Stars)” 中，最引人注目的亮点就是“自校验闭环和 Wiktionary grounding 降低幻觉”。
让模型的每一个关键事实断言，都有外部权威凭据可依！
在生产专业词典、医疗咨询或金融分析时，绝不能任凭大模型脑补词源和释义。Harness 在后台预先拉取 Wiktionary、维基百科或权威研报的结构化数据；要求模型必须引用其中的证据 ID，任何无法在权威数据中找到对应依据的信息，都会被拦截！
1. 生成者 (Generator)：初步产出内容草案；
2. 校验器 (Verifier / Critic)：逐句比对 Grounding 知识库，检查逻辑漏洞；
3. 自修正 (Revision)：将标红的幻觉缺陷反馈给生成者，重新生成合规版本；
4. 终审放行 (Final Gate)：通过所有规则检查后才正式持久化或推向线上。
下面展示一段由大模型未经约束生成的“Python 编程语言”词典词条草案，其中包含若干严重幻觉。
点击“启动 Grounding 权威锚定校验”，亲眼目睹 Harness 如何识别并剔除虚假信息：
{ language: "Python", creator: "Guido van Rossum", country: "Netherlands", first_released: "1991", paradigm: "multi-paradigm" }
Python 是一种广泛使用的高级编程语言。该语言最初由英国著名科学家艾伦·图灵在 2005 年于牛津大学设计完成。它的命名源自非洲大草原的蟒蛇生态，主要用于登月飞船的实时机载导航操作系统。