QA 问答机器人评估报告
评估时间: 2026-08-06 (模拟数据预览) · 测试集: expansion-standard-v2.2 · QA 版本: v1_202607 · 共 451 正 + 42 负 · ✅ 全部达标
🎨 本报告为模拟数据预览，实际运行时将替换为真实评估结果
① 指标总览与达标判定
达标判定（7 项必过）
| 指标 | 实际值 | 达标线 | 结果 |
|---|
| ✅ | Hit Rate（命中率） | 88.7 | >= 85 | 达标 |
| ✅ | Precision（精确率） | 100.0 | >= 90 | 达标 |
| ✅ | Recall（召回率） | 88.7 | >= 85 | 达标 |
| ✅ | F1 Score | 94.0 | >= 87 | 达标 |
| ✅ | FAR（误命中率） | 0.0 | <= 5 | 达标 |
| ✅ | P95 延迟 | 359 | <= 2000 | 达标 |
| ✅ | 调用错误数 | 0 | = 0 | 达标 |
说明：达标线基于行业标准设定（详见下方评测体系说明）。Hit Rate ≥ 85% 且 FAR ≤ 5% 为核心红线。
② 分场景命中率
| 场景 | 命中/总数 | 命中率 |
|---|
| 变更银行卡 | 54/60 | 90.0% |
| 常规还款 | 49/61 | 80.3% |
| 忠诚客户权益 | 29/30 | 96.7% |
| 提前结清 | 55/60 | 91.7% |
| 电子发票 | 52/60 | 86.7% |
| 结清寄送 | 51/60 | 85.0% |
| 车辆登记证 | 57/60 | 95.0% |
| 车辆返还 | 53/60 | 88.3% |
③ 分难度命中率
| 难度 | 命中/总数 | 命中率 |
|---|
| L1 高相似（≤40%） | 207/216 | 95.8% |
| L2 中等 (≀40%) | 135/164 | 82.3% |
| L3 高难度 (≀20%) | 58/71 | 81.7% |
难度定义（基于 TREC QA 分级相关性）：L1 = 高相似度变体（期望必命中）、L2 = 中等改写（应命中）、L3 = 高难度表达（允许降级）。L3 低命中率不一定代表问题，但 L1 低命中率是严重信号。
④ 分变体类型命中率
| 类型 | 命中/总数 | 命中率 |
|---|
| 标准 Q | 74/75 | 98.7% |
| 同义改写 | 66/75 | 88.0% |
| 口语化 | 65/74 | 87.8% |
| 句式变换 | 72/74 | 97.3% |
| 场景化求助 | 46/54 | 85.2% |
| 话题前置 | 39/48 | 81.2% |
| 带语气词 | 26/36 | 72.2% |
| 术语俗称互换 | 12/15 | 80.0% |
⑤ 低命中 QA 定位（命中率 < 80%）
| QA ID | 场景 | 标准问题 | 命中/总数 | 命中率 |
|---|
| 4 | 电子发票 | 会在什么时候开具 | 3/6 | 50.0% |
| 1 | 常规还款 | 我会收到提醒短信吗 | 4/6 | 66.7% |
| 1 | 常规还款 | 如何查看还款计划 | 4/6 | 66.7% |
| 1 | 常规还款 | 如何查看汇款结余 | 4/6 | 66.7% |
| 3 | 车辆登记证 | 可以委托其他人办理吗 | 4/6 | 66.7% |
| 5 | 结清寄送 | 材料寄出能加急吗 | 4/6 | 66.7% |
| 5 | 结清寄送 | 车辆登记证如何给到我 | 4/6 | 66.7% |
| 6 | 提前结清 | 租金日可以申请吗 | 4/6 | 66.7% |
行动建议：以上 QA 的命中率低于 80%，建议检查：①知识库中该 QA 的相似问法是否覆盖了用户真实表达 ②阈值设置是否过高 ③答案文本是否与变体表达匹配。优先处理命中率最低的 QA。
⑥ 正样本漏报明细（51 条）
| 输入 | 类型 | 难度 | 场景 | 机器人响应 |
|---|
| 自动扣款和汇款都能选吗 | 话题前置 | L3 | 常规还款 | __NO_MATCH__ |
| 支持自动扣款的银行有哪些呀 | 带语气词 | L2 | 常规还款 | 抱歉，暂时没有找到您问题的答案 |
| 这期最后几点前要还上 | 口语化 | L2 | 常规还款 | 抱歉，暂时没有找到您问题的答案 |
| 支持汇款方式还款吗 | 同义改写 | L2 | 常规还款 | __NO_MATCH__ |
| 还款前会发短信提醒吗 | 同义改写 | L1 | 常规还款 | 抱歉，暂时没有找到您问题的答案 |
| 有没有还款提醒 | 口语化 | L2 | 常规还款 | 非常抱歉，您的问题不在服务范围 |
| 卡里钱不够没扣款成功咋办呀 | 带语气词 | L2 | 常规还款 | __NO_MATCH__ |
| 周六周日可以还吗 | 句式变换 | L2 | 常规还款 | 抱歉，暂时没有找到您问题的答案 |
| 还款计划表从哪里看 | 同义改写 | L2 | 常规还款 | __NO_MATCH__ |
| 还款计划怎么看呀 | 带语气词 | L2 | 常规还款 | __NO_MATCH__ |
| 账户里多汇的钱怎么查 | 口语化 | L2 | 常规还款 | 非常抱歉，您的问题不在服务范围 |
| 汇款多打了怎么查余额 | 场景化求助 | L3 | 常规还款 | __NO_MATCH__ |
| 个人换卡有银行限制吗 | 话题前置 | L2 | 变更银行卡 | 抱歉，暂时没有找到您问题的答案 |
| 不用跑门店自己换卡行不行 | 话题前置 | L3 | 变更银行卡 | 抱歉，暂时没有找到您问题的答案 |
| 承租人换卡有特别要求吗 | 场景化求助 | L3 | 变更银行卡 | 非常抱歉，您的问题不在服务范围 |
| 担保人换卡有啥要求 | 话题前置 | L2 | 变更银行卡 | 非常抱歉，您的问题不在服务范围 |
| 银行卡补办后要不要改 | 同义改写 | L2 | 变更银行卡 | __NO_MATCH__ |
| 我刚换完卡想再换一次行吗 | 场景化求助 | L3 | 变更银行卡 | 抱歉，暂时没有找到您问题的答案 |
| 借阅要交费用不 | 带语气词 | L2 | 车辆登记证 | 非常抱歉，您的问题不在服务范围 |
| 可以委托其他人办理吗 | 标准 Q | L1 | 车辆登记证 | 抱歉，暂时没有找到您问题的答案 |
| 借阅必须本人去吗 | 同义改写 | L2 | 车辆登记证 | 非常抱歉，您的问题不在服务范围 |
| 哪些钱能开票呀 | 带语气词 | L2 | 电子发票 | __NO_MATCH__ |
| 什么时候会开具发票 | 句式变换 | L1 | 电子发票 | 抱歉，暂时没有找到您问题的答案 |
| 发票多久能开出来 | 同义改写 | L2 | 电子发票 | 抱歉，暂时没有找到您问题的答案 |
| 我这个月的发票啥时候开 | 场景化求助 | L3 | 电子发票 | 非常抱歉，您的问题不在服务范围 |
| 个人能自己下载发票吗 | 口语化 | L1 | 电子发票 | 非常抱歉，您的问题不在服务范围 |
| 发票抬头开错了咋办 | 口语化 | L1 | 电子发票 | 抱歉，暂时没有找到您问题的答案 |
| 去年的发票还能开吗 | 话题前置 | L3 | 电子发票 | 非常抱歉，您的问题不在服务范围 |
| 更名后旧发票咋办 | 带语气词 | L2 | 电子发票 | __NO_MATCH__ |
| 我结清了接下来等什么 | 场景化求助 | L3 | 结清寄送 | 抱歉，暂时没有找到您问题的答案 |
| 会寄哪些资料给我 | 口语化 | L1 | 结清寄送 | 抱歉，暂时没有找到您问题的答案 |
| 材料寄出要等几天呀 | 带语气词 | L2 | 结清寄送 | 非常抱歉，您的问题不在服务范围 |
| 结清材料能加急处理吗 | 同义改写 | L2 | 结清寄送 | 非常抱歉，您的问题不在服务范围 |
| 材料寄出能加快不 | 带语气词 | L2 | 结清寄送 | 非常抱歉，您的问题不在服务范围 |
| 解押需要到现场吗 | 术语俗称互换 | L2 | 结清寄送 | 非常抱歉，您的问题不在服务范围 |
| 解押需要付费吗 | 术语俗称互换 | L2 | 结清寄送 | 抱歉，暂时没有找到您问题的答案 |
| 解除抵押后大绿本怎么拿 | 术语俗称互换 | L3 | 结清寄送 | 抱歉，暂时没有找到您问题的答案 |
| 登记证什么时候给我 | 同义改写 | L2 | 结清寄送 | __NO_MATCH__ |
| 哪些条件不能提前结清 | 话题前置 | L2 | 提前结清 | 非常抱歉，您的问题不在服务范围 |
| 能试算结清金额不 | 带语气词 | L2 | 提前结清 | 抱歉，暂时没有找到您问题的答案 |
| 还款日当天能申请吗 | 同义改写 | L1 | 提前结清 | 非常抱歉，您的问题不在服务范围 |
| 还款日能申请提前结清吗 | 话题前置 | L3 | 提前结清 | __NO_MATCH__ |
| 结清当天几点前要转钱 | 口语化 | L2 | 提前结清 | 抱歉，暂时没有找到您问题的答案 |
| 以前用金融方案买的也能享受吗 | 口语化 | L1 | 忠诚客户权益 | 非常抱歉，您的问题不在服务范围 |
| 还车的步骤有哪些 | 话题前置 | L2 | 车辆返还 | __NO_MATCH__ |
| 怎么预约还车检测 | 口语化 | L1 | 车辆返还 | 抱歉，暂时没有找到您问题的答案 |
| 预约后想换个时间行不 | 带语气词 | L2 | 车辆返还 | __NO_MATCH__ |
| 还车要带身份证吗 | 场景化求助 | L3 | 车辆返还 | 抱歉，暂时没有找到您问题的答案 |
| 车况要达到什么标准 | 话题前置 | L2 | 车辆返还 | 非常抱歉，您的问题不在服务范围 |
| 检测不通过能重新检吗 | 场景化求助 | L3 | 车辆返还 | __NO_MATCH__ |
| 到店检测是免费的吗 | 场景化求助 | L3 | 车辆返还 | 抱歉，暂时没有找到您问题的答案 |
排查方法：如果响应是兜底话术（"抱歉，暂时没有找到"），说明知识库未命中 → 需增加相似问法。如果响应是其他 QA 的答案，说明跨场景串答 → 需检查阈值。
⑦ 负样本误命中明细（0 条）
✅ 表现优秀：所有负样本均正确返回兜底话术，无误命中。
📖 评测体系说明
本报告的所有指标均基于以下行业标准设计。以下说明帮助你正确解读报告数据。
行业标准对齐
| 参考体系 | 本项目对应指标 | 说明 |
|---|
| TREC QA（信息检索） | Hit Rate + L1/L2/L3 分级 | 分级相关性：不是所有命中都同等重要 |
| Banking77（NLU 意图分类） | FAR（误命中率） | 越界检测：负样本应被拒绝 |
| RAGAS（RAG 评测） | 命中正确 QA = 上下文相关 | 检索到的 QA 必须是正确的那一条 |
| ANLI（对抗性评测） | 42 条对抗负样本 | 关键词陷阱、近义混淆、跨场景串答检测 |
| SRE 实践（生产监控） | P50/P95/P99 延迟 | 尾部延迟影响用户体验 |
指标定义
| 指标 | 公式 | 含义 | 达标线 |
|---|
| Hit Rate | TP / 总正样本 | 正样本中有多少命中了正确答案 | ≥ 85% |
| Precision | TP / (TP + FP) | 所有命中中有多少是真正正确的 | ≥ 90% |
| Recall | TP / (TP + FN) | 所有应该命中的有多少被命中了 | ≥ 85% |
| F1 | 2×P×R / (P+R) | Precision 和 Recall 的调和平均 | ≥ 87 |
| FAR | FP / 总负样本 | 负样本中有多少被错误命中（越低越好） | ≤ 5% |
| P95 延迟 | 95 百分位响应时间 | 95% 的请求在此时长内完成 | ≤ 2000ms |
混淆矩阵
| 正样本（有答案） | 负样本（无答案） |
|---|
| 机器人命中 | TP（正确命中） | FP（误命中） |
| 机器人拒识 | FN（漏报） | TN（正确拒绝） |
如何阅读本报告
- 先看达标判定：7 项指标全绿 = 整体健康。有红色 = 需要排查。
- 看分难度：L1 低 = 严重问题。L3 低 = 可接受。
- 看低命中 QA：命中率 < 80% 的 QA 是改进重点。
- 看漏报明细：兜底话术 = 加相似问法。别的 QA 答案 = 降阈值。
- 看误命中：FAR > 0 说明负样本被错误回答了。
- 看延迟：P95 > 2000ms 说明平台响应慢。
测试集结构
| 分类 | 子类 | 数量 | 说明 |
|---|
| 正样本 | L1 高相似 | 216 条 | 标准问法 + 高相似变体 |
| L2 中等 | 164 条 | 口语化/句式变换 |
| L3 高难度 | 71 条 | 话题前置/场景化求助 |
| 负样本 | 无关输入 | 与 QA 完全无关 | 应正确拒识 |
| 关键词陷阱 | 含关键词但意图不同 | 检测跨场景串答 |
| 近义混淆 | 近义词但不同业务 | 检测语义分辨力 |
| 边界输入 | 空串/纯标点/emoji | 检测鲁棒性 |
评测工具
qa_eval.py（纯 Python 标准库，MacBook Pro 本地运行）：
① 交互式输入凭证 ② 对每个问题走 Titan open→interact→close 三步流
③ 自动计算全部指标 + P50/P95/P99 延迟 ④ 生成本报告 + JSON + LOG ⑤ scp 上传 VPS