演示很顺,上线很难:泰达娱乐的 Agent 上线清单

Demo 阶段没人关心权限与兜底,上线后这两项最先出事。这篇是泰达娱乐在企业内部推行 Agent 时用的 12 项检查。

Agent 上线失败的原因很少是模型能力不足,多数是权限配置过宽、工具调用无上限、以及出了问题没人知道。

五组十二项

权限三组检查:最小权限、数据可见范围、写操作二次确认;工具两项:超时与重试上限、失败降级;评测三项:任务集、边界样例、人工复核抽样。

  • 权限:最小授权、按角色隔离、写操作确认
  • 工具:超时重试上限、失败可降级
  • 评测:固定任务集、边界样例、抽样复核
  • 兜底:人工接管入口、会话可回溯
  • 观测:调用链日志、成本与失败率告警

先跑一周灰度

灰度期只开放低风险任务,每天看三件事:失败率、人工接管比例、单次成本。三项稳定后再扩大范围。

泰达娱乐的企业 AI 服务以方案设计、系统集成与交付实施为主,项目范围与验收标准以合同为准,不对模型输出作绝对准确性承诺。

本文由泰达平台交付团队撰写,内容来自实际项目复盘。 如果你正在评估企业知识库方案,可以联系我们获取一份评测集模板, 或阅读泰达智脑产品说明了解平台侧如何支撑这些指标。