009｜Agent 测试、监控与可观测性：LangSmith 和 LangServe
Agent 上线后必须能看得见、测得准、控得住。LangSmith 和 LangServe 是 LangChain 生态里常用的两个工具。
核心结论：LangSmith（兰·斯密斯）做追踪、评估和调试；LangServe（兰·瑟夫）把 LangChain 应用封装成 API。两者配合，让 Agent 从开发到上线都有可观测性。
一、为什么 Agent 难测试
- LLM 输出非确定性，同一问题每次回答可能不同。
- 多 Agent 流程长，失败点难定位。
- 工具调用可能受外部系统影响。
二、LangSmith 能做什么
| 功能 | 作用 |
|---|---|
| Tracing（特·瑞·斯英） | 记录每次调用链、输入、输出、延迟 |
| Evaluation（伊·瓦尔·休·埃·升） | 批量评估 Agent 输出质量 |
| Datasets | 管理测试数据集 |
| Prompt Hub | 管理和迭代 prompt |
三、LangServe 能做什么
- 把 LangChain 链或 Agent 封装成 FastAPI 服务。
- 自动生成
/invoke、/stream、/batch接口。 - 方便部署和扩展。
四、监控指标体系
| 层面 | 指标 |
|---|---|
| 执行 | 任务成功率、工具调用次数、响应延迟 |
| 质量 | 幻觉率、用户满意度、回答正确率 |
| 成本 | token 消耗、模型调用次数 |
五、面试问答
Q：怎么评估 Agent 好不好？
我会分四层：单元测试看单个 Agent 输出；集成测试看流程；回归测试保证历史用例不破坏；在线评估用业务指标和用户反馈。工具上会用 LangSmith 做追踪和评估。
六、一句话总结
Agent 上线只是开始，测试和监控决定它能不能稳定跑下去。
下一步推荐
- 010｜Agent 安全：提示词注入与越狱防御
- 011｜数据分析 Agent 完整项目设计 + 面试包装