Microsoft 与 Hugging Face 推出 ThinkingBox:不看 Agent 怎么说,直接检查它最终把系统改成了什么状态
Microsoft 与 Hugging Face 10 月 3 日公开 ThinkingBox,用 507 个有状态工作流评测 AI Agent 是否真正完成任务。它不只检查回复文本,而是隔离运行 MCP 工具会话后直接核对数据库和系统副作用,并把每个任务重复运行 20 次,用 pass@1 与连续稳定完成能力区分“偶尔成功”和“可靠执行”。

Microsoft 与 Hugging Face 10 月 3 日公开 ThinkingBox,用 507 个有状态工作流评测 AI Agent 是否真正完成任务。它不只检查回复文本,而是隔离运行 MCP 工具会话后直接核对数据库和系统副作用,并把每个任务重复运行 20 次,用 pass@1 与连续稳定完成能力区分“偶尔成功”和“可靠执行”。
阅读原文Microsoft·本版内容配置 · 选题日历:Asia/Shanghai
站点更新记录