xbench最早是红杉中国在2022年ChatGPT推出后，对AGI进程和主流模型进行的内部月评与汇报工具。在建设和升级“私有题库”的过程中，红杉中国发现主流模型“刷爆”题目的速度越来越快，基准测试的有效时间在急剧缩短。
另外，此次相关机构同期提出垂直领域Agent的评测方法论，并构建了面向招聘与营销领域的垂类Agent评测框架。如今Agent行业正热，包括自主规划、信息收集、推理分析、总结归纳在内的深度搜索能力是AI Agents通向AGI（通用人工智能）的核心能力之一，但这也给评估带来挑战。
AI在长文本处理、多模态、工具使用和推理方面的能力突破催化了AI Agent的爆炸式增长。与聊天机器人相比，Agent不仅可以解决单步问题，还可以交付完整任务，从而提供生产力或商业价值。有价值的AI Agent评估需要与实际任务密切相关，这已成为一种共识。一系列高质量的评估集在工具使用、计算机使用、编码和客户服务等领域出现，推动了Agent在这些各自领域的快速发展。然而，评估结果与 AI 在现实世界中创造经济价值的生产力之间仍然存在差距。为了适应人工智能“下半场”的发展，构建特定领域的Agent评估集至关重要，这需要与专业领域的生产力和商业价值保持一致。
页码:上一页
