报告：157家企业调查揭示AI智能体评估「现实脱节」——半数已部署的智能体在客户场景中失败

VentureBeat于7月16日发布的一项覆盖157家企业的调查报告揭示了企业AI智能体评估领域的一个严峻问题：组织正在赋予AI智能体更多自主权，但同时对用于审核这些智能体的评估体系的信任度却在下降。

调查数据显示，50%的受访企业曾将内部评估通过但随后在客户生产环境中失败的智能体部署上线。这一数据揭示了企业内部评估与真实世界表现之间的严重脱节。

更令人担忧的是，仅有二十分之一（约5%）的企业完全信任当前的自动化评估系统。最常被引用的评估体系弱点在于：评估结果与真实世界的实际结果不一致。

尽管存在这些明显的信任危机，调查发现三分之二的企业要么已经允许、要么正在积极推动将智能体变更直接部署到生产环境。这说明企业在AI智能体应用上的速度优先策略正在与评估体系的可靠性产生冲突。

报告的作者指出，企业AI组织面临的核心问题不是评估覆盖率不足，而是评估与现实的「对齐问题」。企业需要重新思考如何设计评估体系，使其更好地反映实际业务场景中的表现。

这一调查结果对于正在或计划引入AI智能体的企业具有重要警示意义。评估体系不能仅仅追求覆盖更多的测试用例，更需要确保测试场景与真实客户使用场景的对齐。随着AI智能体在企业中的自主权不断提高，建立可靠的评估框架变得越来越紧迫。

对于AI工具供应商而言，这也提出了新的产品需求：能够帮助企业构建更贴近真实场景的评估体系，而不仅仅提供基础模型评估服务。