AI幻觉险些触发美军行动，研究人员警告大模型不确定性

据TechCrunch报道，一次人工智能模型产生的幻觉输出（hallucination）险些触发美国军方的一项行动。所谓“险些”，意味着这次错误最终没有变成真实行动，但整条决策链路已经被一个虚假的模型输出推到了临界点。

报道引述了GovAI一位研究学者的提醒：“让服役人员理解大语言模型固有的不确定性非常重要。”这句话点出了问题的核心：模型输出的语气永远自信，但它的正确率并不会因为语气而改变。

军事场景对错误几乎零容忍。一份坐标、一条识别结论、一次情报摘要，任何一环出错都可能被放大成行动级别的后果，而幻觉恰恰是概率性系统的内生特性，无法靠一次培训或一句免责声明消除。

从公开讨论看，业界目前的主要做法是把模型放在“建议者”而非“决策者”的位置上，用人工复核、权限限制和可追溯的日志来兜住错误。这次事件说明，这些工程手段的上限，取决于使用者是否真的理解模型会在哪里出错。

值得关注的是，这并非孤立的技术插曲，而是生成式AI进入政府与国防体系时必然遇到的一类问题。模型能力越强、接入流程越深，单点幻觉的影响面就越大。

接下来要看两点：一是相关机构是否会因此调整内部的大模型使用规范与复核流程；二是厂商在面向政府客户时，是否会提供更明确的不确定性提示与验证工具。