悬崖Token：精确定位LLM数学推理中触发失败的单个Token

大语言模型在数学推理中能达到较高准确率，但相同问题下的不同推理轨迹的结果可能截然不同——有的得出正确答案，有的则失败。现有研究在步骤、片段或句子层面分析失败，或者仅在失败已经发生的位置分析Token，但都无法识别触发失败的关键转换点。

6月25日发布在arXiv上的一篇论文引入了悬崖Token(cliff token)概念——在这个Token处，Token级别的势能显著下降，标志着模型推理从正确路径滑向失败路径的临界点。这相当于为LLM推理的事故调查找到了黑匣子中的关键信号。

该研究来自arXiv cs.AI类别，论文ID为2606.25524。这项发现为提升LLM推理可靠性和可解释性提供了全新的分析粒度。