郭震 AI公众号:郭震AI

实时 AI 消息

Terminal X用GPT-6.1做评估代理,与资深投资人判断一致率达88.6%

据OpenAI介绍,Terminal X基于GPT-6.1 Sol构建了评估代理,按照54条标准对投资类输出打分,与资深投资人判断的一致率达到88.6%。该公司称,这套代理能多捕捉25%偏离基金授权范围的情况。

发布时间

Terminal X与OpenAI联合发布了一份案例研究,介绍其基于GPT-6.1 Sol构建的评估代理(Eval Agent)。这套代理按照54条标准为投资类输出打分,其判断与资深投资人的判断一致率达到88.6%。

另一个数字同样关键。Terminal X称,这套代理能多捕捉25%偏离基金授权范围的情况,这让它的定位从“起草助手”变成了“控制层”,而不只是帮人把文档写得更快。

标准清单(rubric)是其中的机制。评估代理不是笼统地问模型“这份分析看起来对不对”,而是逐条核对54项标准并给出评分结论。正是这种结构让自动判断变得可审计:与人类评审的分歧会指向某一条具体标准,而不是一句模糊的“感觉不对”。

对基金而言,授权合规恰恰是通用模型能力不够用的任务。一份备忘录可以写得很流畅,同时建议一个基金根本不允许持有的仓位。识别这类问题本质上是规则问题,而规则正是标准清单所编码的东西。

88.6%这个数字需要谨慎解读。与资深投资人判断一致,衡量的是模仿程度,而不是正确性;如果资深评审本身存在共同的盲区,代理只会更高效地复制这个盲区。厂商自己的表述是“接近专家判断”,而不是“超越专家判断”。

真正低调的论据是成本。资深投资评审昂贵、稀缺且缓慢,无法随项目流量线性扩张。一个能以机器速度复现其中大部分判断的代理,会改变小团队能监督多少工作量——即便最终签字仍然由人完成。

接下来值得观察的是,这套基于标准清单的方法能否推广到单一基金授权之外。标准清单在原则上可以迁移,但界定一套策略的准则往往是默会的;把这种模式搬到别处,最难的一步其实是写出那54条标准,而不是运行模型。

为什么重要

这套做法把评测从“看输出顺不顺眼”变成可逐条追溯的规则校验,为高风险场景的自动化把关提供了模板。但88.6%的一致性只说明它接近专家判断,不说明它更正确。

微博邮件

OpenAIGPT-6.1Evaluation
返回实时消息

附近消息

全部