郭震 AI公众号:郭震AI

实时 AI 消息

开源AI网关Experiential发布:用单一OpenAI兼容API统一管理云端与本地模型,并控制Agent花多少钱

开源AI网关与路由器Experiential公开,它把云端和本地的多种模型收拢到一个OpenAI兼容API之下,让使用者按质量、速度和成本统一管理与优化模型调用。该工具还支持按员工或AI Agent签发专属API Key,从而控制在Agent上花多少钱,并在日志中分辨每个Key调用过哪些模型。

发布时间

9月21日,GIGAZINE介绍了开源AI网关与路由器Experiential。该项目由Experiential Labs发布,目标是把分散在各家厂商的模型调用收拢到一处,用一个OpenAI兼容的单一API来管理与优化云端和本地模型的质量、速度与成本。

它要解决的问题很具体:同时使用GPT、Claude、Gemini等多家模型时,通常需要为每个提供商分别配置连接地址和API密钥,用量统计与账单也随之分散在各个后台。

Experiential的做法是在中间加一层网关。AI Agent侧只需要配置一个OpenAI兼容API,就能访问多家提供商;网关标准内置超过1000个模型条目,除GPT、Claude、Gemini外,还包括DeepSeek、Qwen、Kimi、GLM、Mistral和llama等。已经持有上游API密钥的用户,可以用BYOK方式把密钥登记进Experiential继续使用。

对公司和团队而言,把各厂商的密钥直接发给每位员工会让用量与费用难以归集。Experiential允许为员工和AI Agent分别签发专属API Key,上游密钥由公司集中保管,而Logs页面的请求历史里带有API KEY字段,筛选之后就能看清某个Key调用过哪些模型。谁用了什么模型、花了多少钱,都能在一处确认。

在集中管理之外,Experiential还提供基于真实使用记录优化模型选择的能力。把AI Agent的处理历史以OpenTelemetry格式沉淀下来之后,系统会在多个模型上评估同一类任务,比较质量、响应速度与价格,据此构建路由器,让简单任务走便宜快速的模型,复杂任务交给高性能模型。

版本差异需要留意。云端Free计划不包含自动路由和逐条提示词的模型优化,这些能力从Pro计划起提供;Free计划覆盖的是通过单一API调用多模型,以及集中查看用量与费用等基础功能。自托管版本则支持把Langfuse等工具积累的使用历史以OpenTelemetry等格式导出,再导入Experiential来构建自己的路由器。

这类网关真正的价值,在于把多模型使用从每家一个密钥的手工状态,变成可观测、可限额、可优化的基础设施。Agent开始自主调用工具和花钱之后,预算控制与成本归属从财务问题变成了工程问题。

开源网关这条赛道也在变得拥挤。GIGAZINE在同一页面关联的报道里,就提到了按任务难度自动在本地与云端模型之间切换的Wayfinder。Experiential接下来能否在自动路由的准确度、自托管的部署成本和多模型计费的准确性上站住脚,是值得观察的地方。

为什么重要

对同时使用多家模型的团队来说,Experiential把分散的密钥、用量和账单收进一层可观测的网关,并让Agent的预算从不可控变成可限额、可追溯。这类基础设施的成熟度,会直接影响多模型Agent在生产环境中能否算得清成本。

微博邮件

Open SourceAI GatewayAgentInfrastructure
返回实时消息

附近消息

全部