郭震 AI公众号:郭震AI

实时 AI 消息

Hugging Face 把推理路由交给 OpenRouter:开源权重模型开箱即用

Hugging Face 宣布其 Inference Providers 从自研路由器切换到 OpenRouter,语言模型请求由后者按实时价格、速度和可靠性自动选择供应商,失败时在调用内部自动重试,开发者代码无需改动。双方称这只是合作的起点,目标是让开源权重模型像调用闭源 API 一样简单。

发布时间
Hugging Face 把推理路由交给 OpenRouter:开源权重模型开箱即用
图源: huggingface.co

11月16日,Hugging Face 发布博客宣布,其 Inference Providers 服务不再使用自研路由器,语言模型请求改由 OpenRouter 的路由系统分发。官方称这是两家公司合作的第一步,开发者无需改动任何代码。

在新的机制下,每一次调用都会交给 OpenRouter 判断:哪家供应商当下的价格、速度和可靠性组合最好,请求就发往哪里;如果首选供应商失败,同一个请求会在调用内部重试到次优供应商。路由器同时兼容 OpenAI 的 Chat Completions、Responses 接口和 Anthropic 的 Messages 接口,不论模型实际跑在哪家供应商上;官方还给出了 Claude Code、Codex、OpenCode 等客户端的接入步骤。

Hugging Face 引用 OpenRouter 的数据说明这一步的分量:开源权重模型占平台所服务 token 的比例,从 2025 年 10 月的 26.8% 升到 2026 年 9 月底的 71.7%,7 月一度达到 77.5% 的峰值;同期开源权重的周调用量增长超过 60 倍,闭源模型约为 10 倍。

价格是这股趋势的重要推力。博客给出的均值是:开源权重模型每百万输入 token 0.28 美元、每百万输出 token 1.62 美元,闭源模型则是 1.27 美元和 6.36 美元,前者约为后者的四分之一。Hugging Face 也没有回避短板——最强的开源权重模型在最难的基准上仍落后于最好的闭源模型。

OpenRouter 提供的是规模。官方数字是每月服务超过 800 万亿 token、1000 万以上用户、来自 80 多家供应商的 600 多个模型。它近期重建了供应商路由,不再只看标价最低,而是综合价格、速度和可靠性;按其测算,新路由把容量类错误减少了 46%,首 token 时间改善 16.9%,吞吐提升 16.3%。

开发者仍保留选择权:在模型 ID 后加后缀,可以指定最快、最便宜或某一家供应商;路由还会感知缓存,让同一段对话留在持有其 prompt 缓存的供应商上,用固定的会话 ID 请求头即可显式声明。价格不变,用户按供应商价格在自己的 Hugging Face 账单上付费,平台不加价,PRO 用户每月仍有 2 美元额度。

唯一的破坏性变更是自带密钥:语言模型请求现在通过 Hugging Face 账户计费,因此这些模型不再支持用户自备供应商 API key,图像与视频供应商的自定义密钥则继续有效,图像、视频、音频生成也仍然直接走 Hugging Face 自己的通道。官方称这只是双方合作的第一步,后续还有更多安排。

为什么重要

对开发者而言,开源权重模型的调用门槛从「自己挑供应商、自己处理故障」变成一次普通 API 调用,成本与可靠性由路由层兜底。对模型供应商来说,接入即进入一个按实时表现排名的流量池,价格、速度和稳定性的竞争会更直接。

微博邮件

Hugging FaceOpenRouterInferenceOpen Source
返回实时消息

附近消息

全部