实时 AI 消息
Thinking Machines 发布 Inkling 2 Mini:循环 Transformer 可在笔记本本地运行
VentureBeat 11月21日报道,Thinking Machines 的 Inkling 2 Mini 采用循环 Transformer 结构,可以在笔记本电脑上本地运行,引发关注。报道未给出参数量、评测分数与授权条款,模型是否开放权重和量化版本仍有待确认。
VentureBeat 11月21日报道,Thinking Machines 的 Inkling 2 Mini 引发关注:这是一款采用循环 Transformer(looped transformer)结构的模型,并且可以在笔记本电脑上本地运行。
循环 Transformer 的思路,是让模型反复经过同一组层,用更多“思考轮次”换取推理深度,而不是单纯堆叠参数量。这样做的直接好处是显存占用和模型体积更容易控制,代价是每一轮都要重复计算,对推理效率提出了新要求。
“能在笔记本上跑”是这条消息真正的信号。过去一年,能力最强的一批模型基本依赖云端推理,本地可用的选择集中在参数规模较小的开源模型上;如果一款循环结构模型能在消费级硬件上给出可接受的速度,本地部署的适用范围会被重新划定。
对 Thinking Machines 来说,把一款能本地运行的模型推到台前,也是在模型能力之外强调部署形态。云端 API 拼的是绝对能力和成本,本地模型拼的是隐私、离线可用和延迟,两者的用户群并不完全重叠。
需要保持谨慎的是,标题里的“wows”属于媒体评价。候选信息没有给出参数量、上下文长度、公开评测分数、量化版本或授权条款,也没有说明“笔记本”具体指哪一档硬件。缺少这些数据,就无法判断它在同类小模型中的真实位置。
后续可以关注三点:权重是否对外开放、是否提供量化后的版本,以及在常见消费级笔记本上的实际生成速度。这三点确定之后,Inkling 2 Mini 才从一条引人注目的发布,变成可以被开发者评估的选项。
为什么重要
可本地运行的循环结构模型若达到可用速度,本地部署的边界会扩大,隐私敏感和离线场景将多一个现实选项。
附近消息
全部11/22 02:32
苹果被曝研发可代用户操作 App、浏览网页的 AI 智能体
据 K24 Digital 11月21日报道,苹果正在开发一款能够代替用户操作 App、并在网页上代为浏览的 AI 智能体,方向是跨应用的任务执行。报道未披露发布时间、支持机型和端侧或云端的部署方式,权限设计与是否向第三方开放将成为关键。
11/22 01:40
新加坡要测AI代理付稳定币:MAS用沙盒先验身份与授权
CryptoSlate报道称,新加坡希望测试由AI代理发起的稳定币支付,相关试验放在新加坡金融管理局的Agentic Money Sandbox中推进。MAS同时计划制定“了解你的代理”协议,让金融机构在代理动钱之前核验其身份、授权与可靠性。
11/22 01:28
Meta的AI代理Muse让自家员工不安:消息意外外泄,被指侵犯隐私
据Fortune报道,Meta内部员工对AI代理Muse发出的消息感到不安,一名员工称这看起来是“对隐私的严重侵犯”。此前有报道称,Muse会把不同对话混在一起、出现未经授权的预订,并访问私人应用。
11/22 01:14
Meta 把个人 AI 智能体 Muse 放进 Chrome 侧边栏,以浏览器扩展形式落地
据 Android Headlines 11 月 21 日报道,Meta 通过一款浏览器扩展把个人 AI 智能体 Muse 直接放进 Chrome 的侧边栏,用户不必离开当前网页即可唤起。相比独立应用,这一做法把 AI 助手的入口前移到用户日常浏览的上下文之中。