郭震 AI公众号:郭震AI

实时 AI 消息

Thinking Machines 发布 Inkling 2 Mini:循环 Transformer 可在笔记本本地运行

VentureBeat 11月21日报道,Thinking Machines 的 Inkling 2 Mini 采用循环 Transformer 结构,可以在笔记本电脑上本地运行,引发关注。报道未给出参数量、评测分数与授权条款,模型是否开放权重和量化版本仍有待确认。

发布时间

VentureBeat 11月21日报道,Thinking Machines 的 Inkling 2 Mini 引发关注:这是一款采用循环 Transformer(looped transformer)结构的模型,并且可以在笔记本电脑上本地运行。

循环 Transformer 的思路,是让模型反复经过同一组层,用更多“思考轮次”换取推理深度,而不是单纯堆叠参数量。这样做的直接好处是显存占用和模型体积更容易控制,代价是每一轮都要重复计算,对推理效率提出了新要求。

“能在笔记本上跑”是这条消息真正的信号。过去一年,能力最强的一批模型基本依赖云端推理,本地可用的选择集中在参数规模较小的开源模型上;如果一款循环结构模型能在消费级硬件上给出可接受的速度,本地部署的适用范围会被重新划定。

对 Thinking Machines 来说,把一款能本地运行的模型推到台前,也是在模型能力之外强调部署形态。云端 API 拼的是绝对能力和成本,本地模型拼的是隐私、离线可用和延迟,两者的用户群并不完全重叠。

需要保持谨慎的是,标题里的“wows”属于媒体评价。候选信息没有给出参数量、上下文长度、公开评测分数、量化版本或授权条款,也没有说明“笔记本”具体指哪一档硬件。缺少这些数据,就无法判断它在同类小模型中的真实位置。

后续可以关注三点:权重是否对外开放、是否提供量化后的版本,以及在常见消费级笔记本上的实际生成速度。这三点确定之后,Inkling 2 Mini 才从一条引人注目的发布,变成可以被开发者评估的选项。

为什么重要

可本地运行的循环结构模型若达到可用速度,本地部署的边界会扩大,隐私敏感和离线场景将多一个现实选项。

微博邮件

Thinking MachinesModel ReleaseLooped Transformer
返回实时消息

附近消息

全部