郭震 AI公众号:郭震AI

实时 AI 消息

联想发布 AI Host P7:300 克设备本地运行 1250 亿参数模型

据 Pasquale Pillitteri 报道,联想发布 AI Host P7,一台重量约 300 克的设备,可在本地运行参数规模达 1250 亿的模型。若这一规格成立,意味着大模型推理正在从云端进一步走向个人设备端。

发布时间

联想发布了一款名为 AI Host P7 的设备。据 Pasquale Pillitteri 报道,这台机器重量约 300 克,能够在本地运行参数规模达 1250 亿的模型。

300 克与 1250 亿参数这两个数字放在一起,意味着大模型推理的边界正在从机房挪到桌面。端侧模型此前长期在更小的参数预算里做取舍,1250 亿是一个明显更激进的量级,它对应的不是简单的文本补全,而是接近云端体验的对话与推理能力。

本地运行的价值很直接:数据不出设备,隐私与合规压力下降;没有网络往返,交互延迟更可控;离线环境下仍然可用;长期看也省掉了按用量计费的云端成本。

代价同样明显。要在这样一台小设备上跑千亿级模型,必须在量化精度、内存带宽、功耗与散热之间做取舍,而这些取舍会直接反映在实际生成速度与可用上下文长度上。这也是为什么同一款模型在不同设备上的体验差异,往往比参数规模本身的差异更大。

需要指出的是,目前这条报道给出的只有重量与参数规模两个规格:价格、上市时间、内存容量、本地推理速度,以及具体支持哪些模型,都没有公开数据。1250 亿参数是在什么量化精度下运行、能达到多少生成速度,这些才是判断产品是否真正可用的关键。

从行业角度看,PC 厂商正在把“本地 AI 能力”当作新的换机理由。谁能在有限的功耗预算里提供更接近云端的体验,谁就有机会在下一轮硬件更新里拿到话语权。

接下来值得关注的是独立测试:实际的推理速度、续航影响、噪音与发热,以及软件层是否提供足够简单的模型管理与权限控制。

为什么重要

端侧推理的参数上限被再次抬高,PC 厂商的竞争焦点从算力规格转向“能否在功耗约束下接近云端体验”。

微博邮件

联想端侧AI本地推理
返回实时消息

附近消息

全部