郭震 AI公众号:郭震AI

实时 AI 消息

高通发布两款主打 AI 的新手机芯片

高通推出两款新的智能手机芯片,并把端侧 AI 能力作为主要卖点。公司表示,其中定位最高的那颗芯片能够在本地运行 300 亿参数的混合专家模型,这意味着部分大模型推理可以不再依赖云端。

发布时间
高通发布两款主打 AI 的新手机芯片
图源: techcrunch.com

高通发布两款新的智能手机芯片,并把端侧 AI 能力放在宣传的中心位置。

据高通介绍,其中定位最高的芯片能够在本地运行 300 亿参数规模的混合专家(MoE)模型。这里的关键词是“本地”——推理发生在设备上,而不是绕回云端数据中心。

混合专家架构的特点是模型总参数量很大,但每次推理只激活其中一部分。这正好契合手机这类内存和功耗都受限的设备:模型可以更大,单次计算量却保持在相对可控的范围内。

300 亿这个数字值得单独拿出来看。此前能稳定在手机上运行的模型多在十亿参数级别,把规模推到 300 亿意味着端侧可以承载的任务类型明显变宽。

对用户来说,最直接的变化是隐私与可用性。本地推理不必把输入上传到服务器,离线或弱网环境下也能继续使用;对厂商而言,则可以把一部分云端推理成本转移回设备。

当然,芯片规格与实际体验之间还有距离。运行速度、功耗、发热以及模型实际采用的量化程度,都会决定这样的能力在日常使用中是否真的可用,这些需要等终端上市后的实测来验证。

接下来要看的是哪些手机厂商会首发搭载这两款芯片,以及开发者能否围绕本地 300 亿级模型做出真正有别于云端的应用。

为什么重要

端侧可承载的模型规模上探,会推动更多推理从云端迁移到手机本地。这既改变隐私与可用性的边界,也重塑手机厂商与云服务商之间的成本分工。

微博邮件

QualcommChipsOn-device AI
返回AI日报

附近消息

全部