郭震 AI公众号:郭震AI

实时 AI 消息

Hugging Face 发布 @huggingface/kernels:200+ WebGPU 内核加速本地 AI 推理

Hugging Face 发布了 @huggingface/kernels 开源库,提供 200 多个 WebGPU 内核,用于在浏览器中加速本地 AI 推理。该库有望显著降低开发者构建端侧 AI 应用的门槛,推动隐私友好的本地部署。

发布时间
Hugging Face 发布 @huggingface/kernels:200+ WebGPU 内核加速本地 AI 推理
图源: huggingface.co

Hugging Face 发布新的开源库 @huggingface/kernels,包含 200 多个 WebGPU 内核,用于在浏览器中加速本地 AI 推理。

该库在 Hugging Face 官方博客上正式介绍,面向希望在浏览器端直接运行模型、减少对云端依赖的开发者。

WebGPU 是浏览器中的现代 GPU 计算接口,让网页应用可以直接调用显卡算力;这套内核库正是为了提升端侧推理性能而设计。

对开发者而言,200 多个现成内核意味着无需从零编写底层 GPU 代码,即可在浏览器中运行各类 AI 模型。

这一发布契合 Hugging Face 推动本地化、隐私友好的 AI 部署方向,也为 Web AI 应用提供了更高效的底层基础设施。

后续看点包括该库支持的模型范围、跨浏览器兼容性表现,以及社区基于这些内核构建的端侧应用生态。

为什么重要

@huggingface/kernels 为浏览器端的本地 AI 推理提供了现成的高性能内核,将显著降低 Web AI 应用的开发门槛并推动隐私友好的端侧部署。

微博邮件

Hugging FaceWebGPUOpen Source
返回实时消息

附近消息

全部