实时 AI 消息
NVIDIA推理软件栈如何实现最低Token成本
NVIDIA发布了新的推理软件栈，帮助AI工厂在保证延迟目标的同时，降低每Token的成本。
发布时间
随着组织从AI试点转向生产级AI工厂，基础设施决策已从峰值芯片规格转向每Token成本——每美元、每瓦特能产生多少有用Token。NVIDIA的推理软件栈与NVIDIA GPU、CPU、网络和系统协同设计，并由广泛的开源生态系统增强，旨在提供最低的Token成本。该软件栈通过优化模型推理的各个环节，减少资源浪费，提高效率。这一发布对于大规模部署AI的企业具有重要意义，因为它直接影响了AI服务的经济性。来源为NVIDIA官方博客，提供了具体的技术细节。
为什么重要
该发布将显著影响AI推理的经济性，推动更多企业采用AI工厂模式。
附近消息
全部06/30 23:00
播客平台Riverside进军Newsletter领域，推出AI驱动的内容生成功能
知名播客录制平台Riverside宣布用户可利用AI基于播客录音自动生成Newsletter，打通播客与邮件订阅两大内容渠道。
06/30 23:00
亚马逊成立10亿美元AI前沿部署组织，跟进OpenAI和Anthropic策略
亚马逊宣布成立一个名为FDE（Frontier Deployment Engineering）的新组织，投入10亿美元，工程师将进驻企业客户现场部署专用AI Agent。
06/30 22:59
因算力容量紧张，Google切断Meta的Gemini AI访问权限
据MoneyCheck报道，Google因算力容量紧张（compute capacity crunch），切断了Meta对Gemini AI的访问权限。
06/30 23:02
Anthropic推出8.5万美元AI岗位，不要求大学学历或工作经验
AI公司Anthropic发布年薪8.5万美元的AI相关岗位，不要求大学学历或工作经验，引发行业对AI人才招聘模式变革的关注。