跳转至

"小钢炮"MiniCPM-S,一款源于面壁智能的开源AI模型,以其卓越的能效比和低能耗特性备受瞩目,专注于提供高效运行解决方案。

编辑日期:2024年07月06日

据悉,面壁团队在2024年推出了MiniCPM-2.4B,该模型在保持与GPT-3相当的性能的同时,参数量却缩减至24亿,实现了知识密度约86倍的增长。据他们透露,这仅仅是个开端——通过不断优化Scaling Law,他们能够提升模型的知识密度,进而训练出更高效、性能更优的基础大模型(减少参数规模,降低数值位宽,优化结构)。

小钢炮minicpms一款源于面壁智能的

此次公开的 MiniCPM-S 模型借助“稀疏激活”技术,在保持相同参数量的情况下,有效降低了大型模型推理过程中的能量消耗。稀疏度增加意味着每个词汇单元(token)激活的神经元数量减少,从而进一步降低大模型的推理成本和能耗。

MiniCPM-S 1.2B 模型运用了极度稀疏的结构设计,通过引入 ReLU 激活函数,并结合逐步约束的稀疏性感知训练方法,巧妙地突破了大型主流模型在处理稀疏激活问题时所遇到的难题。

小钢炮minicpms一款源于面壁智能的

官方指出,MiniCPM-S 1.2 与同等规模的密集型模型 MiniCPM 1.2B 相比,展现出了以下独特属性:

小钢炮minicpms一款源于面壁智能的

MiniCPM-S 1.2B 声称实现了前所未有的知识浓缩增强,其密度是同等规模密集型模型MiniCPM 1.2B的2.57倍,更是Mistral-7B的12.1倍。

提供开源链接:

除此之外,面壁还推出了业界首个移动端大模型工具集——MobileCPM,使开发者能够轻松地将大模型整合到应用程序中,实现无缝即用。这个工具包包括开源的移动端大模型、SDK开发工具包以及多样化的功能意图,如翻译和摘要,能够全面满足不同场景应用的需求,提供个性化的大模型App定制服务。它为开发者准备了基础版、精简版和全功能版三种模式,预装了面壁最新的高效稀疏架构模型MiniCPM-S 1.2B。

小钢炮minicpms一款源于面壁智能的

小钢炮minicpms一款源于面壁智能的

小钢炮minicpms一款源于面壁智能的

现已启用对 iOS 系统的支持,Android 版本也将随即推出。敬请留意:我们提供开源地址及 TestFlight 公开测试链接。

大家在看

京ICP备20031037号-1 | AI之家 | AI资讯 | Python200 | 数据分析