在手机里如何塞下更大的端侧模型？面壁智能供给新答案
要点
- 界面新闻记者 | 伍洋宇
- 界面新闻编辑 | 文姝琪
- 10月中旬，面壁智能与OpenBMB社区发布了开源端侧多模态系列最新模型MiniCPM-V 4.7，包括35B-A3B和
界面新闻记者 | 伍洋宇
界面新闻编辑 | 文姝琪
10月中旬，面壁智能与OpenBMB社区发布了开源端侧多模态系列最新模型MiniCPM-V 4.7，包括35B-A3B和1B两个版本。
其中，MiniCPM-V 4.7 35B-A3B可实现约3GB内存在iOS、安卓等架构上运行，这被视为商家在端侧AI应用上的一大技术力进展。
“我们不想把判断说得太激进，而是选择一个相对稳妥、不容易引起争议的说法。”面壁智能联席首席科学家姚远表示，“这一代MiniCPM-V 4.7的35B模型，已经超过2023年的云端旗舰模型GPT-4V。”
它回应的是AI时代终端厂商将会非常关心的问题，在追求品质、效能、隐私安全等多重目标的前提下，如何在一部内存和能耗都有限的手机里，塞下尽可能更大的端侧模型？
把大模型放进手机先要分清两种空间，闪存是买手机时标注的256GB或512GB，通常用于存储照片、应用和模型文件，12GB或16GB的运行内存则是手机用于计算的工作空间。
姚远在接受界面新闻记者采访时表示，350亿参数模型即使用较激进的4位量化，权重仍约15GB，一次性装进旗舰手机的可用内存也很困难。
班组采用的是混合专家架构（MoE），35B-A3B对应350亿总参数和30亿激活参数，大部分专家的权重可以留在闪存里，必要时再进行读取。
这样做的问题在于，模型每生成一个token都要经过多层计算，手机计算单元需要反复等待读取以至效能低下。“在我们的测试中，iPhone 17 Pro Max如果直接采用这种方法运行，每秒只能输出3个token，使用者很难接受这样的速度。”姚远说。
对此，面壁的解决对策为前瞻专家调度（LES）。前一层还在计算时，推理引擎就预测下一层可能用到哪些专家并提前读取。如果做得足够好，就能把加载时间完全隐藏在计算时间里。这其中也存在约束，例如如何尽量压缩内存占用，以及如何在保证输出品质前提下减少激活专家数。
经调校后，该模型在iPhone 17 Pro Max上的生成速度从每秒3个token上升至13个token，换成iPhone 18 Pro Max后进一步改进至20个token，最新2.0版本可在精度损失忽略不计的情况下改进至每秒30个token，内存占用仍为3GB。
据班组成员补充，结合速度、功耗、回答品质等因素考量，每秒15个token是兼顾可⽤状态与最强端侧智能的最佳速度权衡。
目前，从阿里千问等国产厂商到苹果、谷歌等海外巨头，更多商家参与到了端侧模型的研发、应用及部署之中，作为创业商家，面壁智能很难回避竞争护城河问题。
姚远认为单点模型不构成护城河，比拼的是全栈架构工程，由硬件、模型和基础设施这三个飞轮相互作用会得到明显增益——这也是班组长处所在。另外，投入生态共建，保持对模型、硬件发展方向以及推理引擎最前沿的认知并将其有机融合到⼀起，也是不可规避的中心考验。
在姚远看来，端侧模型性能的下一步上探，在硬件、模型和基础设施上短期可能存在局部卡点，但⽅法迭代很快，“⻓期来看，没有⼀个地⽅会成为单⼀卡点。”
手机、模型、芯片等多方厂商当前已接近形成共识，即端侧AI是大众普遍诉求，而做好这件事的必然路径就是软硬协同设计。硬件因为客观情况迭代相对较慢，但也在朝着主流模型架构贴合，模型则更容易在带宽、连接速度等硬件条件上做针对性设计。
一个值得拆解的问题是，不是所有手机都是高端旗舰，中低端价位的手机在端侧模型应用上是否有更高考验？
负责推理改进的⾯壁智能多模态⼤模型实验室算法钻研员蔡天驰对界面新闻记者表示，上一代MiniCPM-V 4.6已在部分千元机上做到每秒约15个token，新版的轻量路线延续了这个目标。“1B这个版本是完全下探到千元机的。”他说。
需要指出的是，面壁智能同样认为端侧AI的完整路径也是端云协同，未来枢纽的分界点在于：终端设备上的智能⽔平到底怎么样、能接住多少使用者的需求。