

你有没有发现,手机里的AI助手,聊两句还挺灵,一旦让它读份长文档、翻一遍相册、排一趟出差行程,立刻开始"装傻"?
不是它不想帮忙,是它"脑子"太小——过去两年,端侧模型都在拼命瘦身,3B、7B才是主旋律。
但现在风向变了:30B级的大家伙,正被硬塞进手机里。
2024年的主旋律,一个字:小。
vivo蓝心3B,内存占用只有1.4GB;荣耀Magic6系列搭载70亿参数端侧大模型;苹果Apple Intelligence的端侧基础模型约30亿参数。当时vivo副总裁周围的态度很明确:端侧大模型不该盲目比参数,轻量化才是趋势。
理由特别现实——手机内存要留给系统、相机、游戏和一堆App。模型多吃1GB,你可能就少开两个应用。
今年情况明显不一样了。
9月22日,高通联合阶跃星辰等伙伴,把30B MoE模型完整部署在第六代骁龙8超级至尊版移动平台上,推理全程不用上云;9月16日,vivo宣布预研蓝心30B MoE;10月13日,面壁智能发布35B-A3B开源模型MiniCPM-V 4.7,还公布了iPhone上的实机运行结果。
短短一个月,30B级端侧模型接连亮相。
关键推手是MoE(混合专家)。传统稠密模型每次推理都要调用全部参数,MoE则把网络拆成多个"专家",每次只请几位出场。以30B-A3B为例,总参数300亿,但每处理一个Token,实际参与计算的只有约30亿。
面壁智能姚远打了个比方:整座图书馆的书你都能用,但回答问题时,只翻其中几个书架就够了。
于是,手机厂商又惦记起了Scaling Law——原来在有限算力下,也能摸到更大模型的容量红利。
姚远认为,MoE的优势集中在对知识广度和表征容量要求高的任务上:多模态感知、OCR与文档理解、STEM推理、长视频理解。
面壁公布的测试里,MiniCPM-V 4.7 35B-A3B在OCRBench、MMBench、Mathverse_MINI上分别拿到91.2、91.72、86.45,同级别里领先。
更有画面感的是骁龙峰会上的演示:模型读一封含日期、航班和活动地点的邀请邮件,理解内容,再结合日历完成行程规划、酒店与航班推荐——全程本地推理,预填充吞吐超每秒330个Token,解码超每秒28个Token。
这正是手机AI从"工具"走向"个人智能体"的样子:它得理解照片、视频、邮件、日程和你长期积累的个人信息,还得会调用系统功能去办事。
姚远说得很直接:MoE不等于"白拿30B"。
在纯文本代码、复杂指令跟随、GUI定位这些任务上,3B激活参数的MoE和7B稠密模型仍然互有胜负。实际激活的参数量,依然卡着部分任务的天花板。
而且,跨应用操作能不能真跑通,还要看系统权限开不开放、工具调用靠不靠谱。各家展示的测试环境、量化方案、任务类型并不统一,缺少真实场景的同台比较——30B MoE究竟能把复杂任务成功率提升多少,还得再观察。
30B MoE即便4bit量化,300亿参数对应的权重理论上也要约15GB存储空间。
手机塞得下,却很难长期全放进运行内存。于是出现了新玩法:大部分专家权重存闪存,用时再加载到内存。代价是——专家还没加载完,计算单元只能干等着。
姚远的原话是:"激活参数少只省了计算,35B权重本身还是要存、要读。"端侧MoE当下的瓶颈,就卡在内存容量和存储带宽。
面壁的LES(前瞻专家调度)技术,能在当前层计算时预测下一层要用的专家、提前读取权重,在16GB运行内存的iPad Pro M4上让平均解码速度提升约5倍;配合DSpark投机解码,在iPhone上仅用约3GB运行内存就跑出每秒20个以上Token。
芯片侧也在动:高通重新设计的Hexagon NPU把片上共享内存扩大50%,还引入面向Transformer的专用加速单元,30B MoE部署时运行内存需求相比常规方案降低超过50%。
矛盾就在这儿。
一边是成本上涨,集邦咨询指出2026年高端手机的运行内存配置更多集中在12GB,16GB被压缩;另一边,模型参数正往30B甚至更大冲。
功耗同样不轻松。周围透露,vivo 3B模型刚推出时运行电流800多毫安,优化一年后降到500至600毫安;对30B MoE,他认为低于500毫安才理想,到2028年底能压到600毫安上下,才谈得上实际可用。他预计届时留给端侧模型的内存预算,控制在4GB以内比较合理。
更难的是时间差。一颗手机芯片从规划到落地约24个月,而AI技术路线几个月就能翻篇。2024年大家还在把模型做小,2026年30B成了新方向,2028年这套架构还合身吗?
未来手机AI会依赖一个超大容量的MoE,还是靠多个小模型分工协同,目前仍在探索中。高通也提到,未来智能体可根据任务动态选择不同的专用模型。路线不同,对芯片内存、带宽、调度的需求就不同。
好在围绕MoE做的优化也有通用价值——更大的共享内存、更顺的数据通路、低比特计算,同样能服务其他架构和多模态任务。
模型可以迅速掉头,芯片却必须提前两年下注。
这场关于端侧大模型的探索,真正的答案不在跑通那一刻,而在两年后用户愿不愿意为它多掏钱。
你觉得,手机上真的需要一个30B的模型吗?还是小模型多协同就够了?评论区聊聊你的看法~
如果这篇让你有点收获,点个赞、转发给关心手机AI的朋友,咱们下期接着扒技术背后的生意账。