

还在为AI算力发愁?还在担心数据隐私问题?告诉你一个惊人的事实:现在只要4台Mac Studio,就能在家本地运行万亿参数的AI大模型!
这听起来像科幻小说,但苹果最新的macOS 26.2 Beta更新,真的让这一切变成了现实!
几个月前,牛津大学的两位天才——Alex Cheema和Seth Howes创办的Exo Labs公司,就展示了惊人的成果:他们把两台Mac Studio串联起来,成功在本地运行了百亿级参数的AI模型!
当时很多人觉得这只是个技术演示,没想到苹果官方竟然注意到了这个项目!
在最新的macOS 26.2 Beta中,苹果专门为Mac的AI集群能力进行了两大重磅升级:
你可能不知道,最新的M5芯片在每个GPU核心里都塞进了一个神经网络加速器!
这意味着什么?
MLX是什么?这是苹果专门为Apple Silicon开发的开源阵列框架,让开发者能在macOS上轻松部署和微调AI模型,而且完全本地运行!
之前Exo Labs用Mac Studio组集群时,遇到了一个大问题:macOS只能用古老的TCP-IP协议连接各个设备。
这就像用普通公路来运输F1赛车——完全发挥不出雷雳5的真正实力!
现在苹果终于解决了这个问题!他们开发了一套全新的雷雳5连接协议,专门为AI集群优化:
最厉害的是,这个方案效果堪比RDMA(远程内存直接访问),但完全不需要额外的硬件!
技术术语可能有点复杂,但效果很简单:
这种从「管线并行」到「张量并行」的转变,让AI模型的运行效率直接起飞!
在最新的Exo V3软件中,四台顶配的M3 Ultra Mac Studio集群,成功在本地运行了Kimi-K2-Thinking模型——一个量化后约800GB内存的一万亿参数大语言模型!
输出速度达到了惊人的25 token/秒!
你可能会想:花40万组个Mac集群,个人用户谁会这么干?
但对企业来说,这简直是天大的福音!
想想看,现在的主流闭源模型如Gemini 1.5和GPT-4,也都是1~2万亿参数的架构。这意味着:
传统企业部署AI面临的问题:
而Mac集群方案:
最有趣的是,这一切看起来像是「无心插柳」的结果:
但当AI时代真正来临时,这些看似不相关的技术积累,竟然完美地组合在了一起!
那些当初花十万元买Mac Studio做设计、剪视频的用户,现在突然发现:自己的设备价值倍增!不仅能做创意工作,还能运行万亿参数的AI大模型!
最重要的是,macOS 26.2 Beta是一次纯软件更新!这意味着:
这就像给你的Mac免费做了一次「AI性能大升级」!
技术储备的意义,就是在意想不到的时候发挥价值。
当整个行业都在追逐云端AI时,苹果却悄悄为本地AI部署铺好了路。这或许不是最初的设计目标,但却是最符合用户实际需求的解决方案。
你觉得本地AI部署会成为未来的主流吗?如果你有40万预算,会考虑组一个Mac AI集群吗?
如果觉得这篇文章对你有启发,别忘了点赞和分享给更多朋友!
