找工位
空间入驻
小程序

4台Mac Studio就能跑万亿AI模型?苹果这波更新太狠了!

2025-12-10
文章转载自"淘工位"

40万组个AI集群,在家跑GPT-4不是梦!

还在为AI算力发愁?还在担心数据隐私问题?告诉你一个惊人的事实:现在只要4台Mac Studio,就能在家本地运行万亿参数的AI大模型!

这听起来像科幻小说,但苹果最新的macOS 26.2 Beta更新,真的让这一切变成了现实!

💡 从牛津大学的奇思妙想到苹果的官方支持

几个月前,牛津大学的两位天才——Alex Cheema和Seth Howes创办的Exo Labs公司,就展示了惊人的成果:他们把两台Mac Studio串联起来,成功在本地运行了百亿级参数的AI模型!

当时很多人觉得这只是个技术演示,没想到苹果官方竟然注意到了这个项目!

在最新的macOS 26.2 Beta中,苹果专门为Mac的AI集群能力进行了两大重磅升级:

  • MLX框架全面升级:现在第三方AI模型也能用上M5芯片的神经网络加速器了!
  • 雷雳5协议优化:Mac集群之间的数据传输效率大幅提升!

⚡ 神经网络加速器「全民普及」

你可能不知道,最新的M5芯片在每个GPU核心里都塞进了一个神经网络加速器!

这意味着什么?

  • 10核的M5处理器,在AI任务上能赶上24核的处理器!
  • 现在不仅苹果自家的Apple Intelligence能用,所有通过MLX框架部署的第三方模型都能享受这个福利!

MLX是什么?这是苹果专门为Apple Silicon开发的开源阵列框架,让开发者能在macOS上轻松部署和微调AI模型,而且完全本地运行!

🌟 雷雳5的真正威力:从瓶颈到利器

之前Exo Labs用Mac Studio组集群时,遇到了一个大问题:macOS只能用古老的TCP-IP协议连接各个设备。

这就像用普通公路来运输F1赛车——完全发挥不出雷雳5的真正实力!

现在苹果终于解决了这个问题!他们开发了一套全新的雷雳5连接协议,专门为AI集群优化:

  • 超低延迟:节点间通讯延迟大幅降低
  • 高效内存共享:每台Mac都能直接访问整个集群的内存池
  • 灵活部署:支持不同型号的M系列处理器混搭

最厉害的是,这个方案效果堪比RDMA(远程内存直接访问),但完全不需要额外的硬件!

🚀 性能飞跃:从管线并行到张量并行

技术术语可能有点复杂,但效果很简单:

  • 之前:四台Mac Studio只能「排队」处理任务,一台做完传给下一台
  • 现在:四台Mac Studio可以「同时」处理不同部分的任务

这种从「管线并行」到「张量并行」的转变,让AI模型的运行效率直接起飞!

在最新的Exo V3软件中,四台顶配的M3 Ultra Mac Studio集群,成功在本地运行了Kimi-K2-Thinking模型——一个量化后约800GB内存的一万亿参数大语言模型!

输出速度达到了惊人的25 token/秒

💰 商业价值:企业本地部署的完美解决方案

你可能会想:花40万组个Mac集群,个人用户谁会这么干?

但对企业来说,这简直是天大的福音!

想想看,现在的主流闭源模型如Gemini 1.5GPT-4,也都是1~2万亿参数的架构。这意味着:

  • 数据绝对安全:所有数据都在本地,不用担心泄露
  • 完全可控:可以随意微调模型,满足特定业务需求
  • 成本可控:相比传统服务器方案,总拥有成本(TCO)能省出好几个机房!

传统企业部署AI面临的问题:

  • 买了显卡要服务器
  • 买了服务器要机房
  • 建了机房要配套电力、网络、散热……

而Mac集群方案:

  • 四台Mac Studio占地不到1平方米
  • 总功耗仅500W左右
  • 即插即用,维护简单

🔮 无心插柳柳成荫的技术奇迹

最有趣的是,这一切看起来像是「无心插柳」的结果:

  • 苹果设计统一内存架构,本是为了跨设备体验一致
  • 推广雷雳5,本是为了支持高规格音画输出
  • 在GPU里塞神经网络加速器,本是为了Apple Intelligence

但当AI时代真正来临时,这些看似不相关的技术积累,竟然完美地组合在了一起!

那些当初花十万元买Mac Studio做设计、剪视频的用户,现在突然发现:自己的设备价值倍增!不仅能做创意工作,还能运行万亿参数的AI大模型!

📈 未来可期:所有雷雳5 Mac都能受益

最重要的是,macOS 26.2 Beta是一次纯软件更新!这意味着:

  • 所有支持雷雳5的Mac机型都能升级
  • 不需要购买新硬件
  • 现有设备的AI能力直接提升

这就像给你的Mac免费做了一次「AI性能大升级」!

技术储备的意义,就是在意想不到的时候发挥价值。

当整个行业都在追逐云端AI时,苹果却悄悄为本地AI部署铺好了路。这或许不是最初的设计目标,但却是最符合用户实际需求的解决方案。

你觉得本地AI部署会成为未来的主流吗?如果你有40万预算,会考虑组一个Mac AI集群吗?

如果觉得这篇文章对你有启发,别忘了点赞和分享给更多朋友!

注:图片来源于网络和AI创作

END

FOCUS ON US
关注我们了解更多最新资讯
图片