

就在2025年底,整个AI圈都被一个消息炸翻了天!谷歌的Gemini 3横空出世,直接"横扫"了所有权威基准测试!
什么概念?就是那种"世界最强多模态理解"、"交互最深智能体"、"推理怪兽"的称号,全被它一个人包揽了!连谷歌CEO桑达尔·皮查伊都亲自站台,直言这是"迄今为止最智能的模型"!
但最让人好奇的是:Gemini 3到底强在哪里?它的成功秘诀到底是什么?
最近,Gemini 3预训练负责人之一、RETRO论文的合著者Sebastian Borgeaud首次公开揭秘!听完他的分享,我才明白:原来AI行业的游戏规则,已经彻底改变了!
Sebastian Borgeaud说出了一个关键转变:谷歌已经不再是单纯"做模型",而是转向"做系统"!
这是什么意思?
DeepMind联合创始人戴密斯·哈萨比斯也说过同样的话:Gemini 3的强大,根源就在于"研究、工程和基础设施"的完美结合!
这就像造车一样!
以前大家只关注发动机性能,现在要考虑的是:底盘、悬挂、电子系统、智能驾驶...整个系统的协同工作!
行业里一直有个争议:"预训练Scaling Law已死"!
但Sebastian Borgeaud给出了明确回应:"规模依然重要,但架构创新和数据创新的权重已经显著提升!"
简单说就是:
更震撼的是,他点出了行业的大趋势:AI已经从"无限数据"时代,正式迈入"数据有限"的新阶段!
这意味着什么?
以后再也不能靠堆数据来提升模型性能了!必须靠更聪明的训练方法、更高效的架构设计!
面对数据有限的挑战,很多人想到了合成数据!
但Sebastian Borgeaud的态度相当审慎:"这确实是个有意思的方向,但必须极度谨慎!"
为什么?
他给出了一套稳妥方案:
但这里有个灵魂拷问:"用合成数据训练出的模型,能否超越它的"老师"?"
这个问题,连Sebastian Borgeaud都说需要更多研究!
在播客中,Sebastian Borgeaud还透露了未来预训练的重点方向:
如果上下文越长,模型推理时可携带的信息就越多!
Gemini 1.5在长上下文能力上已经有了很大跃迁,未来还会有更多创新!
更长期的方向,是把检索与搜索更深地融入训练!
让模型把"会检索"变成内生能力,而不是上线后再外挂工具!
基础模型一旦预训练结束,知识就基本定格了!
明天出了新论文、新发现,模型不会自己更新!
现在的解决方案主要在产品推理侧:接入检索,把最新信息实时拉进上下文!
但未来的目标是:让模型能在真实世界的数据流上持续训练,实现真正意义上的"持续更新"!
Sebastian Borgeaud特别强调了评估的重要性!
"如果评估体系跟不上,很容易陷入"看似提升"的假象内耗!"
他指出了评估需要跨越的两道鸿沟:
正因为如此,谷歌内部搭建了专属的评估体系!
外部基准很容易被污染,保留内部的评估阵地才是关键!
随着用户规模不断扩大,推理预算变得越来越敏感!
预训练环节也必须为"上线落地"负责:
这就像造车不仅要性能好,还要省油、维护成本低!
对于Gemini 3目前的表现,Sebastian Borgeaud直言"超出预期"!
他认为,模型是真的越来越聪明了!
这种进步不仅体现在基准测试的屠榜成绩上,更反映在真实工作场景的使用体验中!
展望未来,他预测:
"进步的脚步看不到尽头,至少未来一年,这种加速前进的势头不会放缓!"
对于想进入这个领域的学生或博士生,Sebastian Borgeaud给出了宝贵建议:
"越来越重要的是:能做研究,同时理解系统层面!"
我们在构建复杂系统,能理解从TPU到研究的整套堆栈,是一种巨大优势!
真正的智能突破,不是靠单一技术的奇迹,而是无数细节持续优化的累积!
看完谷歌工程师的深度揭秘,你有什么感想?
你觉得AI模型的未来会走向何方?是继续追求更大规模,还是转向更聪明的训练方法?
欢迎在评论区分享你的看法!如果觉得这篇文章对你有启发,别忘了点赞和分享给更多朋友!让我们一起见证AI时代的精彩变革!
