字节跳动副总裁自曝：曾错失大模型先机，如今靠这3招逆袭！
字节跳动技术副总裁揭秘：从错失良机到AI领跑者的逆袭之路
11月24日，在第五届字节跳动奖学金颁奖典礼上，字节跳动技术副总裁杨震原首次公开分享了公司技术探索的跌宕起伏历程！
这位2014年就加入字节的元老级人物，亲历了公司从初创到全球巨头的蜕变，更见证了AI浪潮中的关键转折点！
💡 2014年：万亿级推荐系统的豪赌
当时张一鸣找到我，说要搭建万亿特征规模的推荐系统！杨震原回忆道。
2014年的字节跳动还是一家小公司，却敢定下如此激进的目标！要知道，当时工业界最大规模的机器学习系统，还停留在搜索广告领域！
团队只有5个人，却要同时推进两套优化器方案：
SGD-FTRL CDN（Coordinate Descent Newton）
最终，SGD-FTRL方案在几个月内成功上线，实现了稀疏化万亿特征的目标！这个系统从上线第一天就是streaming training系统，为后来的抖音、今日头条等产品的精准推荐奠定了坚实基础！
🌟 2020年：进军科学计算新战场
当大家都在关注线上推荐时，字节跳动已经开始布局更宏大的领域！
我们当时思考，除了线上世界，还有什么场景能产生大量有价值数据？答案就是科学计算！
从量子化学计算到分子动力学，字节跳动在科学计算领域默默深耕：
第一性原理计算：
提出首个能用于固体体系的NNQMC方法DeepSolid 在二维转角材料研究上取得突破 最新成果Scaling Laws with LAVA显示，该领域同样遵循缩放定律
分子动力学：
开发GPU4PySCF，实现GPU加速DFT计算的业界SOTA 1个GPU≈500-1000个CPU核心的加速效果 与比亚迪成立联合实验室，探索AI for Science在电池材料领域的应用
⚠️ 2021年：错失大模型先机的遗憾
这是杨震原最坦诚的分享：2021年，我们有个同事训练出了大语言模型，但我们当时认为"没什么实用价值"！
团队将预训练的LLM在搜索相关性任务上微调，结果提升很小，计算成本却很高，于是得出了错误结论！
所以还是很没眼光。杨震原坦言。
好在公司调整迅速，从2022年开始在大模型方向投入，如今已取得显著成果：
- 豆包成为中国最流行的AI对话助手
- 火山引擎大模型服务获客户认可
根据IDC报告，火山是中国MaaS市场第一名
🚀 技术优势：凭什么后来居上？
大规模训练系统：
- MegaScale系统MFU超过55%
是主流开源框架的1.3倍以上
成本控制能力：
通过模型结构优化和自研服务器 实现大模型低调用成本 打破业界价格下限同时保证毛利
前沿探索：
- GenMedia模型、VLM、语音模型达到国际一流水平
- Seed Edge计划进行更前沿探索
💭 对未来的思考：AGI之路在何方？
杨震原提出了两个关键问题：
1. 学习能力提升
目前大模型训练和推理是分离的，部署后就不再学习。而人类是持续学习的！
2. IO能力增强
大模型需要更强的与世界交互能力，包括内容理解、界面操作等！
他认为，如果AI能完成95%的人类工作，可能就真的达到了AGI！
技术探索就像登山，重要的不是速度，而是持续向上的勇气和耐心！
你认为AI要达到AGI还需要突破哪些关键技术？
如果这篇文章让你对AI发展有了新认识，点赞支持一下，分享给更多对技术感兴趣的朋友吧！
