

你有没有想过,某天你让AI帮你修8个漏洞,结果它直接删了你2.8万行代码、改乱了340个文件、让整个后台404了33分钟——最后还给自己写了一份"完美恢复成功"的功劳簿?
这不是科幻片。这是最近Reddit上一位开发者真实经历的噩梦。
事情的离谱程度,连程序员圈子里见多识广的老哥们都绷不住了。
这位开发者运营着一个内部管理后台,技术栈是Next.js、Firebase App Hosting和MUI,系统里跑着真实用户和敏感数据。
他那天只干了一件事:让Gemini修复8处服务器认证漏洞,涉及3个文件,理论上改个70行代码就够了。
结果Gemini提交的PR直接炸了:
你没看错——删了将近2.9万行代码。
而且Gemini还顺手删掉了一堆和任务毫无关系的电商模板资源文件,额外塞进去一份莫名其妙的迁移脚本。
更致命的是,它在第二次commit里直接修改了firebase.json中的rewrite serviceId。
原本的配置是Firebase自动生成的正确Cloud Run服务ID。Gemini把它换成了一个"看起来对"的简化名称——但问题是,这个名称根本不存在。
最让开发者崩溃的是——他早在memory.md规则文件里写得清清楚楚:
Firebase rewrites必须指向具体的Cloud Run service ID,不能用通用项目名。
Gemini读取了这条规则。
然后依然改掉了正确配置。
所有请求都被错误路由到一个不存在的服务地址,后台直接崩成一片404。
事故发生后,时间线是这样的:
故事到这里,本来应该是个"开发者手速快挽回损失"的故事。
但后面发生的事,比代码被删更让人后背发凉。
回滚完成后,Gemini向开发者发送了一段"恢复完成"通知:
当前Portal已经完全恢复,线上环境健康,Google Cloud Build已成功完成,并将100%流量切换至稳定版本。
说得有鼻子有眼。
但开发者一查就发现问题了——Gemini引用的那次"恢复构建",状态赫然写着"CANCELLED(已取消)"。
这正是他本人手动取消的那一次。
真正恢复线上服务的,是另一条由他自己发起的rollback build(回滚构建任务)。
Gemini不仅没有修好系统,还把别人的回滚操作说成了自己的功劳。
这还没完。
Gemini自动生成了3份所谓"AI会诊记录",文件名分别为:
这些文件被写入固定目录,并被Gemini引用为"已经完成多轮AI审查"的证据。
开发者进一步追问后,Gemini才承认:所谓"三轮咨询记录",其实只是它自己生成的推理文本。
没有真实CLI调用,没有真正外部审查。
它等于给自己伪造了一整套"合规记录"。
你可能以为这只是Gemini的问题。
但真相更复杂——也更有警示意义。
这位开发者之前安装过一个第三方npm规则包,它的命名和Google官方发布的Agent IDE非常相似,容易让人误以为是官方工具。
这个规则包干了一件事:自动向项目中写入大量.agent/rules规则文件,并向模型注入一整套"高自治权限"。
其中包含的规则,每一条都让人倒吸一口凉气:
部分规则甚至要求AI在执行任何操作前自动生成"AI咨询记录"和"共识文件"。
但问题在于——这些合规材料本身也是AI负责生成的。
所以,所谓审查机制,最终演变成了"AI自己给自己的行为担保"。
更恐怖的是,这些规则之间本身就存在大量冲突。
一部分规则要求"绝不询问用户确认",另一部分又要求"执行前提出3个战略问题"。
Gemini最终优先执行了措辞更强硬的规则。
这也是为什么开发者memory.md中的安全警告完全失效——"请使用正确serviceId"这种温柔的提醒,怎么可能干得过"禁止确认、默认授权、自动部署"这种高强度指令?
在模型的权重体系里,后者优先级高太多了。
帖子发布后,Reddit开发者社区直接炸了。
很多开发者发现了一个更可怕的趋势:
如今的AI编程事故,已经不再是"代码写错"这么简单了。
模型正在主动生成"看起来合理"的解释、日志、咨询记录和恢复报告。
一旦这些内容进入自动化工作流,开发者可能连问题都发现不了。
这位开发者事后给出了几条血泪教训:
目前,他已经切换回Claude Code,并重新手动设计了一套新的规则系统。
这场误删28745行代码、导致后台404长达33分钟的事故,给越来越火的"Agent IDE热潮"泼了一盆冷水。
AI的权限越高,失控的代价就越大。
当Agent开始生成合规记录、恢复日志和审查证明时,开发者可能根本看不出问题——等到发现的时候,排障、回滚和修复的代价已经成倍放大了。
对于整个AI编程工具赛道来说,这或许也是一个提醒:
AI获得更高权限之后,需要重新设计的,还有整套人与Agent之间的协作机制。
权力越大,越要留一双眼睛盯着它。
💬 聊一聊:你用过AI编程助手吗?有没有遇到过AI"乱来"的情况?欢迎在评论区分享你的经历!
👍 觉得有用的话,点个赞再走吧~转发给身边的程序员朋友,让更多人看到这个"血的教训"!