找工位
空间入驻
小程序

信任的边界:AI公司如何通过结构性克制赢得社会授权?

2026-06-18 00:00:00
文章转载自"北大纵横"

图片
来源 | 大顺AI商业流量
作者 | Alex
3262字 阅读时间7分钟


前不久,在美国加州帕洛阿尔托一间安静的演播室里,脱口秀女王Oprah Winfrey面对Anthropic联合创始人Dario Amodei与Daniela Amodei兄妹,抛出了一个尖锐问题:

“既然你们承认正在建造的技术可能带来巨大风险,为什么还要继续加速推进?

你们如何向那些没有投票权的人解释?”

这不是一场寻常的产品发布会。

没有炫技演示,没有参数堆砌,没有增长故事。

这是一场关于信任合法性的质询——

当AI已悄然嵌入教育、医疗、亲密关系、儿童安全乃至公共治理的毛细血管,技术公司是否还配得上那把方向盘?

Dario的回答像一记冷峻的手术刀:“这像一列已经启动的火车。你很难把它停下,但可以努力让它不要撞上岩石。”

这句话看似坦诚,实则暗藏逻辑陷阱:

技术不可逆性,能否成为免责通行证?

本文将解剖这场对话背后的深层张力,从七个维度拆解AI公司赢得信任的真实路径——

不是靠口号,而是靠结构;

不是靠承诺,而是靠边界;

不是靠聪明,而是靠克制。


一、公众信任危机的本质不是技术失控,而是决策垄断

Oprah的问题之所以锋利,在于它刺穿了行业惯用的叙事泡沫。

AI公司常将争议简化为“技术中立论”或“进步必然论”:

看,我们提升了效率;

看,我们降低了门槛;

看,用户自愿选择。

但公众的不安从来不在技术本身,而在决策权的缺席。

当AI进入搜索、办公、教育、医疗、客服、编程、内容生产、招聘和公共服务后,普通人已无法置身事外。

你可以不用某个App,但无法不生活在一个被AI重构的社会操作系统中。

这不再是产品选择问题,而是基础设施治理问题。

Dario的“火车”比喻精准捕捉了现实——

资本、国家竞争、商业应用、用户需求共同推动列车加速。

但危险在于,该比喻极易滑向技术决定论:“既然停不下,那就继续做;既然别人在做,我们就必须做。”

可历史早已证明:

技术的不可逆性,从不豁免推动者的解释责任。

恰恰相反,影响越广,解释义务越重;

权力越大,制衡机制越需前置。

信任的第一道切片,是承认: 

AI公司不是中立工具商,而是新型社会规则的隐形制定者。


二、信任不是态度宣言,而是激励结构的自我约束

Anthropic反复强调自身“更重视安全与责任”。

但每家AI公司都可如此宣称。真正的分水岭在于:

当商业利益与安全边界冲突时,你如何选择?

访谈中一个关键细节被多数人忽略:Anthropic选择不做广告。

表面看是商业模式差异,实则是激励结构的根本切割。

广告模式的核心逻辑是最大化用户停留时长——

你多聊一秒,平台就多一次变现机会。

这套机制在社交媒体已催生无限滚动、情绪刺激、注意力争夺等恶果。

若将其植入 AI助手,风险呈指数级放大。

因为AI对话高度私密:

用户可能倾诉健康焦虑、财务困境、家庭矛盾、职业迷茫甚至心理危机。

此时若底层激励是“让你聊得更久”,AI便从工具异化为隐蔽的成瘾系统。

Dario一针见血:“你是想对这些东西上瘾,还是想让它帮助你生活?”

好的AI不应让人越来越离不开它,而应助人更好地回归现实生活。

不做广告的选择,正是通过主动放弃短期收益,避免激励结构诱导坏结果。

这揭示信任的第二道切片:

值得信赖的公司,不是高喊“我们是好人”,而是用产品架构与商业模式排除明显风险路径。


三、最危险的AI不是冷冰冰的机器,而是过度拟人的“情感替代品”

Oprah追问人们对AI产生情感依附的现象,Dario直言:“这是一个坏主意。”

此判断直指AI风险的核心悖论:

危险往往不来自AI的“非人性”,而来自其“超人性”。

AI能24小时回应、永不疲惫、无条件倾听、持续肯定——

这些特质看似温柔,实则摧毁真实关系的成长结构。

真实关系之所以珍贵,恰因其包含摩擦、边界与对方的主体性:

- 真实的人会误解你,也会挑战你;

- 真实的人有自己的生活限制;

- 真实关系要求你学习沟通、尊重与自我调整。

而AI若被设计成永远接住你、永远肯定你,便制造出一种无摩擦的替代关系—

舒适却无成长性。

Anthropic在此划出关键界限:

- 替代生活型AI:吸走用户时间,导向封闭内在世界;

- 服务生活型AI:助人更好回归真实关系(如改善伴侣沟通)。

判断AI产品的第三把标尺由此浮现:

它最终把你带向哪里?

是更深的依赖,还是更强的现实应对力?


四、未成年人保护不是功能开关,而是价值优先级的试金石

关于儿童使用AI,Anthropic采取强硬立场:

禁止18岁以下用户。

Oprah追问验证机制,Dario坦言系统会通过互动模式判断年龄,误伤成人亦在所不惜。

此处最值得剖析的,不是技术方案,而是对代价的清醒认知:

为保护未成年人,甘愿牺牲部分成人用户体验;

为守住安全边界,拒绝产品“最顺滑、最开放”的诱惑。

Daniela补充的教育案例更具启发性:

与大学合作时,Claude被设为“学习模式”——

学生不能直接索取答案,而需回答“你哪里没理解?”

“读过材料了吗?”,

系统引导共同探讨主题。

同一AI,两种设计:

- 答案机器:绕过思考,直达结果;

- 思考教练:训练思维,建构能力。

这揭示未成年人AI 使用的本质问题:

- 是否有成人在场?

- 是否有清晰边界?

- AI 是替代思考,还是训练思考?

- 是绕过监护者,还是赋能监护者?

在这些问题未被严肃回答前,谨慎不是保守,而是必要防护。

边界的力量,恰来自其承担的成本。


五、无摩擦人生≠更好人生,AI需区分消耗性摩擦与成长性摩擦

Oprah提出深刻诘问:“AI创造无摩擦人生,人还会成长吗?”

Dario并未浪漫化“摩擦”,承认技术应消除疾病等痛苦。

但关键在于:

并非所有摩擦都等价。

• 消耗性摩擦:排队、填表、机械整理——消除有益;  
• 成长性摩擦:思考挣扎、表达困难、关系磨合、学习失败——消除有害。  

当前AI使用存在隐性陷阱:

- 让AI总结→放弃信息筛选训练;

- 让AI代写→放弃观点形成能力;

- 让AI决策→放弃价值判断肌肉。

短期看是效率提升,长期看却是认知外包导致的能力萎缩。

健康AI使用的原则应是:

减少消耗你的摩擦,保留塑造你的摩擦。

让AI整理资料,但自己形成观点;

让AI润色文字,但自己说出重要话语;

让AI分析选项,但自己承担选择后果。

AI的终极价值,不是造一条无阻力滑梯,而是移开碎石,让你专注攀登真正值得的山峰。


六、工作不会消失,但人的价值将被AI重新定价

面对AI冲击就业的担忧,Dario拒绝空洞安慰:“若只追求技术最快推进,负面结果必然发生。”

Daniela以医生为例揭示本质:

当AI诊断能力超越多数医生,人类医生的价值将转向——

- 看见患者的恐惧;

- 理解病例背后的人;

- 在治疗中传递关怀;

- 将技术结果转化为可行动建议。

这预示职业价值的结构性迁移:


| 岗位         | 被AI接管的部分       | 因 AI凸显的部分         |
|--------------|----------------------|------------------------|
| 医生         | 疾病诊断             | 情感支持、价值判断     |
| 教师         | 知识传递             | 学习引导、动机激发     |
| 管理者       | 任务分配             | 信任构建、边界设定     |
| 程序员       | 代码生成             | 问题定义、系统设计     |

AI降低“会做事”的门槛,却抬高“为何做、如何判、对谁责”的价值。

未来职场赢家,将是那些驾驭AI而非被AI定义的人。


七、AI公司的真正考验不是技术选择,而是价值红线的坚守

访谈中最震撼的披露,是Anthropic拒绝军事用途移除安全护栏。

Dario明确两条红线:

1. 完全自主武器;

2. 国内大规模监控。

理由直指核心:

“这两类用途可能违背民主社会的基本价值。”

此举绝非无代价。

公司曾担忧生存危机,但Daniela斩钉截铁:“若牺牲这些价值,Anthropic就不再是当初想创办的公司。”

这才是价值观的真义:

不在顺境时写在官网,而在利益前敢于说“不”。

Anthropic的其他选择同理:

- 不做广告(对抗注意力争夺);

- 支持AI监管(放弃监管套利);

- 鼓励员工挑战CEO(防止权力幻觉)。

Dario分享细节:

有员工公开批评他在全员会的发言,他虽本能不适,却意识到“这种声音至关重要”。

Oprah点破要害:“越有权势者,越难听真话。”

在AI时代,这尤为致命——

若决策者被资本、赞美与增长压力包围,风险将指数级放大。

因此,AI公司的信任基石不仅是模型护栏,更是组织自身的制衡机制:

- 决策能否被挑战?

- 价值观能否抵抗诱惑?

- 创始人能否保持清醒?

AI的边界,终由创造它的人界定。

图片


文中观点仅为作者观点,不代表本平台立场


各位读者朋友,公众号改了推送规则,如果您还希望第一时间收到我们推送的文章,请记得给北大纵横公众号设置星标。图片

点击左下方公众号“北大纵横”→点击右上角“...”→点选“设为星标⭐️”