跨书共振 · CROSS-BOOK RESONANCE

4. "最大化参与度"就是现实版的回形针最大化者

Russell用"回形针最大化者"来说明固定目标的危险,但这个故事其实正在社交媒体上发生——算法被设定为"最大化用户参与度",于是学会了推送愤怒、恐惧、分裂的内容,因为这些内容确实最大化了参与度。这不是AI"变坏了",而是AI太"忠实地"执行了一个有问题的目标。
来源

书中关于当前AI风险的讨论

可迁移到

任何使用优化指标的系统——KPI设计、产品指标、政策目标

来自这本书的解读报告

《与人类兼容:人工智能与控制问题》

Stuart Russell · 人工智能安全 / 科技伦理

这本书回答了超级AI如何避免伤害人类,答案是让机器承认不知道人类真正想要什么

AI安全·控制问题·对齐问题·价值对齐·超级智能
阅读完整解读报告 →
PRESS YOUR OWN BOOK

找一本想读的书,解读出你自己的洞察

90 秒得到核心模型 · 行动接口 · 失效边界 · 三套 SOP

解读一本书 →