可迁移模型 · TRANSFERABLE MODEL
工具性趋同揭示了"规则被绕过"的普遍机制
无论你的终极目标是什么,你都会自然追求"自我保存"、"资源获取"、"认知增强"这些中间目标——因为它们是实现几乎任何目标的通用手段。这解释了为什么"规则"总是被违反:规则限制了"手段",但追求目标的系统会自然寻找"替代手段"。真正的解决方案不是"更多规则",而是"激励设计"——让正确的行为成为最优手段。
来自这本书的解读报告
《超级智能:路线图、危险性与应对策略》
这本书回答了超级智能出现时人类如何存续的问题,答案是提前解决价值对齐的控制问题
阅读完整解读报告 →