可迁移模型 · TRANSFERABLE MODEL
控制悖论——管住比你聪明的东西的逻辑困境
传统控制依赖"比被控制者更聪明"(上级比下级更了解情况)。但当被控制者超越控制者时,传统控制逻辑崩溃——你需要在更聪明的对象面前保持控制,这在逻辑上类似于"棋艺差的人想赢棋艺好的人"。唯一的出路不是"更聪明地控制",而是"让对方从内部想被控制"。
来自这本书的解读报告
《超级智能:路线图、危险性与策略》
这本书回答了超级智能可能毁灭人类的问题,它的答案是我们只有一次机会在它诞生前解决对齐问题。
阅读完整解读报告 →