正交性论题：智能水平和目标内容是两件独立的事

一个系统可以极其聪明，同时拥有对人类完全无意义甚至有害的目标。智能高不等于目标善——这是反直觉的。人们习惯性假设"聪明的东西自然会做正确的事"，但正交性论题拆除了这个假设。超级AI可能是一个极其强大的"回形针最大化者"——它不恨人类，它只是在追求一个与人类无关的目标，而人类恰好挡在路上。