可迁移模型 · TRANSFERABLE MODEL
蒸馏得越干净,适用范围越广,但预测力越弱
概念蒸馏是一个"简洁性-预测力"的权衡:蒸馏越彻底,概念越通用(拓扑比几何通用),但对具体问题的预测力越弱。这意味着不存在"最好的抽象层级"——只有"最匹配当前决策层级的抽象层级"。产品经理需要比CEO更"不蒸馏"的模型。
来自这本书的解读报告
《漫话数学》
阅读完整解读报告 →
概念蒸馏是一个"简洁性-预测力"的权衡:蒸馏越彻底,概念越通用(拓扑比几何通用),但对具体问题的预测力越弱。这意味着不存在"最好的抽象层级"——只有"最匹配当前决策层级的抽象层级"。产品经理需要比CEO更"不蒸馏"的模型。