可迁移模型 · TRANSFERABLE MODEL
模型复杂度的黄金中点不是存在的,而是随场景漂移的
unigram太简单(丢弃所有顺序信息),高阶n-gram太复杂(稀疏爆炸),最优的n随数据量、任务和领域动态变化。**不存在普适的"最优复杂度"**——这是一个纯粹的偏差-方权衡问题。书中通过困惑度曲线展示的这一规律,是理解所有模型选择问题(包括深度学习中选择层数、维度)的元框架。
来自这本书的解读报告
《Foundations of Statistical Natural Language Processing》
这本书回答了如何用概率和统计方法让机器理解语言的问题,答案是将语言现象建模为随机过程并通过数据驱动推断。
阅读完整解读报告 →