采样和优化是同一枚硬币的两面

MCMC通过随机采样逼近后验（有偏但渐近无偏），变分推断通过确定性优化逼近后验（有偏但快速）。两种方法解决同一个问题（后验积分），用的是完全不同的数学工具（随机过程 vs 变分法）。选择哪种取决于"预算约束"：计算预算充裕选MCMC，预算紧张选变分；需要无偏估计选MCMC，需要快速迭代选变分。理解这种对偶关系后，可以在两者之间灵活切换而非只用一种。