数据并行不是简单的"分而治之"

数据并行看似直觉上很简单——把数据切开、分给多台机器、最后合并。但实践中最大的坑不是"怎么切"，而是"怎么合"。同步聚合受限于最慢节点，异步聚合引入过时梯度，两者都有严重的工程陷阱。真正决定数据并行成败的是通信拓扑设计和聚合策略，而非分片本身。