Tokenization是被严重低估的工程决策

很多人只关注模型架构和训练策略，却忽视了Tokenization（分词/分字）这个看似简单的预处理步骤。实际上，Tokenization决定了模型"看到"的最小语言单位，直接影响模型对新词、专业术语、方言的处理能力——它是模型与真实世界之间的第一道滤网，选错了后面全白费。