评估指标的选择就是问题定义本身

选择什么指标来衡量"好"，本质上是在定义"什么算好"。BLEU衡量表面重叠、ROUGE衡量召回率、人工评估衡量主观质量——它们说的是不同的事。如果你选错了指标，优化方向就会偏离真正目标。这就是为什么很多NLP系统在benchmark上刷新纪录却在实际产品中让用户失望。