04 / LANGUAGE EVALUATION
一个分数,
怎样衡量翻译?
修改一句译文,观察词组匹配、长度与 BLEU 的关系。每个数字,都能向下追溯。
按空白分词,保留大小写和标点。中文请先用空格分词。固定阶数、均匀权重、无平滑;仅计算单句,非语料级 BLEU。
SENTENCE BLEU / 0–100
BP × exp( mean( log pₙ ) )
BLEU 衡量词组重合,不能独立判断语义准确性、流畅度或事实正确性。
拆开看,每一个匹配。
| 阶数 | 匹配 / 总数 | 精度 |
|---|
为什么这样算?
重复词不能无限加分:每个词组的候选计数,以各参考译文中的最大计数为上限。参考长度选择与候选最接近的一条,距离相同时选较短者。
候选比参考短时,BP = exp(1 − r/c);否则 BP = 1。任何阶的精度为零,未平滑 BLEU 就是零,因此很短的句子不适合直接使用 BLEU-4。
整理自本地翻译评估学习材料,计算模块与界面重新实现。示例为人工构造,不代表翻译模型评测结果。方法参考 Papineni et al., 2002。