← GU HANG / 学习实验室代码与方法 ↗

04 / LANGUAGE EVALUATION

一个分数,
怎样衡量翻译?

修改一句译文,观察词组匹配、长度与 BLEU 的关系。每个数字,都能向下追溯。

按空白分词,保留大小写和标点。中文请先用空格分词。固定阶数、均匀权重、无平滑;仅计算单句,非语料级 BLEU。

SENTENCE BLEU / 0–100

100.00

BP × exp( mean( log pₙ ) )

BLEU 衡量词组重合,不能独立判断语义准确性、流畅度或事实正确性。

拆开看,每一个匹配。

各阶裁剪精度
阶数匹配 / 总数精度

为什么这样算?

重复词不能无限加分:每个词组的候选计数,以各参考译文中的最大计数为上限。参考长度选择与候选最接近的一条,距离相同时选较短者。

候选比参考短时,BP = exp(1 − r/c);否则 BP = 1。任何阶的精度为零,未平滑 BLEU 就是零,因此很短的句子不适合直接使用 BLEU-4。

整理自本地翻译评估学习材料,计算模块与界面重新实现。示例为人工构造,不代表翻译模型评测结果。方法参考 Papineni et al., 2002。