Perplexity(PPL)困惑度¶

困惑度是衡量语言模型质量的一种指标，反映模型预测序列中下一个词的确定性或不确定性。简言之，它表示模型在生成下一个词时的“迷惑程度”，困惑度越低，模型的预测越好，越接近真实分布。
- 高困惑度：模型预测模糊，对下一个词有很多不确定性。
- 低困惑度：模型预测清晰，接近真实分布。

总结¶

困惑度是交叉熵的指数形式，反映模型对下一个词预测的平均不确定性。
公式： \(Perplexity=exp(CrossEntropyLoss)\)
低困惑度表示模型性能更好，对序列的预测更加准确。
优点：易解释、适合性能评估和优化反馈。
不足：不能单独衡量语言流畅性或语法质量。