交叉熵（Cross Entropy）是信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。在语言模型中，交叉熵通常被用来衡量模型与真实分布之间的差异，也即是模型的预测概率分布与真实概率分布之间的距离。

具体来说，如果我们把真实的概率分布定义为P(x)，而模型的预测概率分布定义为Q(x)，那么交叉熵H(P, Q)可以表示为：

H(P, Q) = - Σ P(x) * log Q(x)

其中，Σ表示对所有可能的事件x求和。

在语言模型中，真实的概率分布P(x)通常是未知的，因为语言的复杂性使得我们无法精确地计算出每个词或句子的真实概率。因此，我们通常使用训练集来训练一个语言模型，该模型会学习到一种概率分布Q(x)，用于近似真实的概率分布P(x)。然后，我们可以使用交叉熵来衡量这个模型在测试集上的正确率，也就是模型的预测概率分布Q(x)与测试集上的真实概率分布P(x)之间的差异。

交叉熵越小，说明模型的预测概率分布越接近真实的概率分布，模型的性能就越好。因此，在训练语言模型时，我们通常会把交叉熵作为损失函数，通过最小化损失函数来优化模型的参数，使得模型的预测概率分布尽可能地接近真实的概率分布。

交叉熵是语言模型中一个非常重要的概念，它可以帮助我们衡量模型的性能，并指导我们如何优化模型。