Entropía cruzada

En teoría de la información, la entropía cruzada entre dos distribuciones de probabilidad mide el número medio de bits necesarios para identificar un evento de un conjunto de posibilidades, si un esquema de codificación está basado en una distribución de probabilidad dada ${\displaystyle q}$, más que en la verdadera distribución ${\displaystyle p}$.

La entropía cruzada para dos distribuciones ${\displaystyle p}$ y ${\displaystyle q}$ sobre el mismo espacio de probabilidad se define como sigue:

${\displaystyle \mathrm {H} (p,q)=\mathrm {E} _{p}[-\log q]=\mathrm {H} (p)+D_{\mathrm {KL} }(p\|q)\!}$

donde ${\displaystyle H(p)}$ es la entropía de ${\displaystyle p}$, y ${\displaystyle D_{\mathrm {KL} }(p||q)}$ es la divergencia de Kullback-Leibler entre ${\displaystyle q}$ y ${\displaystyle p}$ (también conocida como entropía relativa).

Si ${\displaystyle p}$ y ${\displaystyle q}$ son variables discretas:

${\displaystyle \mathrm {H} (p,q)=-\sum _{x}p(x)\,\log q(x)\!}$

Para las distribuciones con variables aleatorias continuas:

${\displaystyle -\int _{X}p(x)\,\log q(x)\,dx\!}$

• Entropía condicional