微分熵

微分熵是消息理論中的一個概念，是從以離散隨機變數所計算出的夏農熵推廣，以連續型隨機變數計算所得之熵，微分熵與離散隨機變數所計算出之夏農熵，皆可代表描述一信息所需碼長的下界，然而，微分熵與夏農熵仍存在著某些相異的性質。

令${\displaystyle X}$為一連續型隨機變數，其機率密度函數為${\displaystyle f_{X}(x)}$，其中${\displaystyle X}$的支撐集為${\displaystyle S=\{x\in X|f_{X}(x)>0}\}$。微分熵${\displaystyle h_{X}(x)}$:

${\displaystyle h_{X}(x)=-\int _{S}f_{X}(x)log(f_{X}(x))dx}$。

與夏農熵為類比，計算夏農熵之算式中的${\displaystyle \log }$通常以2為底，而微分熵為計算方便，常以${\displaystyle ln}$計算後再轉換為${\displaystyle log_{2}$的結果。微分熵與夏農熵最大的不同點在於${\displaystyle f_{X}(x)}$可為大於1的數值，此時可能會造成${\displaystyle h_{X}(x)}$為負值，而夏農熵${\displaystyle H_{X}(x)}$恆不為負。

例如，${\displaystyle X}$為均勻分布${\displaystyle U(0,a),a<1}$：

${\displaystyle f_{X}(x)=}$${\displaystyle 1 \over a}$${\displaystyle ;h_{X}(x)=-\int \limits _{0}^{a}$${\displaystyle 1 \over a}$${\displaystyle ln}$${\displaystyle 1 \over a}$${\displaystyle dx}$

${\displaystyle h_{X}(x)=ln(a)}$${\displaystyle <0}$

${\displaystyle f(x,y)}$為${\displaystyle X,Y}$之聯合機率密度函數，其條件熵為:

${\displaystyle h(X|Y)=-\int f(x,y)log{f(x|y)}dxdy}$。

又稱KL散度（Kullback–Leibler divergence)，兩機率密度函數f、g的相對熵定義為:

${\displaystyle D(f||g)=\int flog{f \over g}$。

兩連續型隨機變數的聯合機率密度函數為${\displaystyle f(x,y)}$，其互信息:

${\displaystyle I(X;Y)=D(f(x,y)||f(x)f(y))}$

廣義而言，我們可以將互信息定義在有限多個連續隨機變數值域的劃分。 可參考連續互信息的量化。

與夏農相對熵性質相同，恆正。

${\displaystyle -{\displaystyle D(f||g)=\int flog{g \over f}$

${\displaystyle \leq log\int f{g \over f}$ (延森不等式)

${\displaystyle \leq 0}$。

一次觀測所有隨機變數所測得的聯合熵，與個別接收隨機變數後計算的條件熵總和相同，即觀測順序與間隔不影響微分熵。

${\displaystyle h(X_{1},X_{2},...,X_{n})=\sum _{k=1}^{n}h(X_{i}|X_{1},X_{2},...,X_{i-1})}$。

隨機變數的平移不影響微分熵，因為固定的平移不會增加隨機變數的方差。

${\displaystyle h(X+c)=h(X)}$

將隨機變數縮放會增加其方差，微分熵亦會隨之增加。

${\displaystyle h(AX)=h(X)+log|det(A)|}$

期望值為0，方差為${\displaystyle \sigma ^{2}$且值域為${\displaystyle R}$之隨機變數${\displaystyle X}$的微分熵，其上界為常態分佈${\displaystyle N(0,\sigma ^{2})}$的微分熵。

${\displaystyle h(X)\leq {1 \over 2}log(2\pi e\sigma ^{2})}$

隨機變數${\displaystyle X}$與其估計子${\displaystyle {\widehat {X}$之均方誤差存在下界，當${\displaystyle X}$為常態分佈且${\displaystyle {\widehat {X}$為無偏估計子時，等號成立。

${\displaystyle E[(X-{\widehat {X})^{2}]\geq {1 \over {2\pi e}e^{2h(X)}$

離散隨機變數的夏農熵中，獨立同分布的隨機變數序列，在漸進等分性(Asymptotic equipartition property)之下其機率質量函數${\displaystyle p(X_{1},X_{2},...,X_{n})}$趨近於${\displaystyle 2^{-nH(X)}$。

連續型隨機變數之漸進等分性：

${\displaystyle -{1 \over n}log(f(X_{1},X_{2},...,X_{n}))\rightarrow h(X)}$

典型集(Typical set)定義如下

${\displaystyle A_{\epsilon }^{(n)}=\{(x_{1},x_{2},...,x_{n})\in S^{n}:|-{1 \over n}logf(x_{1},x_{2},...,x_{n})-h(X)|\leq \epsilon }\}$,${\displaystyle \epsilon >0}$

集合包含於${\displaystyle R^{n}$,${\displaystyle A\subset R^{n}$，其體積(Volume)${\displaystyle Vol(A)}$定義如下:

${\displaystyle Vol(A)=\int \limits _{A}dx_{1}dx_{2}...dx_{n}$。

典型集${\displaystyle A_{\epsilon }^{(n)}$的體積有以下性質:

1.${\displaystyle Vol(A_{\epsilon }^{(n)})\leq 2^{n(h(X)+\epsilon )}$

2.${\displaystyle Vol(A_{\epsilon }^{(n)})\geq (1-\epsilon )2^{n(h(X)-\epsilon )}$

證明

1.

由${\displaystyle -{1 \over n}log(f(X_{1},X_{2},...,X_{n}))\rightarrow h(X)}$，

可得：

${\displaystyle 1=\int _{S^{n}f(x_{1},x_{2},...,x_{n})dx_{1}dx_{2}...dx_{n}$

${\displaystyle \geq \int _{A_{\epsilon }^{(n)}f(x_{1},x_{2},...,x_{n})dx_{1}dx_{2}...dx_{n}$

${\displaystyle \geq \int _{A_{\epsilon }^{(n)}2^{-n(h(X)+\epsilon )}dx_{1}dx_{2}...dx_{n}$

${\displaystyle =2^{-n(h(X)+\epsilon )}\int _{A_{\epsilon }^{(n)}dx_{1}dx_{2}...dx_{n}$

${\displaystyle =2^{-n(h(X)+\epsilon )}Vol(A_{\epsilon }^{(n)})}$

2.

當n足夠大時，${\displaystyle Pr(A_{\epsilon }^{(n)})>1-\epsilon }$，

因此：

${\displaystyle 1-\epsilon \leq \int _{A_{\epsilon }^{(n)}f(x_{1},x_{2},...,x_{n})dx_{1}dx_{2}...dx_{n}$

${\displaystyle \leq \int _{A_{\epsilon }^{(n)}2^{-n(h(X)-\epsilon )}dx_{1}dx_{2}...dx_{n}$

${\displaystyle =2^{-n(h(X)-\epsilon )}\int _{A_{\epsilon }^{(n)}dx_{1}dx_{2}...dx_{n}$

${\displaystyle =2^{-n(h(X)-\epsilon )}Vol(A_{\epsilon }^{(n)})}$

我們可以將機率密度函數量化後，以夏農熵來計算微分熵。首先將連續隨機變數X以${\displaystyle \Delta }$分為數個區間，根據均值定理，${\displaystyle x_{i}$滿足：

${\displaystyle f(x_{i})\Delta =\int _{i\Delta }^{(i+1)\Delta }f(x)dx=p_{i}$

量化後的隨機變數${\displaystyle X^{\Delta }$:

${\displaystyle X^{\Delta }=x_{i},i\Delta \leq X<(i+1)\Delta }$

夏農熵為:

${\displaystyle H(X^{\Delta })=-\sum _{-\infty }^{\infty }f(x_{i})\Delta log(f(x_{i}))-log\Delta }$

意即，當${\displaystyle \Delta \rightarrow 0}$，${\displaystyle h(f)=h(X)}$。

1.

對X做n位元量化${\displaystyle X\sim U(0,{1 \over 8})}$。

${\displaystyle H(X^{\Delta })=-3+n}$

上式表示，若我們想得到n位元精確度，則需要n-3個位元來表示。

2.

對X做n位元量化${\displaystyle X\sim N(0,{\sigma }^{2})}$。

${\displaystyle H(X^{\Delta })={1 \over 2}log(2\pi e\sigma ^{2})+n}$

上式表示，若我們想得到n位元精確度，需要${\displaystyle {1 \over 2}log(2\pi e\sigma ^{2})+n}$個位元來表示。

隨機變數${\displaystyle X}$，${\displaystyle X_{N}$值域為${\displaystyle (-\infty ,\infty )}$，方差為${\displaystyle \sigma ^{2}$，${\displaystyle X}$為任意分佈，${\displaystyle X_{N}$為常態分佈，機率密度函數分別為${\displaystyle f(x),g(x)}$。

則${\displaystyle h_{X}(X)\leq {1 \over 2}log(2\pi e\sigma ^{2})}$

證明:

${\displaystyle {\begin{aligned}0&\leq D(f||g)\\&=\int f(x)log({f(x) \over {g(x)})dx\\&=-h(X)-\int f(x)log(g(x))dx\\&=-h(X)+h(x)\end{aligned}$

其中，

${\displaystyle {\begin{aligned}-\int _{-\infty }^{\infty }f(x)log(g(x))dx&=\int _{-\infty }^{\infty }f(x)({1 \over 2}log(2\pi \sigma ^{2})+{1 \over 2}({x-\mu } \over \sigma })^{2})dx\\&={1 \over 2}log(2\pi e\sigma ^{2})\end{aligned}$

隨機變數${\displaystyle X}$，${\displaystyle Y}$值域為${\displaystyle (0,\infty )}$，期望值為${\displaystyle \lambda }$，${\displaystyle X}$為任意分佈，${\displaystyle Y}$為指數分佈，機率密度函數分別為${\displaystyle f(x),g(x)}$。

則${\displaystyle h_{X}(X)\leq 1+log\lambda }$。

證明:

${\displaystyle {\begin{aligned}0&\leq D(f||g)\\&=\int f(x)log({f(x) \over {g(x)})dx\\&=-h(X)-\int f(x)log(g(x))dx\\&=-h(X)+h(Y)\end{aligned}$

其中，

${\displaystyle {\begin{aligned}-\int \limits _{0}^{\infty }f(x)log(g(x))dy&=-\int \limits _{0}^{\infty }f(x)(log\lambda +{x \over \lambda })dx\\&=1+log\lambda \end{aligned}$