Собственная информация
Собственная информация дискретных равномерных распределений с двумя, тремя и десятью состояниями. Единица измерения «нат» — горизонтальная зелёная линия, риски слева — логарифмы натуральных чисел.
Собственная информация — статистическая функция дискретной случайной величины .
Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии .
Для случайной величины
X
{\displaystyle X}
, имеющей конечное число значений:
P
X
(
x
i
)
=
p
i
,
p
i
⩾
0
,
i
=
1
,
2
,
…
,
n
,
∑
i
=
1
n
p
i
=
1
{\displaystyle P_{X}(x_{i})=p_{i},\quad p_{i}\geqslant 0,i=1,2,\dots ,n,\quad \sum _{i=1}^{n}p_{i}=1}
собственная информация определяется как
I
(
X
)
=
−
log
P
X
(
X
)
.
{\displaystyle I(X)=-\log P_{X}(X).}
Единицы измерения информации зависят от основания логарифма . В случае логарифма с основанием 2 единицей измерения является бит , если используется натуральный логарифм — то нат , если десятичный — то хартли .
Основание логарифма
Единица измерения
Количество информации о падении монеты «орлом» вверх
2
бит
−
log
2
(
1
/
2
)
=
log
2
2
=
1
{\displaystyle -\log _{2}(1/2)=\log _{2}2=1}
бит
e
нат
−
ln
(
1
/
2
)
=
ln
2
≈
0
,
69
{\displaystyle -\ln(1/2)=\ln 2\approx 0,69}
ната
10
хартли
−
log
10
(
1
/
2
)
=
log
10
2
≈
0
,
30
{\displaystyle -\log _{10}(1/2)=\log _{10}2\approx 0,30}
хартли
Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.
Свойства собственной информации
Неотрицательность :
I
(
x
)
⩾
0
{\displaystyle I(x)\geqslant 0}
.
I
(
x
)
=
0
{\displaystyle I(x)=0}
при
p
(
x
)
=
1
{\displaystyle p(x)=1}
, т. е. предопределённый факт никакой информации не несёт.
Монотонность :
I
(
x
1
)
>
I
(
x
2
)
{\displaystyle I(x_{1})>I(x_{2})}
, если
p
(
x
1
)
<
p
(
x
2
)
{\displaystyle p(x_{1})<p(x_{2})}
.
Аддитивность : для независимых
x
1
,
…
,
x
n
{\displaystyle x_{1},\dots ,x_{n}
справедливо
I
(
x
1
,
…
,
x
n
)
=
∑
i
=
1
n
I
(
x
i
)
{\displaystyle I(x_{1},\dots ,x_{n})=\sum _{i=1}^{n}I(x_{i})}
.
См. также
Литература
The article is a derivative under the Creative Commons Attribution-ShareAlike License .
A link to the original article can be found here and attribution parties here
By using this site, you agree to the Terms of Use . Gpedia ® is a registered trademark of the Cyberajah Pty Ltd