אנטרופיה מותנית
אנטרופיות של שני משתנים בעלי אינפורמציה משותפת בתורת האינפורמציה , האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי
Y
{\displaystyle Y}
X
{\displaystyle X}
אם נגדיר את האנטרופיה של
Y
{\displaystyle Y}
X
{\displaystyle X}
x
{\displaystyle x}
H
(
Y
|
X
=
x
)
{\displaystyle H(Y|X=x)}
H
(
Y
|
X
)
≡
∑
x
∈
X
p
(
x
)
H
(
Y
|
X
=
x
)
=
∑
x
∈
X
p
(
x
)
∑
y
∈
Y
p
(
y
|
x
)
log
1
p
(
y
|
x
)
=
−
∑
x
∈
X
∑
y
∈
Y
p
(
x
,
y
)
log
p
(
y
|
x
)
=
−
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
p
(
y
|
x
)
=
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
p
(
x
)
p
(
x
,
y
)
.
{\displaystyle {\begin{aligned}H(Y|X)\ &\equiv \sum _{x\in {\mathcal {X}\,p(x)\,H(Y|X=x)\\&{=}\sum _{x\in {\mathcal {X}p(x)\sum _{y\in {\mathcal {Y}\,p(y|x)\,\log \,{\frac {1}{p(y|x)}\\&=-\sum _{x\in {\mathcal {X}\sum _{y\in {\mathcal {Y}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X},y\in {\mathcal {Y}p(x,y)\log \,p(y|x)\\&=\sum _{x\in {\mathcal {X},y\in {\mathcal {Y}p(x,y)\log {\frac {p(x)}{p(x,y)}.\\\end{aligned}
במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.
לכל שני משתנים אקראיים
X
{\displaystyle X}
Y
{\displaystyle Y}
H
(
Y
|
X
)
=
H
(
X
,
Y
)
−
H
(
X
)
{\displaystyle H(Y|X)\,=\,H(X,Y)-H(X)}
H
(
X
,
Y
)
=
H
(
X
|
Y
)
+
H
(
Y
|
X
)
+
I
(
X
;
Y
)
{\displaystyle H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y)}
I
(
X
;
Y
)
{\displaystyle I(X;Y)}
אינפורמציה ההדדית )
H
(
X
|
Y
)
≤
H
(
X
)
{\displaystyle H(X|Y)\leq H(X)}
בלתי תלויים . בדומה,
H
(
Y
|
X
)
≤
H
(
Y
)
{\displaystyle H(Y|X)\leq H(Y)}
I
(
X
;
Y
)
≤
H
(
X
)
{\displaystyle I(X;Y)\leq H(X)}
Y
=
f
(
X
)
{\displaystyle Y=f(X)}
f
{\displaystyle f}
הפיכה על תחום הערכים ש-X מקבל.
The article is a derivative under the Creative Commons Attribution-ShareAlike License .
A link to the original article can be found here and attribution parties here
By using this site, you agree to the Terms of Use . Gpedia ® is a registered trademark of the Cyberajah Pty Ltd
