2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
解:
四进制脉冲可以
表
关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf
示 4 个不同的消息,例如:{0, 1, 2, 3}
八进制脉冲可以表示 8 个不同的消息,例如:{0, 1, 2, 3, 4, 5, 6, 7}
二进制脉冲可以表示 2 个不同的消息,例如:{0, 1}
假设每个消息的发出都是等概率的,则:
四进制脉冲的平均信息量 symbolbitnXH / 24loglog)( 1 ===
八进制脉冲的平均信息量 symbolbitnXH / 38loglog)( 2 ===
二进制脉冲的平均信息量 symbolbitnXH / 12loglog)( 0 ===
所以:
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。
2.2 居住某地区的女孩子有 25%是大学生,在女大学生中有 75%是身高 160 厘米以上的,而女
孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大
学生”的消息,问获得多少信息量?
解:
设随机变量 X 代表女孩子学历
X x1(是大学生) x2(不是大学生)
P(X) 0.25 0.75
设随机变量 Y 代表女孩子身高
Y y1(身高>160cm) y2(身高<160cm)
P(Y) 0.5 0.5
已知:在女大学生中有 75%是身高 160 厘米以上的
即: bitxyp 75.0)/( 11 =
求:身高 160 厘米以上的某女孩是大学生的信息量
即: bit
yp
xypxpyxpyxI 415.1
5.0
75.025.0log
)(
)/()(log)/(log)/(
1
111
1111 =×−=−=−=
2.3 一副充分洗乱了的牌(含 52 张牌),试问
(1) 任一特定排列所给出的信息量是多少?
(2) 若从中抽取 13 张牌,所给出的点数都不相同能得到多少信息量?
解:
(1) 52 张牌共有 52!种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:
!52
1)( =ixp
bitxpxI ii 581.225!52log)(log)( ==−=
(2) 52 张牌共有 4 种花色、13 种点数,抽取 13 张点数不同的牌的概率如下:
· 1 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
bit
C
xpxI
C
xp
ii
i
208.134log)(log)(
4)(
13
52
13
13
52
13
=−=−=
=
2.4 设离散无记忆信源 ,其发出的信息为
(202120130213001203210110321010021032011223210),求
⎭⎬
⎫
⎩⎨
⎧ =====⎥⎦
⎤⎢⎣
⎡
8/14/1
32
4/18/3
10
)(
4321 xxxx
XP
X
(1) 此消息的自信息量是多少?
(2) 此消息中平均每符号携带的信息量是多少?
解:
(1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3,因此此消息发出的概率是:
62514
8
1
4
1
8
3 ⎟⎠
⎞⎜⎝
⎛×⎟⎠
⎞⎜⎝
⎛×⎟⎠
⎞⎜⎝
⎛=p
此消息的信息量是: bitpI 811.87log =−=
(2) 此消息中平均每符号携带的信息量是: bitnI 951.145/811.87/ ==
2.5 从大量统计资料知道,男性中红绿色盲的发病率为 7%,女性发病率为 0.5%,如果你问一
位男士:“你是否是色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少
信息量,平均每个回答中含有多少信息量?如果问一位女士,则
答案
八年级地理上册填图题岩土工程勘察试题省略号的作用及举例应急救援安全知识车间5s试题及答案
中含有的平均自信息量
是多少?
解:
男士:
symbolbitxpxpXH
bitxpxI
xp
bitxpxI
xp
i
ii
NN
N
YY
Y
/ 366.0)93.0log93.007.0log07.0()(log)()(
105.093.0log)(log)(
%93)(
837.307.0log)(log)(
%7)(
2
=+−=−=
=−=−=
=
=−=−=
=
∑
女士:
symbolbitxpxpXH
i
ii / 045.0)995.0log995.0005.0log005.0()(log)()(
2
=+−=−= ∑
2.6 设信源 ,求这个信源的熵,并解释为什么
H(X) > log6 不满足信源熵的极值性。
⎭⎬
⎫
⎩⎨
⎧=⎥⎦
⎤⎢⎣
⎡
17.016.017.018.019.02.0)(
654321 xxxxxx
XP
X
解:
· 2 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
585.26log)(
/ 657.2
)17.0log17.016.0log16.017.0log17.018.0log18.019.0log19.02.0log2.0(
)(log)()(
2
6
=>
=
+++++−=
−= ∑
XH
symbolbit
xpxpXH
i
ii
不满足极值性的原因是 。 107.1)(
6
>=∑
i
ixp
2.7 证明:H(X3/X1X2) ≤ H(X3/X1),并说明当X1, X2, X3是马氏链时等式成立。
证明:
0
log1)/()(
log)()/()(
log1
)/(
)/()(
)/(
)/(log)(
)/(log)()/(log)(
)/(log)()/(log)(
)/()/(
2
1 2 3
1321
2
1 2 3
321
1 2 3
1321
1 2 3
2
213
13
321
1 2 3 213
13
321
1 2 3
13321
1 2 3
213321
1 3
1331
1 2 3
213321
13213
=
⎟⎟⎠
⎞
⎜⎜⎝
⎛ −⎥⎦
⎤⎢⎣
⎡=
⎟⎠
⎞⎜⎝
⎛ −=
⎟⎟⎠
⎞
⎜⎜⎝
⎛ −≤
=
+−=
+−=
−
∑∑ ∑
∑∑∑∑∑∑
∑∑∑
∑∑∑
∑∑∑∑∑∑
∑∑∑∑∑
exxpxxp
exxxpxxpxxp
e
xxxp
xxpxxxp
xxxp
xxpxxxp
xxpxxxpxxxpxxxp
xxpxxpxxxpxxxp
XXHXXXH
i i i
iiii
i i i
iii
i i i
iiii
i i i iii
ii
iii
i i i iii
ii
iii
i i i
iiiii
i i i
iiiiii
i i
iiii
i i i
iiiiii
氏链是马等式等等的等等是
时等式等等当
_,,
)/()/()/(
)()/()/()(
)()/()/()(
)/()/(
01
)/(
)/(
)/()/(
321
1321312
32113121
212131321
21313
213
13
13213
XXX
xxxpxxpxxp
xxxpxxpxxpxp
xxpxxxpxxpxxp
xxxpxxp
xxxp
xxp
XXHXXXH
iiiiiii
iiiiiiii
iiiiiiiii
iiiii
iii
ii
∴
=⇒
=⇒
=⇒
=⇒
=−
≤∴
2.8 证明:H(X1X2 。。。 Xn) ≤ H(X1) + H(X2) + … + H(Xn)。
证明:
...
)/()( 0);(
)/()( 0);(
).../(...)/()/()()...(
2133213
12212
12121312121
XXXHXHXXXI
XXHXHXXI
XXXXHXXXHXXHXHXXXH nnn
≥⇒≥
≥⇒≥
++++= −
· 3 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
)(...)()()()...(
).../()( 0)...;(
32121
121121
nn
nNNnN
XHXHXHXHXXXH
XXXXHXHXXXXI
++++≤∴
≥⇒≥ −−
2.9 设有一个信源,它产生 0,1序列的信息。它在任意时间而且不论以前发生过什么符号,
均按 P(0) = 0.4,P(1) = 0.6 的概率发出符号。
(1) 试问这个信源是否是平稳的?
(2) 试计算H(X2), H(X3/X1X2)及H∞;
(3) 试计算H(X4)并写出X4信源中可能有的所有符号。
解:
(1)
这个信源是平稳无记忆信源。因为有这些词语:“它在任意时间....而且不论以前发生过什么符号...........……”
(2)
symbolbitXHXXXXHH
symbolbitxpxpXHXXXH
symbolbitXHXH
NNNN
i
ii
/ 971.0)().../(lim
/ 971.0)6.0log6.04.0log4.0()(log)()()/(
/ 942.1)6.0log6.04.0log4.0(2)(2)(
121
3213
2
===
=+−=−==
=+×−==
−∞>−∞
∑
(3)
1111111011011100
1011101010011000
0111011001010100
0011001000010000
的所有符号:
/ 884.3)6.0log6.04.0log4.0(4)(4)(
4
4
X
symbolbitXHXH =+×−==
2.10 一阶马尔可夫信源的状态图如下图所示。信源 X的符号集为{0, 1, 2}。
(1) 求平稳后信源的概率分布;
(2) 求信源的熵H∞。
解:
(1)
· 4 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
⎪⎩
⎪⎨
⎧
=
=
=
⎩⎨
⎧
=++
==
⎪⎪⎩
⎪⎪⎨
⎧
⋅+⋅=
⋅+⋅=
⋅+⋅=
⎪⎩
⎪⎨
⎧
+=
+=
+=
3/1)(
3/1)(
3/1)(
1)()()(
)()()(
)()()(
)()()(
)()()(
)/()()/()()(
)/()()/()()(
)/()()/()()(
3
2
1
321
321
133
322
211
1313333
3232222
2121111
ep
ep
ep
epepep
epepep
eppeppep
eppeppep
eppeppep
eepepeepepep
eepepeepepep
eepepeepepep
⎭⎬
⎫
⎩⎨
⎧=⎥⎦
⎤⎢⎣
⎡
⎪⎪⎩
⎪⎪⎨
⎧
=+=⋅+⋅=+=
=+=⋅+⋅=+=
=+=⋅+⋅=+=
3/1
2
3/1
1
3/1
0
)(
3/13/)()()()/()()/()()(
3/13/)()()()/()()/()()(
3/13/)()()()/()()/()()(
131313333
323232222
212121111
XP
X
ppeppeppexpepexpepxp
ppeppeppexpepexpepxp
ppeppeppexpepexpepxp
(2)
( ) symbolbitpppp
pppppppppppp
eepeepeepeepeepeep
eepeepeepeepeepeep
eepeepeepeepeepeep
eepeepepH
i j
ijiji
/ loglog
log
3
1log
3
1log
3
1log
3
1log
3
1log
3
1
)/(log)/(
3
1)/(log)/(
3
1)/(log)/(
3
1
)/(log)/(
3
1)/(log)/(
3
1)/(log)/(
3
1
)/(log)/(
3
1)/(log)/(
3
1)/(log)/(
3
1
)/(log)/()(
333332323131
232322222121
131312121111
3 3
⋅+⋅−=
⎥⎦
⎤⎢⎣
⎡ ⋅⋅+⋅⋅+⋅⋅+⋅⋅+⋅+⋅⋅−=
⎥⎦
⎤+++
+++
⎢⎣
⎡ ++−=
−= ∑∑∞
2.11 黑白气象传真图的消息只有黑色和白色两种,即信源 X={黑,白}。设黑色出现的概率为
P(黑) = 0.3,白色出现的概率为 P(白) = 0.7。
(1) 假设图上黑白消息出现前后没有关联,求熵 H(X);
(2) 假设消息前后有关联,其依赖关系为P(白/白) = 0.9,P(黑/白) = 0.1,P(白/黑) = 0.2,
P(黑/黑) = 0.8,求此一阶马尔可夫信源的熵H2(X);
(3) 分别求上述两种信源的剩余度,比较H(X)和H2(X)的大小,并说明其物理含义。
解:
(1)
symbolbitxpxpXH
i
ii / 881.0)7.0log7.03.0log3.0()(log)()( =+−=−= ∑
(2)
· 5 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
symbolbit
eepeepepH
ep
ep
epep
epep
epepep
epepep
eepepeepepep
eepepeepepep
i j
ijiji
/ 553.0
9.0log9.0
3
21.0log1.0
3
22.0log2.0
3
18.0log8.0
3
1
)/(log)/()(
3/2)(
3/1)(
1)()(
)(2)(
)(2.0)(9.0)(
)(1.0)(8.0)(
)/()()/()()(
)/()()/()()(
2
1
21
12
122
211
1212222
2121111
=
⎟⎠
⎞⎜⎝
⎛ ×+×+×+×−=
−=
⎩⎨
⎧
=
=
⎩⎨
⎧
=+
=
⎩⎨
⎧
+=
+=
⎩⎨
⎧
+=
+=
∑∑∞
(3)
%7.44
2log
553.02log
%9.11
2log
881.02log
0
0
1
0
0
1
=−=−=
=−=−=
∞
∞
H
HH
H
HH
η
η
H(X) > H2(X)
表示的物理含义是:无记忆信源的不确定度大与有记忆信源的不确定度,有记忆信源的结构化信息较多,
能够进行较大程度的压缩。
2.12 同时掷出两个正常的骰子,也就是各面呈现的概率都为 1/6,求:
(1) “3 和 5 同时出现”这事件的自信息;
(2) “两个 1同时出现”这事件的自信息;
(3) 两个点数的各种组合(无序)对的熵和平均信息量;
(4) 两个点数之和(即 2, 3, … , 12 构成的子集)的熵;
(5) 两个点数中至少有一个是 1的自信息量。
解:
(1)
bitxpxI
xp
ii
i
170.4
18
1log)(log)(
18
1
6
1
6
1
6
1
6
1)(
=−=−=
=×+×=
(2)
bitxpxI
xp
ii
i
170.5
36
1log)(log)(
36
1
6
1
6
1)(
=−=−=
=×=
(3)
两个点数的排列如下:
11 12 13 14 15 16
· 6 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
21 22 23 24 25 26
31 32 33 34 35 36
41 42 43 44 45 46
51 52 53 54 55 56
61 62 63 64 65 66
共有 21 种组合:
其中 11,22,33,44,55,66 的概率是
36
1
6
1
6
1 =×
其他 15 个组合的概率是
18
1
6
1
6
12 =××
symbolbitxpxpXH
i
ii / 337.418
1log
18
115
36
1log
36
16)(log)()( =⎟⎠
⎞⎜⎝
⎛ ×+×−=−= ∑
(4)
参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:
symbolbit
xpxpXH
XP
X
i
ii
/ 274.3
6
1log
6
1
36
5log
36
52
9
1log
9
12
12
1log
12
12
18
1log
18
12
36
1log
36
12
)(log)()(
36
1
12
18
1
11
12
1
10
9
1
9
36
5
8
6
1
7
36
5
6
9
1
5
12
1
4
18
1
3
36
1
2
)(
=
⎟⎠
⎞⎜⎝
⎛ +×+×+×+×+×−=
−=
⎪⎭
⎪⎬
⎫
⎪⎩
⎪⎨
⎧=⎥⎦
⎤⎢⎣
⎡
∑
(5)
bitxpxI
xp
ii
i
710.1
36
11log)(log)(
36
1111
6
1
6
1)(
=−=−=
=××=
2.13 某一无记忆信源的符号集为{0, 1},已知 P(0) = 1/4,P(1) = 3/4。
(1) 求符号的平均熵;
(2) 有 100 个符号构成的序列,求某一特定序列(例如有 m 个“0”和(100 - m)个“1”)
的自信息量的表达式;
(3) 计算(2)中序列的熵。
解:
(1)
symbolbitxpxpXH
i
ii / 811.04
3log
4
3
4
1log
4
1)(log)()( =⎟⎠
⎞⎜⎝
⎛ +−=−= ∑
(2)
bitmxpxI
xp
m
ii
mmm
i
585.15.41
4
3log)(log)(
4
3
4
3
4
1)(
100
100
100
100100
+=−=−=
=⎟⎠
⎞⎜⎝
⎛×⎟⎠
⎞⎜⎝
⎛=
−
−−
· 7 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
(3)
symbolbitXHXH / 1.81811.0100)(100)( 100 =×==
2.14 对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态,
调查结果得联合出现的相对频度如下:
若把这些频度看作概率测度,求:
(1) 忙闲的无条件熵;
(2) 天气状态和气温状态已知时忙闲的条件熵;
(3) 从天气状态和气温状态获得的关于忙闲的信息。
解:
(1)
根据忙闲的频率,得到忙闲的概率分布如下:
symbolbitxpxpXH
xx
XP
X
i
i
i / 964.0103
40log
103
40
103
63log
103
63)(log)()(
103
40
103
63
闲忙
)(
2
21
=⎟⎠
⎞⎜⎝
⎛ +−=−=
⎪⎭
⎪⎬
⎫
⎪⎩
⎪⎨
⎧
=⎥⎦
⎤⎢⎣
⎡
∑
(2)
设忙闲为随机变量 X,天气状态为随机变量 Y,气温状态为随机变量 Z
symbolbitYZHXYZHYZXH
symbolbit
zypzypYZH
symbolbit
zyxpzyxpXYZH
j k
kjkj
i j k
kjikji
/ 859.0977.1836.2)()()/(
/ 977.1
103
28log
103
28
103
32log
103
32
103
23log
103
23
103
20log
103
20
)(log)()(
/ 836.2
103
12log
103
12
103
5log
103
5
103
15log
103
15
103
8log
103
8
103
16log
103
16
103
27log
103
27
103
8log
103
8
103
12log
103
12
)(log)()(
=−=−=
=
⎟⎠
⎞⎜⎝
⎛ +++−=
−=
=
⎟⎠
⎞++++
⎜⎝
⎛ +++−=
−=
∑∑
∑∑∑
(3)
symbolbitYZXHXHYZXI / 159.0859.0964.0)/()();( =−=−=
· 8 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
2.15 有两个二元随机变量 X和 Y,它们的联合概率为
Y X x1=0 x2=1
y1=0 1/8 3/8
y2=1 3/8 1/8
并定义另一随机变量 Z = XY(一般乘积),试计算:
(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和 H(XYZ);
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和 H(Z/XY);
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y)。
解:
(1)
symbolbitypypYH
yxpyxpyp
yxpyxpyp
symbolbitxpxpXH
yxpyxpxp
yxpyxpxp
j
jj
i
ii
/ 1)(log)()(
2
1
8
1
8
3)()()(
2
1
8
3
8
1)()()(
/ 1)(log)()(
2
1
8
1
8
3)()()(
2
1
8
3
8
1)()()(
22212
12111
22122
21111
=−=
=+=+=
=+=+=
=−=
=+=+=
=+=+=
∑
∑
Z = XY 的概率分布如下:
symbolbitzpZH
zz
ZP
Z
k
k / 544.08
1log
8
1
8
7log
8
7)()(
8
1
8
7
10
)(
2
21
=⎟⎠
⎞⎜⎝
⎛ +−=−=
⎪⎭
⎪⎬
⎫
⎪⎩
⎪⎨
⎧ ==
=⎥⎦
⎤⎢⎣
⎡
∑
symbolbitzxpzxpXZH
zpzxp
zxpzxpzp
zxpzpzxp
zxpzxpzp
xpzxp
zxp
zxpzxpxp
i k
kiki / 406.18
1log
8
1
8
3log
8
3
2
1log
2
1)(log)()(
8
1)()(
)()()(
8
35.0
8
7)()()(
)()()(
5.0)()(
0)(
)()()(
222
22212
11112
12111
111
21
21111
=⎟⎠
⎞⎜⎝
⎛ ++−=−=
==
+=
=−=−=
+=
==
=
+=
∑∑
· 9 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
symbolbitzypzypYZH
zpzyp
zypzypzp
zypzpzyp
zypzypzp
ypzyp
zyp
zypzypyp
j k
kjkj / 406.18
1log
8
1
8
3log
8
3
2
1log
2
1)(log)()(
8
1)()(
)()()(
8
35.0
8
7)()()(
)()()(
5.0)()(
0)(
)()()(
222
22212
11112
12111
111
21
21111
=⎟⎠
⎞⎜⎝
⎛ ++−=−=
==
+=
=−=−=
+=
==
=
+=
∑∑
symbolbit
zyxpzyxpXYZH
yxpzyxp
yxpzyxpzyxp
zyxp
yxpzyxp
yxpzyxpzyxp
zyxpzxpzyxp
zxpzyxpzyxp
yxpzyxp
yxpzyxpzyxp
zyxp
zyxp
zyxp
i j k
kjikji
/ 811.1
8
1log
8
1
8
3log
8
3
8
3log
8
3
8
1log
8
1
)(log)()(
8
1)()(
)()()(
0)(
8
3)()(
)()()(
8
3
8
1
2
1)()()(
)()()(
8/1)()(
)()()(
0)(
0)(
0)(
2
22222
22222122
122
12112
12212112
11111121
11111121
11111
11211111
212
221
211
=⎟⎠
⎞⎜⎝
⎛ +++−=
−=
==
=+
=
==
=+
=−=−=
=+
==
=+
=
=
=
∑∑∑
(2)
symbolbitXYHXYZHXYZH
symbolbitXZHXYZHXZYH
symbolbitYZHXYZHYZXH
symbolbitYHYZHYZH
symbolbitZHYZHZYH
symbolbitXHXZHXZH
symbolbitZHXZHZXH
symbolbitXHXYHXYH
symbolbitYHXYHYXH
symbolbityxpyxpXYH
i j
jiji
/ 0811.1811.1)()()/(
/ 405.0406.1811.1)()()/(
/ 405.0406.1811.1)()()/(
/ 406.01406.1)()()/(
/ 862.0544.0406.1)()()/(
/ 406.01406.1)()()/(
/ 862.0544.0406.1)()()/(
/ 811.01811.1)()()/(
/ 811.01811.1)()()/(
/ 811.1
8
1log
8
1
8
3log
8
3
8
3log
8
3
8
1log
8
1)(log)()( 2
=−=−=
=−=−=
=−=−=
=−=−=
=−=−=
=−=−=
=−=−=
=−=−=
=−=−=
=⎟⎠
⎞⎜⎝
⎛ +++−==−= ∑∑
(3)
· 10 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
symbolbitYZXHYXHYZXI
symbolbitXZYHXYHXZYI
symbolbitYZXHZXHZYXI
symbolbitZYHYHZYI
symbolbitZXHXHZXI
symbolbitYXHXHYXI
/ 406.0405.0811.0)/()/()/;(
/ 457.0405.0862.0)/()/()/;(
/ 457.0405.0862.0)/()/()/;(
/ 138.0862.01)/()();(
/ 138.0862.01)/()();(
/ 189.0811.01)/()();(
=−=−=
=−=−=
=−=−=
=−=−=
=−=−=
=−=−=
2.16 有两个随机变量 X和 Y,其和为 Z = X + Y(一般加法),若 X和 Y相互独立,求证:H(X)
≤ H(Z), H(Y) ≤ H(Z)。
证明:
)()(
)/()(
)()(log)()(
)/(log)/()()/(log)()/(
)( 0
)( )(
)()/(
2
YHZH
XZHZH
YHypypxp
xzpxzpxpxzpzxpXZH
Yxz
Yxzyp
xzpxzp
YXZ
i j
jji
i k
ikiki
i k
ikki
ik
ikj
ikik
≥∴
≥
=⎥⎦
⎤⎢⎣
⎡−=
⎥⎦
⎤⎢⎣
⎡−=−=
⎩⎨
⎧
∉−
∈−=−=∴
+=
∑ ∑
∑ ∑∑∑
Q
Q
同理可得 。 )()( XHZH ≥
2.17 给定声音样值X的概率密度为拉普拉斯分布 +∞<<−∞= − xexp x ,
2
1)( λλ ,求Hc(X),并证
明它小于同样方差的正态变量的连续熵。
解:
· 11 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
( )
( )
( )[ ]
λπλσπ
λλλ
λλσ
λλ
λλλλ
λλλ
λλ
λ
λλ
λλ
λ
λ
λλλ
λλλλλ
λλ
λλ
λλλλ
λλλ
λλλλλ
λλ
λλ
λλ
λλ
λ
λ
eXHeeXH
dxexexde
xdxedxedxexedex
dxxedxxedxxxpxEmxE
xdxexdxem
ydyeydyeydyexdxe
xdxexdxexdxexdxxpXEm
symbolbiteeXH
eeeedeee
ede
dxee
dxee
dxee
dxexpdxxp
dxexpdxxpxpXH
cc
xxx
xxxxx
xx
xx
yyyx
xxx
c
xxxxx
xx
xx
xx
xx
x
x
c
2log)(2log2log
2
1)(
222
2
2
1)()(
0
2
1
2
1
2
1
2
1)()(
2
1
2
1
2
1
2
1
2
1)()(
/ 2loglog2log)(
loglogloglog
log
log
其中:
log2log
log
2
12log
log)()(
2
log
2
1log)()(log)()(
2
正态
2000
00
2
0
2
0
2
0
2
0
22||2222
00
0
00 )(0
0
0||
2
220002
0
0
0
||||
||
||
=>==∴
=⎟⎠
⎞⎜⎝
⎛ −−=−=
==⎟⎠
⎞⎜⎝
⎛ −−=−=
==⋅==−=
=+−=∴
−==−−=
+==⋅==
=+=∴
=⎟⎠
⎞⎜⎝
⎛−=−=
=
−=
−=
−−=
−=−=
∫∫
∫∫∫∫
∫∫∫
∫∫
∫∫∫∫
∫∫∫∫
∫
∫
∫
∫
∫
∫∫
∫∫
∞+ −∞+−∞+ −
∞+ −∞+ −∞+ −∞+−∞+ −
∞+ −∞+
∞−
−∞+
∞−
∞+ −∞+ −
∞+ −
∞+
−
∞+
−
∞−
∞+ −
∞−
∞+
∞−
−∞+
∞−
∞+−∞+ −−∞+−−
∞+ −−
∞+ −−
∞+ −−
∞+
∞−
−−
∞+
∞−
−∞+
∞−
+∞
∞−
−+∞
∞−
Q
2.18 连续随机变量 X和 Y的联合概率密度为:
⎪⎩
⎪⎨
⎧ ≤+=
其他0
1
),(
222
2 ryxryxp π ,求 H(X), H(Y),
H(XYZ)和 I(X;Y)。
(提示: ∫ −=20 22 2log2sinlog
π πxdx )
解:
· 12 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
∫∫
∫∫
∫
∫
∫
∫
∫
∫
∫
∫∫
∫
∫
∫∫
−+−=
+=
=
−=
=
−−=
−−=
−
−=
−+−=
−−=
−−−=
−−=
−=
≤≤−−===
−
−
−
−−
−
−
−
−−
−
−−
2
0
2
0
2
0
22
0
2
2
0
2
0
2
22
2
0
2
2
0
2222
2
22
2
22
22
22
2
2
22
2
22
2
2
22
2
22
2
sinlog
2
2cos14
2
2cos1log4
sinlogsin4logsin4
sinlogsin4
sinlogsin4
)cos(sinlogsin4cos
log4
log2
log)(
/ log
2
1log
log
2
11log
2
log
log)(
2
log
log)(2log)(
2log)(
)(log)()(
)( 21)()(
22
22
22
22
ππ
ππ
π
π
π
θθθπθ
θ
π
θθθπθθπ
θθθπ
θθθπ
θθθπθ
π
π
π
π
π
π
π
ππ
ddr
drd
dr
drr
r
rdrr
r
rx
dxxrxr
r
dxxr
r
xr
dxxrxp
symbolbiter
err
dxxrxpr
dxxrxpdx
r
xp
dx
r
xrxp
dxxpxpXH
rxr
r
xrdy
r
dyxypxp
r
r
r
r
r
r
r
r
r
r
r
r
r
r
rc
xr
xr
xr
xr
令
其中:
· 13 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
e
ee
dede
de
de
de
d
d
d
er
dr
ddrr
dddrdr
2
2
022
2
02
2
02
2
02
2
0
2
2
2
0
2
2
0
2
0
2
0
2
0
2
2
0
2
02
2
0
2
0
2
0
2
0
2
0
log
2
1
2sinlog
2
1log
2
1
2coslog1log1
2
2cos1log2
coslog2
sin
logcoscossin21
sinlog2sinsinlog2sin1
2sinsinlog1
sinlog2cos2
log
2
11log
sinlog2cos21log
sinlog2cos2)2log
2
(22sinlog1log
sinlog2cos2sinlog22coslog2log2
−=
−−=
−−=
+−=
−=
−=
⎟⎟⎠
⎞
⎜⎜⎝
⎛ −=
=
+−=
−−=
−−+−=
−+−=
∫∫
∫
∫
∫
∫
∫
∫
∫
∫∫
∫∫∫∫
π
ππ
π
π
π
ππ
π
π
π
ππ
ππππ
θπ
θθπθπ
θθπ
θθπ
θθ
θθθπ
θθθθπ
θθπ
θθθπ
θθθπ
θθθπ
π
πθπ
θθθπθθπθθπθπ
其中:
bit/symbole
rer
XYHYHXHYXI
bit/symbolr
dxdyxypr
dxdy
r
xyp
dxdyxypxypXYH
bit/symbolerXHYH
xpyp
ryr
r
yrdx
r
dxxypyp
cccc
R
R
R
c
CC
yr
yr
yr
yr
loglog
logloglog2
)()()();(
log
)(log
1log)(
)(log)()(
log
2
1log)()(
)()(
)( 21)()(
22
2
22
2
2
2
2
22
2
22
2
22
22
22
22
−=
−−=
−+=
=
=
−=
−=
−==
=
≤≤−−===
∫∫
∫∫
∫∫
∫∫ −−−−−−
π
ππ
π
π
π
π
ππ
· 14 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
2.19 每帧电视图像可以认为是由 3¯105个像素组成的,所有像素均是独立变化,且每像素又
取 128 个不同的亮度电平,并设亮度电平是等概出现,问每帧图像含有多少信息量?若有一
个广播员,在约 10000 个汉字中选出 1000 个汉字来口述此电视图像,试问广播员描述此图像
所广播的信息量是多少(假设汉字字汇是等概率分布,并彼此无依赖)?若要恰当的描述此
图像,广播员在口述中至少需要多少汉字?
解:
1)
symbolbitXNHXH
symbolbitnXH
N / 101.27103)()(
/ 7128loglog)(
65 ×=××==
===
2)
symbolbitXNHXH
symbolbitnXH
N / 13288288.131000)()(
/ 288.1310000loglog)(
=×==
===
3)
158037
288.13
101.2
)(
)( 6 =×==
XH
XHN
N
2.20 设 是平稳离散有记忆信源,试证明: NXXXX ...21=
).../(...)/()/()()...( 12121312121 −++++= NNN XXXXHXXXHXXHXHXXXH 。
证明:
).../(...)/()/()(
).../(log)...(......
)/(log)()(log)(
).../(log)...(......
)/(log)...(...)(log)...(...
).../().../()(log)...(...
)...(log)...(...
)...(
121213121
21
11
1 2
21
1 2
1221
1
11
11
1 2
21
1 2
1221
1
1
2
21
1 2
1112121
1 2
2121
−++++=
−
−−=
−
⎥⎦
⎤⎢⎣
⎡−⎥⎦
⎤⎢⎣
⎡−=
−=
−=
−
−
−
∑∑ ∑
∑∑∑
∑∑ ∑
∑∑ ∑∑ ∑ ∑
∑∑ ∑
∑∑ ∑
NN
iii
i i i
iii
i i
iiii
i
ii
iii
i i i
iii
i i
ii
i
iii
i
i
i i
iii
i i i
iiiiiiiii
i i i
iiiiii
N
XXXXHXXXHXXHXH
xxxpxxxp
xxpxxpxpxp
xxxpxxxp
xxpxxxpxpxxxp
xxxpxxpxpxxxp
xxxpxxxp
XXXH
NN
N
N
NN
N
N
N
N
N
N
N
NNN
N
NN
2.21 设 是N维高斯分布的连续信源,且XNXXXX ...21= 1, X2, … , XN的方差分别是
,它们之间的相关系数22221 ,...,, Nσσσ ),...,2,1,(0)( jiNjiXX ji ≠==ρ 。试证明:N维高斯分布的
连续信源熵
· 15 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
∑== N
i
iNcc eXXXHXH
2
21 2log2
1)...()( σπ
证明:
相关系数 ( ) ( )jiNjixx ji ≠== ,,...,2,1, 0ρ ,说明 是相互独等的。 NXXX ...21
∑
=
=
+++=
+++=∴
=
+++==∴
N
i
i
N
Ncccc
iic
NcccNcc
e
eee
XHXHXHXH
eXH
XHXHXHXXXHXH
1
2
22
2
2
1
21
2
2121
2log
2
1
2log
2
1...2log
2
12log
2
1
)(...)()()(
2log
2
1)(
)(...)()()...()(
σπ
σπσπσπ
σπQ
2.22 设有一连续随机变量,其概率密度函数
⎩⎨
⎧ ≤≤= 其他0
0
)(
2 axbx
xp
(1) 试求信源X的熵Hc(X);
(2) 试求Y = X + A (A > 0)的熵Hc(Y);
(3) 试求Y = 2X的熵Hc(Y)。
解:
1)
symbolbit
e
abXH
baaFbxxF
e
abab
xdxxbb
dxxxfdxxfb
dxbxxfdxxfxfXH
c
XX
R
RR
RRc
/ log
3
2log)(
1
3
)(,
3
)(
log
9
2log
log2log
log)()(log
log)()(log)()(
3
33
33
2
2
2
⋅−−=∴
===
−−=
−−=
−⋅−=
−=−=
∫
∫∫
∫∫
Q
2)
∫
∫∫
∫∫
∫
−−−−−=
−−⋅−=
−−=−=
−=′=
−==
−≤=≤+=≤=
+≤≤∴
≤−≤⇒≤≤
−
R
RR
RRc
Ay
A
Y
AydAyAybb
dyAyyfdyyfb
dyAybyfdyyfyfYH
AybyFyf
Aybdxbx
AyXPyAXPyYPyF
AayA
aAyax
)()log()(2log
)log()()(log
)(log)()(log)()(
)()()(
)(
3
)()()()(
00
2
2
2
2
32
Q
· 16 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
symbolbit
e
abYH
baAaFAybyF
symbolbit
e
abab
c
YY
/ log
3
2log)(
1
3
)(,)(
3
)(
/ log
9
2log
3
3
3
33
⋅−−=∴
==+−=
−−=
Q
3)
symbolbit
e
abYH
baaFybyF
ba
e
abab
e
abab
ydyybb
dyyyfdyyfb
dyybyfdyyfyfYH
ybyFyf
ybdxbx
yXPyXPyYPyF
ay
ayax
c
YY
R
RR
RRc
y
Y
/ 1log
3
2log)(
1
3
)2(,
24
)(
3
29log
9
2log
8log
9
2
8
log
log
48
log
log)()(
8
log
8
log)()(log)()(
8
)()(
24
)
2
()2()()(
20
2
00
3
3
3
333
33
2
2
2
2
32
0
2
+⋅−−=∴
===
−+−−=
−−=
−−=
−⋅−=
−=−=
=′=
==
≤=≤=≤=
≤≤∴
≤≤⇒≤≤
∫
∫∫
∫∫
∫
Q
Q
· 17 ·
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
.a
i
d
a
a
n
.c
n
????????????www.aidaan.cn
· 17 ·
3.1 设信源 ⎭⎬
⎫
⎩⎨
⎧=⎥⎦
⎤⎢⎣
⎡
4.06.0)(
21 xx
XP
X 通过一干扰信道,接收符号为 Y = { y1, y2 },信道转移矩
阵为
⎥⎥
⎥
⎦
⎤
⎢⎢
⎢
⎣
⎡
4
3
4
1
6
1
6
5
,求:
(1) 信源 X中事件 x1和事件 x2分别包含的自信息量;
(2) 收到消息 yj (j=1,2)后,获得的关于 xi (