信息论与编码第二章
答案
八年级地理上册填图题岩土工程勘察试题省略号的作用及举例应急救援安全知识车间5s试题及答案
第二章 信息的度量
2.1 信源在何种分布时，熵值最大,又在何种分布时，熵值最小,
信源在等概率分布时熵值最大;信源有一个为1，其余为0时熵值最小。 答:
2.2 平均互信息量I(X;Y)与信源概率分布q(x)有何关系,与p(y|x)又是什么关系,
答:
若信道给定，I(X;Y)是q(x)的上凸形
函
关于工期滞后的函关于工程严重滞后的函关于工程进度滞后的回复函关于征求同志党风廉政意见的函关于征求廉洁自律情况的复函
数;
若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3 熵是对信源什么物理量的度量,
平均信息量 答:
2.4 设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少,
11H(X),,q(xi)logq(xi),,log,logk答: ,kki
2.5 根据平均互信息量的链规则，写出I(X;YZ)的
表
关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf
达式。
答: I(X;YZ),I(X;Y)，I(X;Z|Y)
2.6 互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗,
Q(xi|yj)I(x;y),log答:互信息量，若互信息量取负值，即Q(xi|yj)
说明
关于失联党员情况说明岗位说明总经理岗位说明书会计岗位说明书行政主管岗位说明书
事件yi的出现告q(xi)
知的是xi出现的可能性更小了。从通信角度看，视xi为发送符号，yi为接收符号，Q(xi|yj)
证明
住所证明下载场所使用证明下载诊断证明下载住所证明下载爱问住所证明下载爱问
: qXp,p()1
当p=1/2时，H(X)达到最大值。 H(X),H(p),,plogp,(1,p)log(1,p)2
(2)对(1)中的DMS，考虑它的二次扩展信源(2)(2)X,{(x,x),(x,x),(x,x),(x,x)}H(X),2H(X)，证明: 11122122
H(X),,plogp,(1,p)log(1,p)证明:(1)函数中的变量p在0到1中取值，从函数的结构上可以知道该函数在区间[0,1]上是关于p=1/2对称的函数。
,,H(X),(,plogp,(1,p)log(1,p))
11p,,logp,，，log(1,p),ln2ln2(1,p)ln2(1,p)
1,p1,p1,log，,pln2(1,p)ln2
1,p,logp
1,p,H(x)log,0在区间[0，0.5]上1-p>p,则(1-p)/p>1，所以，在此区间上>0，p
H(x)单调递增。又该函数是在区间[0,1]上是关于p=1/2对称的函数，那么在区间[0.5,1]上单调递减。
H(X),H(p),,plogp,(1,p)log(1,p)所以，当p=1/2时，H(X)达到最大值。 2
(2)二次扩展后的矩阵:
Xxxxxxxxx11122122[],[] 22qXpp,pp,p,p()(1)(1)(1)H(X),,plogp,p(1,p)logp(1,p),
(2)22
p(1,p)logp(1,p),(1,p)log(1,p)
22,,2plogp,2(1,p)log(1,p) ,2[,plogp,(1,p)log(1,p)],2H(X)
2.10 一副扑克牌(不用大小王)，试问
(1) 任意特定排列给出的信息量是多少,
(2)从52张牌中抽取13张，所给出的点数都不相同时得到多少信息量, (3)从52张牌中任意抽取1张，然后放回，结果试为从DMS中取得样本，这
个DMS的熵为多少,
)若(3)中不计颜色，熵又为多少, (4
1,,解:(1)I(xi)= —?=225.6(比特/符号) ,,52!,,
1352!4(2)I(x)= -?(q)= -log()=log(i) ii13134*13!*39!c52
11(3)H(X)= N*H(x)=52*(-*log())=log52=2*log13=7.4(比特/符号) 5252
1(4)H(x)= -log()=3.7(比特/符号) 13
2.11 (1)一个无偏骰子，掷骰子的熵为多少,
(2)如果骰子被改造使得某点出现的概率与其点数成正比，熵为多少,
(3)一对无偏骰子，个掷一次，得到总点数为7，问得到多少信息量,
解:(1)H(X)=-log(1/6)=2.58(比特/符号)
(2) H(X)=
1122334455-(*(log)+*(log)+*(log)+*(log)+*(log))=2.068(比特/6666666666符号)
11(3) I(x)= -log(**3*2)= log6=2.585(比特/符号) i66
2.12 一个盒子中放有100个球，其中60个是黑色，40个球是白色。
(1)随机摸取一个球，求获得的自信息量。
(2)做放回摸取n次，求这n次所得到的平均互信息量。
1解:(1) I(x)= -log()= log100 i100
(2)I(x,y)=log100
2.13 已知平均每100个人中有2个患有某种病，为了查明病情进行某项指标的
化验。化验结果对病人总是阳性，而对于健康人来说，这项指标有一半可
能为阳性，一半可能为阴性。问这项化验对查明病情提供了多少信息量?
解:
病人:y1，健康人:y2
YY12，，Y，，,, ,149,,,,WY()，，5050，，
1,,(|)1XY ; ,,,,(|)(|)XYXY1112222
1 PXYWYXY()()(),,,1111150
49 PXY(),1250
49 PXY(),22100
HYXpXYyybit(|)()log()0.056,,,,,,ijjiij
2.14 一个8元编码系统，码长为4，每个码字的第一个字符相同(用于同步)，若每秒产生1000个码字，求信息传输率R。 t
答:信息传输率定义为R=H(x)/(t*n) t
其中，H(x)= -logq(x) i
所以R=9*1000/4=2250(Bit/Sec) t
2.15 一副拼板，其中3块圆形，4块方形，5块三角形，随机排成一行，每一种排列都是等可能的，如果要求不能有2块方形相邻，可以得到多少关于拼版排列的信息, 答:I(X|Y)= -log=log
2.16 设有一个传输系统，等概传输0、1、2、3、4、5六个数字，奇数在传输时以0.5的概率错成其他奇数，偶数能正确接收，求此传输系统的平均互信息量。
答:由题意得:H(Y)=(-log)*6=log6=2.585(bit/符号)
=H(Y|x)=0.75(bit/符号) H(Y|X)i
I(X;Y)=H(Y)-H(Y|X)=2.585-0.75=1.835(bit/符号)
2.17 等概信源消息集:u0，u1，…u7，编码为u0=000，u1=001，… u7=111，通过错误概
率为,的二进制对称信道BSC传输，在接收u4=100的过程中，求:
(1)1与u4之间的互信息量;
(2)10与u4之间的互信息量;
(3)100与u4之间的互信息量。
答:(1)由I(1;u4)=log;
又q(1)= p(1|u)=[4(1-p)+4p]= i
推出I(1;u4)=log=log2(1-p)
(2)同理，可得I(10;u4)=2log2(1-p)
(3)同理，可得I(100;u4)=3log2(1-p)
,
kA,,2.18 求出概率分布{qk，k =0,1,2，…}，使在限制条件下，熵达到最q,kk0,
大值。
1A,Akk答:时取得最大; ,,qCe()k，，11AA
k，1,,1(1)AkA，最大为: HUq()loglog,,,,mkkk，1qAA(1)，kk,,00k
2.19 X,Y,Z为概率空间，证明下述关系式成立，并给出等号成立的条件。 (1) H(YZ|X)<=H(Y|Z)+H(Z|X) (2) H(YZ|X)=H(Y|X)+H(Z|XY)
(3) H(X|Z)<=H(X|Y)+H(Y|Z) 证明:
11(1)H(Y|Z)+H(Z|X)= pyzpzx， ()log()log,,,,ijij,,yzzx(|)(|)ijijiiii
,(|)zxii=; pyz()log,,ij,(|)yzijii
HYZXpxyzpyzx(|)()log(|),,,,,jkjkiiijk
将其代入上式计算即可得原始成立;
(2):H(YZ|X)-(H(Y|Z)+H(Z|XY))= ,，pxyzpyzxpxypyx()log(|)()log(|),,,,,ijkjkiijjiijkij ，pxyzpzxy()log(|),,,ijkkijijk
(3):
H(X|Z)-H(X|Y)-H(Y|Z)
,，pxzpxzpxypxy()log(|)()log(|),,,,ikikijijikij
= ，pyzpyz()log(|),,jkjkjk
pyzpxy(|)(|),jkij,pxyz()log,,,ijkpxz(|)ijkik
<=0
2.20 对任意概率事件集X,Y,Z,证明下述三角不等式成立
HXYHYZHXZ(|)(|)(|)，, HXYHYZHXZ()()()
答:H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y);
H(YZ)=H(Y)+H(Z|Y)=H(Z)+H(Y|Z);
H(XZ)=H(Z)+H(Z|X)=H(Z)+H(X|Z);
将以上三式代入原式可证得:
HXYHYZHXZ(|)(|)(|)，,; HXYHYZHXZ()()()
2.21 令X,Y,Z为马尔可夫链，证明:
(1)I(X;Z|Y)=0
(2)I(XY;Z)=I(Y;Z)
(3)I(Y;Z|X)=I(Y;Z)+I(X;Z) (4)I(Y;Z|X)<=I(Y;Z) (说明:对本题的马尔可夫链了解不够，答案仅供参考) 答:(1) I(X;Z|Y)=H(Z|Y)-H(Z|XY);
HZYpzyqzpyz(|)(|)()log(|),,,,kjijkjk
根据马尔可夫链
HZXYpzxyqxypzxy(|)(|)()log(|),,,,,kijijkijijk
,,pzyqzpyz(|)()log(|),,kjijkjk
因此:I(X;Z|Y)=0;
(2)由(1)同理可得:I(XY;Z)=I(Y;Z);
(3)根据(1)(2)可得:I(Y;Z|X)=I(Y;Z)+I(X;Z);
HYZXIYZIXZ(;|)(;)(;),，(4) ,,IXYZIYZ(;)(;)
xxx......xi12HP()，，，，22.22 证明概率分布的熵为H(x)=。 ,,,,1i,,,(1)......qppp,pp(1)xP，，，，
答:二次扩张后，可以将信源记为如下形式:
xxxxxxx()，，,,,，，,,,,,,,,,，，，，21122ii ,,,,,iqx()ppppppp,,,,,,,,,,,(1)(1)，，2，，
Hxqxqx()()log(),, ,x
二由以上的扩张后的信源我们可以得到:
Hxqqxqx()()log(),,; ,2x
HP()2因此:H(x)=。 P
nn,,11ijIxyXY(;|)2.23 应用熵与互信息的链规则证明:I(X;Y)= 。 ,,ij11ij,,11答:
2.24 信源信息集X={0,1}，信宿信息集Y={0,1}，信源等概分布，通过二进制信道
0.760.24，，pyx(|),传输，求: ,,,,0.320.68，，
(1) 该系统的平均互信息量
(2) 接收到y=0后，所提供的关于x的平均互信息量I{X;0}。
答:
(1) 由 IXYHYHYX(;)()(),,
qq设信宿符号接收概率分别为和 01
0.760.240.760.24，，，，11 [][][][0.540.46]qqpp,,,0101,,,,0.320.680.320.6822，，，，
HYH()(0.54,0.46)0.9954,,bit/符号
11(2) bit/符号 HYXpHYiHH,,，,()()(0.76,0.24)(0.32,0.68)0.8497,,,i,i02
从而0.9954-0.8497=0.146bit/符号 IXYHYHYX(;)()(),,,
2.25 传输系统的输入符号集X={x0,x1,x2,x3},输出符号集Y={y0，y1，y2}，输
入符号与输出符号的联合概率p(x y)用下述矩阵表示
yyy012
0.100，，x0,,0.20.10,,x1,,pxy(), 00.30.2,,x,,2000.1，，x3
计算H(X),H(Y),H(Y|X),H(X Y)及I(X;Y),并与维拉图对照。
答:
由联合概率分布可求得X和Y的一维概率分布， P,0.10.30.50.1,,X
100，，
,,21,,033,,及转移概率矩阵 P,P,0.30.40.3,,YYX,,320,,55,,
,,001，，HXH()(0.1,0.3,0.5,0.1)1.685,,bit/符号 HYH()(0.3,0.4,0.3)1.571,,bit/符号
2132HYXpxHYxHHHH,,，，，()()()0.1(1,0,0)0.3(,,0)0.5(,,0)0.1(0,0,1),X3355
2132 bit/符号 ,，,0.3(,)0.5(,)0.761HH3355
bit/2符号 HXYHXHYX()()()1.6850.7612.446,，,，,
IXYHXHXYHYHYX(;)()()()()1.5710.7610.81,,,,,,,
浙公网安备 33021202002483