第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(ylx)又是什么关系?答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(ylx)的下凸形函数。2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为｛xl,x2,……xk｝，则平均每个信道输入符号所能携带的最大信息量是多少?答：H(X)=一丫q(xi)logq(xi)=-’log1=logkkki2.5根据平均互信息量的链规则，写出I(X;YZ)的
表
关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf
达式。答：I(X;YZ)=I(X;Y)+1(X;ZlY)2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量I(x;y)=logQXi1刃°〉，若互信息量取负值，即Q(xilyj)vq(xi)，说明事件yi的出现告q(xi)知的是xi出现的可能性更小了。从通信角度看，视xi为发送符号，yi为接收符号，Q(xilyj)
p,则(1-p)/p>1，所以log—>0，在此区间上H(x),>0,pH(x)单调递增。又该函数是在区间［0,1］上是关于p=1/2对称的函数，那么在区间［0.5,1］上单调递减。所以，H(X)二H(p)=-plogp-(1-p)log(1-p)当p=1/2时，H(X)达到最大值。2二次扩展后的矩阵：Xxxxxxxxx［］二［11122122］q(X)p2p(1-p)p(1-p)(1-p)2H(X(2))=-p2logp2-p(1-p)logp(1-p)-p(1-p)logp(1-p)-(1-p)2log(1-p)2=-2plogp-2(1-p)log(1-p)=2［-plogp-(1-p)log(1-p)］=2H(X)一副扑克牌(不用大小王)，试问任意特定排列给出的信息量是多少？从52张牌中抽取13张，所给出的点数都不相同时得到多少信息量？从52张牌中任意抽取1张，然后放回，结果试为从DMS中取得样本，这个DMS的熵为多少？若(3)中不计颜色，熵又为多少？(1\解：(1)I(xi)=—log—=225.6(比特/符号)152!丿TOC\o"1-5"\h\z41352!I(x)=-g(q)=-log(——)=log(i―-)iici3413*13!*39!52H(X)二N*H(x)=52*(-丄*log(—))=log52=2*logl3=7.4(比特/符号)5252H(x)=-log(丄)=3.7(比特/符号)13(1)一个无偏骰子，掷骰子的熵为多少？如果骰子被改造使得某点出现的概率与其点数成正比，熵为多少？一对无偏骰子，个掷一次，得到总点数为7，问得到多少信息量？解:(1)H(X)=-log(l/6)=2.58(比特/符号)TOC\o"1-5"\h\zH(X)=HYPERLINK\l"bookmark18"1122334455-(*(log)+*(log)+*(log)+*(log)+*(log))=2.068(比特/HYPERLINK\l"bookmark20"6666666666符号)I(x)=-log(-*-*3*2)=log6=2.585(比特/符号)i66一个盒子中放有100个球，其中60个是黑色，40个球是白色。随机摸取一个球，求获得的自信息量。做放回摸取n次，求这n次所得到的平均互信息量。解:⑴I(x)=-log(丄)=loglOOi100(2)I(x,y)=log1OO2.13已知平均每100个人中有2个患有某种病，为了查明病情进行某项指标的化验。化验结果对病人总是阳性，而对于健康人来说，这项指标有一半可能为阳性，一半可能为阴性。问这项化验对查明病情提供了多少信息量？解：①(XIY)二1；ii'病人：y1，健康人:y2-Y-"Y1Y2_=149W(Y)_5050_0(XIY)=0(XIY)=-12222P(XY)=W(Y)0(XY)=—11149P(XK)=--25049P(XY)=-p(XY)log0(yy)二0.056bitijji2100H(YIX)=-Mi2.14一个8元编码系统，码长为4,每个码字的第一个字符相同(用于同步)，若每秒产生1000个码字，求信息传输率Rt。答：信息传输率定义为Rt=H(x)/(t*n)其中，H(x)=-FiD-；logq(x/所以Rt=9*1000/4=2250(Bit/Sec)2.15一副拼板，其中3块圆形，4块方形，5块三角形，随机排成一行，每一种排列都是等可能的，如果要求不能有2块方形相邻，可以得到多少关于拼版排列的信息？1ZI3!＞：4!石！5答:I(XIY)=-log=log-3!*4!2.16设有一个传输系统，等概传输0、1、2、3、4、5六个数字，奇数在传输时以0.5的概率错成其他奇数，偶数能正确接收，求此传输系统的平均互信息量。11答：由题意得：H(Y)=(-Jog[)*6=log6=2.585(bit/符号)H(YIX)仝i=0卩(直)日(丫％)=0.75(bit/符号)I(X；Y)=H(Y)-H(YIX)=2.585-0.75=1.835(bit/符号)2.17等概信源消息集：u0,u1,-u7,编码为u0=000,u1=001,…u7=111，通过错误概率为P的二进制对称信道BSC传输，在接收u4=100的过程中，求：1与u4之间的互信息量；10与u4之间的互信息量；100与u4之间的互信息量。答:(1)由I(1；u4)=log_—~又q(1)=YiVp(1|ui)<-[4(1-p)+4p]=?(1—p)推出I(1；u4)=log；~；~~=log2(1-p)同理，可得I(10；u4)=2log2(1-p)同理，可得I(100；u4)=3log2(1-p)2.18求出概率分布{qk,k=0,1,2，-・・},使在限制条件艺k•q=a下,熵达到最k=0大值。答:q=Ce-Akk=亠(£)k时取得最大;1+A1+A最大为:吓)丄q*右=为岛k=0kk=0(1+A)k+ilog—TT"2.19X,Y,Z为概率空间，证明下述关系式成立，并给出等号成立的条件。H(YZIX)v=H(YIZ)+H(ZIX)H(YZ|X)=H(Y|X)+H(Z|XY)H(X|Z)<=H(X|Y)+H(Y|Z)证明：(1)H(YIZ)+H(ZIX)=工工p(yz)logijij①(yIz)iip(zx)logij1①(zIx)iiyy()1①(zIx)=p(yz)iogi=..「j①(yIz)ijiiH(YZIX)二—yyyp(xyz)logp(yzIx)ijkjkiijki将其代入上式计算即可得原始成立；(2)：H(YZIX)-(H(YIZ)+H(ZIXY))=—yyyp(xyz)logp(yzIx)+yyp(xy)logp(yIx)ijkjkiijjiijijk+乙乙乙p(xyz)logp(zIxy)ijkkijijk(3)：H(XIZ)-H(XIY)-H(YIZ)p(xIz)+Hp(xy)logp(xIy)ikikijijikij=+乙乙p(yz)logp(yIz)jkjkjk’p(yIz)-p(xIy)p(xyz)logjkijijkp(xIz)ik<=02.20对任意概率事件集X,Y,Z，证明下述三角不等式成立H(XIY)+H(YIZ)、H(XIZ)H(XY)H(YZ)一H(XZ)答：H(XY)=H(X)+H(YIX)=H(Y)+H(XIY);H(YZ)=H(Y)+H(ZIY)=H(Z)+H(YIZ);H(XZ)=H(Z)+H(ZIX)=H(Z)+H(XIZ);将以上三式代入原式可证得：H(XIY)H(YIZ)H(XIZ)H(XY)H(YZ)H(XZ)2.21令XTYTZ为马尔可夫链，证明:I(X;Z|Y)=0I(XY;Z)=I(Y;Z)I(Y;Z|X)=I(Y;Z)+I(X;Z)I(Y;Z|X)<=I(Y;Z)(说明：对本题的马尔可夫链了解不够，
答案
八年级地理上册填图题岩土工程勘察试题省略号的作用及举例应急救援安全知识车间5s试题及答案
仅供参考)答：(1)I(X;Z|Y)=H(Z|Y)-H(Z|XY);H(ZIY)二—工工p(zIy)q(z)logp(yIz)kjijkjk根据马尔可夫链H(ZIXY)二—工工工p(zIxy)q(xy)logp(zIxy)kijijkijijk二—乙乙p(zIy)q(z)logp(yIz)kjijkjk因此：I(X;ZIY)=0;由(1)同理可得：I(XY;Z)=I(Y;Z);根据(1)(2)可得：I(Y;ZIX)=I(Y;Z)+I(X;Z);H(Y;ZIX)二I(Y;Z)+1(X;Z)xqx2.22证明概率分布-pp(i—p)-p(i—p)i-1--x1x2
本文档为【信息论与编码第二章答案】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。
该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。
[版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
浙公网安备 33021202002483