首页 信息论与编码习题参考答案

信息论与编码习题参考答案

举报
开通vip

信息论与编码习题参考答案2002 Copyright EE Lab508 信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子,试求: (1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵; (5)“两个点数中至少有一个是1”的自信息量。 解: (3)信源空间: X (1,1) (1,2) (1,3) (1,4) (1,5) (1,6) P(X) 1/36 2/36 2/3...

信息论与编码习题参考答案
2002 Copyright EE Lab508 信息论与编码习 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 参考 答案 八年级地理上册填图题岩土工程勘察试题省略号的作用及举例应急救援安全知识车间5s试题及答案 第一章 单符号离散信源 1.1同时掷一对均匀的子,试求: (1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵; (5)“两个点数中至少有一个是1”的自信息量。 解: (3)信源空间: X (1,1) (1,2) (1,3) (1,4) (1,5) (1,6) P(X) 1/36 2/36 2/36 2/36 2/36 2/36 X (2,2) (2,3) (2,4) (2,5) (2,6) P(x) 1/36 2/36 2/36 2/36 2/36 X (3,3) (3,4) (3,5) (3,6) P(x) 1/36 2/36 2/36 2/36 X (4,4) (4,5) (4,6) P(x) 1/36 2/36 2/36 X (5,5) (5,6) (6,6) P(x) 1/36 2/36 1/36 (4)信源空间: X 2 3 4 5 6 7 8 9 10 11 12 P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 (5) 1.2如有6行、8列的棋型方格,若有两个质点A和B,分别以等概落入任一方格内,且它们的坐标分别为(Xa,Ya), (Xb,Yb),但A,B不能同时落入同一方格内。 (1) 若仅有质点A,求A落入任一方格的平均信息量; (2) 若已知A已落入,求B落入的平均信息量; (3) 若A,B是可辨认的,求A,B落入的平均信息量。 解: EMBED Equation.3 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量?平均每个回答中各含有多少信息量?如果你问一位女士,则她的答案中含有多少平均信息量? 解: 1.4某一无记忆信源的符号集为{0,1},已知 (1) 求符号的平均信息量; (2) 由1000个符号构成的序列,求某一特定序列(例如有m个“0”,(1000-m)个“1”)的自信量的 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 达式; (3) 计算(2)中序列的熵。 解: 1.5设信源X的信源空间为: 求信源熵,并解释为什么H(X)>log6,不满足信源熵的极值性。 解: 1.6为了使电视图象获得良好的清晰度和规定的对比度,需要用5×105个像素和10个不同的亮度电平,并设每秒要传送30帧图象,所有的像素是独立的,且所有亮度电平等概出现。求传输此图象所需要的信息率(bit/s)。 解: 1.7设某彩电系统,除了满足对于黑白电视系统的上述要求外,还必须有30个不同的色彩度。试 证明 住所证明下载场所使用证明下载诊断证明下载住所证明下载爱问住所证明下载爱问 传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。 证: 1.8每帧电视图像可以认为是由3×105个像素组成,所以像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现。问每帧图像含有多少信息量?若现在有一个广播员,在约10000个汉字中选1000个字来口述这一电视图像,试问若要恰当地描述此图像,广播员在口述中至少需要多少汉字? 解: 1.9给定一个概率分布 和一个整数m, 。定义 ,证明: 。并说明等式何时成立? 证: 1.10找出两种特殊分布: p1≥p2≥p3≥…≥pn,p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。 解: 1.15两个离散随机变量X和Y,其和为Z=X+Y,若X和Y统计独立,求证: (1) H(X)≤H(Z), H(Y)≤H(Z) (2) H(XY)≥H(Z) 证明: 第二章 单符号离散信道 2.1设信源 通过一信道,信道的输出随机变量Y的符号集 ,信道的矩阵: 试求: (1) 信源X中的符号1和2分别含有的自信息量; (2) 收到消息Y=b1,Y=b2后,获得关于1、2的互交信息量:I(1;b1)、I(1;b2)、I(2;b1)、I(2;b2); (3) 信源X和信宿Y的信息熵; (4) 信道疑义度H(X/Y)和噪声熵H(Y/X); (5) 接收到消息Y后获得的平均互交信息量I(X;Y)。 解: 2.2某二进制对称信道,其信道矩阵是: 设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进制符号,并设在这消息中p(0)= p(1)=0.5。问从消息传输的角度来考虑,10秒钟内能否将这消息序列无失真的传送完。 解: 2.3有两个二元随机变量X和Y,它们的联合概率为P[X=0,Y=0]=1/8,P[X=0,Y=1]=3/8,P[X=1,Y=1]=1/8,P[X=1,Y=0]=3/8。定义另一随机变量Z=XY,试计算: (1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ); (2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY); (3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。 解: EMBED Equation.3 2.4已知信源X的信源空间为 某信道的信道矩阵为: b1 b2 b3 b4 试求: (1)“输入3,输出b2的概率”; (2)“输出b4的概率”; (3)“收到b3条件下推测输入2”的概率。 解: 2.5已知从符号B中获取关于符号A的信息量是1比特,当符号A的先验概率P(A)为下列各值时,分别计算收到B后测A的后验概率应是多少。 (1) P(A)=10-2; (2) P(A)=1/32; (3) P(A)=0.5。 解: 2.6某信源发出8种消息,它们的先验概率以及相应的码字如下表所列。以a4为例,试求: 消息 a1 a2 a3 a4 a5 a6 a7 a8 概率 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 码字 000 001 010 011 100 101 110 111 (1) 在W4=011中,接到第一个码字“0”后获得关于a4的信息量I(a4;0); (2) 在收到“0”的前提下,从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0); (3) 在收到“01”的前提下,从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01); (4) 从码字W4=011中获取关于a4的信息量I(a4;011)。 解: 2.13把n个二进制对称信道串接起来,每个二进制对称信道的错误传输概率为p(00,则对每个j=1,2,…,r都存在状态极限概率: (证明详见:p171~175) 3.6设某齐次马氏链的第一步转移概率矩阵为: 试求: (1) 该马氏链的二步转移概率矩阵; (2) 平稳后状态“0”、“1”、“2”的极限概率。 解: 3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{ X0=1}=0.3; P{ X0=2}=0.1。第一个单位时间的条件概率分布分别是: P{ X1=0/ X0=0}=1/3; P{X1=1/ X0=0}=1/3; P{ X1=2/ X0=0}=1/3; P{ X1=0/ X0=1}=1/3; P{ X1=1/ X0=1}=1/3; P{ X1=2/ X0=1}=1/3; P{X1=0/ X0=2}=1/2; P{ X1=1/ X0=2}=1/2; P{ X1=2/ X0=2}=0. 后面发出的Xi概率只与Xi-1有关,有P(Xi/Xi-1)=P(X1/ X0)(i≥2)试画出该信源的香农线图,并计算信源的极限熵H∞。 解: 香农线图如下: 3.8某一阶马尔柯夫信源的状态转移如下图所示,信源符号集为X:{0,1,2},并定义 (1) 试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2); (2) 求信源的极限熵H∞; (3) p取何值时H∞取得最大值。 解: 3.9某一阶马尔柯夫信源的状态转移如下图所示,信源符号集为X:{0,1,2}。试求: (1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2); (2)求信源的极限熵H∞; (3)求当p=0,p=1时的信息熵,并作出解释。 解: 3.10设某马尔柯夫信源的状态集合S:{S1S2S3},符号集X:{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示. (1) 求状态极限概率并找出符号的极限概率; (2) 计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj); (3) 信源的极限熵H∞. 解: 3.12下图所示的二进制对称信道是无记忆信道,其中 ,试写出N=3次扩展无记忆信道的信道矩阵[P]. 解: 第五章 多维连续信源与信道 5.8设X(ƒ)是时间函数x(t)的频谱,而函数在T1>错误传递概率p。试选择译码函数,并使平均错误概率Pe=Pemin,写出Pemin的表达式。 解: 000 001 010 100 011 101 110 111 因为正确传递概率p`>>错误传递概率p,所以选择译码函数如下: F(000)=F(010)=F(100) =F(001)=000 F(111)=F(011)=F(101) =F(110)=F(111)=111 7.9设离散无记忆信道的输入符号集X:{0,1},输出符号集Y:{0,1,2},信道矩阵为: 若某信源输出两个等概消息s1和s2,现在用信道输入符号集中的符号对s1和s2进行信道编码,以w1=00代表s1,w2=11代表s2。试写出能使平均错误译码概率Pe=Pemin的译码规则,并计算Pemin。 解: 7.10设某信道的信道矩阵为: 其输入符号等概分布,在最大似然译码准则下,有三种不同的译码规则,试求之,并计算出它们对应的平均错误概率。 解:输入符号等概分布,在最大似然译码准则下,有三种不同的译码规则: (1) F(b1)=1,F(b2)=1,F(b3)=2 (2) F(b1)=1,F(b2)=2,F(b3)=2 (3) F(b1)=1,F(b2)=3,F(b3)=2 第八章 限失真信源编码 8.1设信源X的概率分布P(X):{p(1), p(2), …,p(r) },失真度为d (i, j)≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明: 并写出取得 的试验信道的传输概率选取的原则,其中 (证明详见:p468-p470) 8.2设信源X的概率分布P(X):{p(1), p(2), …,p(r) },失真度为d(i, j)≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明: 并写出取得 的试验信道传递概率的选取原则. (证明详见:p477-p478) 8.5设二元信源X的信源空间为: 令ω≤1/2,设信道输出符号集Y:{0,1},并选定汉明失真度.试求: (1) Dmin,R(Dmin); (2) Dmax,R(Dmax); (3) 信源X在汉明失真度下的信息率失真函数R(D),并画出R(D)的曲线; (4) 计算R(1/8). 解: 由上,可得R(D)曲线如下: (4)R(1/8)=H(ω)-H(1/8)= H(ω)-0.5436 bit/symble 8.6一个四进展等概信源 接收符号集V:{0,1,2,3},其失真矩阵为: (1) Dmin,R(Dmin); (2) Dmax,R(Dmax); (3) 试求R(D), 并画出R(D)的曲线(去4到5个点). 解: 可得R(D)曲线如下: 8.7某二进制信源: 其失真矩阵为: (1) 试求Dmin,R(Dmin); (2) 试求Dmax,R(Dmax); (3) 试求R(D); 8.8对于离散无记忆信源U,其失真矩阵[D]中,如每行至少有一个元素为零,并每列最多只有一个元素为零,试证明R(D)=H(U). 8.9试证明对于离散无记忆信源,有RN(D)=NR(D),其中N为任意正整数,D>Dmin. 8.10某二元信源X的信源空间为: 其中ω<1/2,其失真矩阵为: (1) 试求Dmin,R(Dmin); (2) 试求Dmax,R(Dmax); (3) 试求R(D); (4) 写出取得R(D)的试验信道的各传输概率; (5) 当d=1时,写出与试验信道相对应得反向试验信道的信道矩阵. 解: EMBED Equation.3 8.14设离散无记忆信源: 其失真失真度为汉明失真度. (1) 试求Dmin,R(Dmin),并写出相应试验信道的信道矩阵; (2) 试求Dmax,R(Dmax), 并写出相应试验信道的信道矩阵; (3) 若允许平均失真度D=1/8,试问信源[U·P]的每一个信源符号平均最少由几个二进制码符号表示? 解: 8.15设二元信源X的信源空间为: (ω<1/2),其失真度为汉明失真度. 若允许平均失真度D=ω/2,试问每一个信源符号平均最少需要几个二进制码符号表示? 解: X0 X1 Xn X2 … BSC II BSC N BSC I 2 0 1 1/2 1/2 1/3 1/3 1/3 1/3 1/3 1/3 0 1 2 p/2 p/2 p/2 p/2 p/2 p/2 � EMBED Equation.3 ��� � EMBED Equation.3 ��� � EMBED Equation.3 ��� � EMBED Equation.3 ��� � EMBED Equation.3 ��� � EMBED Equation.3 ��� p p p 0 1 2 α2:1/4 S1 S2 S3 α3:1/2 α2:1/2 α1:1 α1:1/2 α3:1/4 0 � EMBED Equation.3 ��� 0 p X Y � EMBED Equation.3 ��� p 1 1 网络 K(ƒ) x(t) y(t) 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0.5904 0.3856 0.1808 0.0884 0.2048 0.2048 0.1024 0.0512 0.0512 0.0128 0.0512 0.0144 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 2 0 1 2 0 1 2 0 1 2 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 R(D) D H(ω) 0 Dmax=ω 0.792 0.208 1.258 R(D) (bit/bymble) D 2 3/4 1/2 1/4 1/8 0 ©H.F. _1100448982.unknown _1100860473.unknown _1100982996.unknown _1101021616.unknown _1101021752.unknown _1101021753.unknown _1101021655.unknown _1101021640.unknown _1101020181.unknown _1101021316.unknown _1101021595.unknown _1101020131.unknown _1100976206.unknown _1100977725.unknown _1100982749.unknown _1100982981.unknown _1100981538.unknown _1100976705.unknown _1100977105.unknown _1100976279.unknown _1100976419.unknown _1100976684.unknown _1100976290.unknown _1100976231.unknown _1100973189.unknown _1100975798.unknown _1100976008.unknown _1100976061.unknown _1100975818.unknown _1100975153.unknown _1100975599.unknown _1100974502.unknown _1100974975.unknown _1100974388.unknown _1100888618.unknown _1100973129.unknown _1100973145.unknown _1100890702.unknown _1100972503.unknown _1100861525.unknown _1100888583.unknown _1100887802.unknown _1100860901.unknown _1100861198.unknown _1100860539.unknown _1100462794.unknown _1100777073.unknown _1100793427.unknown _1100803311.unknown _1100848352.unknown _1100849972.unknown _1100817672.unknown _1100810669.unknown _1100801551.unknown _1100802877.unknown _1100801540.unknown _1100793663.unknown _1100778248.unknown _1100786573.unknown _1100778235.unknown _1100541327.unknown _1100621137.unknown _1100649938.unknown _1100541437.unknown _1100538727.unknown _1100539245.unknown _1100462870.unknown _1100453949.unknown _1100460042.unknown _1100460611.unknown _1100454526.unknown _1100452134.unknown _1100453465.unknown _1100452097.unknown _1099552211.unknown _1099589809.unknown _1099596114.unknown _1099681164.unknown _1099682801.unknown _1100110503.unknown _1100447263.unknown _1099684496.unknown _1099685116.unknown _1099683212.unknown _1099682073.unknown _1099682578.unknown _1099681754.unknown _1099656642.unknown _1099681148.unknown _1099681158.unknown _1099678846.unknown _1099677766.unknown _1099655940.unknown _1099656133.unknown _1099656385.unknown _1099598332.unknown _1099653548.unknown _1099598330.unknown _1099592525.unknown _1099594166.unknown _1099595747.unknown _1099593700.unknown _1099590848.unknown _1099591591.unknown _1099589946.unknown _1099553970.unknown _1099574162.unknown _1099589628.unknown _1099589650.unknown _1099574465.unknown _1099589530.unknown _1099570800.unknown _1099570980.unknown _1099573173.unknown _1099557708.unknown _1099553986.unknown _1099553277.unknown _1099553347.unknown _1099553384.unknown _1099553447.unknown _1099553509.unknown _1099553410.unknown _1099553367.unknown _1099553307.unknown _1099552215.unknown _1099552216.unknown _1099552213.unknown _1098866417.unknown _1099551136.unknown _1099551746.unknown _1099552209.unknown _1099552210.unknown _1099552207.unknown _1099552208.unknown _1099552128.unknown _1099552113.unknown _1099551463.unknown _1099551598.unknown _1099551325.unknown _1099551397.unknown _1099551217.unknown _1099551239.unknown _1099551025.unknown _1099551062.unknown _1099551095.unknown _1099551043.unknown _1099550998.unknown _1099551005.unknown _1099549898.unknown _1099550903.unknown _1099550985.unknown _1099550990.unknown _1099550941.unknown _1099550643.unknown _1099159176.unknown _1099163794.unknown _1099166090.unknown _1099160266.unknown _1099162237.unknown _1099156197.unknown _1099157896.unknown _1099149986.unknown _1098643295.unknown _1098725899.unknown _1098730545.unknown _1098863585.unknown _1098863959.unknown _1098863510.unknown _1098726373.unknown _1098646354.unknown _1098725707.unknown _1098725744.unknown _1098725684.unknown _1098644348.unknown _1098644901.unknown _1098554843.unknown _1098635160.unknown _1098636813.unknown _1098634996.unknown _1098554352.unknown _1098554827.unknown _1098553669.unknown
本文档为【信息论与编码习题参考答案】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: 免费 已有0 人下载
最新资料
资料动态
专题动态
is_845614
暂无简介~
格式:doc
大小:888KB
软件:Word
页数:46
分类:
上传时间:2009-11-20
浏览量:766