下载

3下载券

加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 信息论与编码习题参考答案

信息论与编码习题参考答案.doc

信息论与编码习题参考答案

zhoutao
2009-11-20 0人阅读 举报 0 0 暂无简介

简介:本文档为《信息论与编码习题参考答案doc》,可适用于教育、出版领域

CopyrightEELab信息论与编码习题参考答案第一章单符号离散信源同时掷一对均匀的子试求:()“和同时出现”这一事件的自信息量()“两个同时出现”这一事件的自信息量()两个点数的各种组合的熵()两个点数之和的熵()“两个点数中至少有一个是”的自信息量。解:()信源空间:X(,)(,)(,)(,)(,)(,)P(X)X(,)(,)(,)(,)(,)P(x)X(,)(,)(,)(,)P(x)X(,)(,)(,)P(x)X(,)(,)(,)P(x)()信源空间:XP(x)()如有行、列的棋型方格若有两个质点A和B分别以等概落入任一方格内且它们的坐标分别为(XaYa),(XbYb),但AB不能同时落入同一方格内。()若仅有质点A求A落入任一方格的平均信息量()若已知A已落入求B落入的平均信息量()若AB是可辨认的求AB落入的平均信息量。解:EMBEDEquation从大量统计资料知道,男性中红绿色盲的发病率为,女性发病率为如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”也可能“不是”。问这两个回答中各含有多少信息量?平均每个回答中各含有多少信息量?如果你问一位女士则她的答案中含有多少平均信息量?解:某一无记忆信源的符号集为{}已知()求符号的平均信息量()由个符号构成的序列求某一特定序列(例如有m个“”,(m)个“”)的自信量的表达式()计算()中序列的熵。解:设信源X的信源空间为:求信源熵并解释为什么H(X)>log不满足信源熵的极值性。解:为了使电视图象获得良好的清晰度和规定的对比度需要用×个像素和个不同的亮度电平并设每秒要传送帧图象所有的像素是独立的且所有亮度电平等概出现。求传输此图象所需要的信息率(bits)。解:设某彩电系统除了满足对于黑白电视系统的上述要求外还必须有个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大倍左右。证:每帧电视图像可以认为是由×个像素组成所以像素均是独立变化且每像素又取个不同的亮度电平并设亮度电平是等概出现。问每帧图像含有多少信息量?若现在有一个广播员在约个汉字中选个字来口述这一电视图像试问若要恰当地描述此图像广播员在口述中至少需要多少汉字?解:给定一个概率分布和一个整数m。定义证明:。并说明等式何时成立?证:找出两种特殊分布:p≥p≥p≥…≥pnp≥p≥p≥…≥pm,使H(p,p,p,…,pn)=H(p,p,p,…,pm)。解:两个离散随机变量X和Y其和为Z=X+Y若X和Y统计独立求证:()H(X)≤H(Z),H(Y)≤H(Z)()H(XY)≥H(Z)证明:第二章单符号离散信道设信源通过一信道信道的输出随机变量Y的符号集,信道的矩阵:试求:()信源X中的符号和分别含有的自信息量()收到消息Y=bY=b后获得关于、的互交信息量:I(b)、I(b)、I(b)、I(b)()信源X和信宿Y的信息熵()信道疑义度H(XY)和噪声熵H(YX)()接收到消息Y后获得的平均互交信息量I(XY)。解:某二进制对称信道其信道矩阵是:设该信道以个二进制符号秒的速度传输输入符号。现有一消息序列共有个二进制符号并设在这消息中p()=p()=。问从消息传输的角度来考虑秒钟内能否将这消息序列无失真的传送完。解:有两个二元随机变量X和Y它们的联合概率为PX=,Y==PX=,Y==PX=,Y==PX=,Y==。定义另一随机变量Z=XY试计算:()H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ)()H(XY),H(YX),H(XZ),H(ZX),H(YZ),H(ZY),H(XYZ),H(YXZ),H(ZXY)()I(XY),I(XZ),I(YZ),I(XYZ),I(YZX),I(XZY)。解:EMBEDEquation已知信源X的信源空间为某信道的信道矩阵为:bbbb试求:()“输入输出b的概率”()“输出b的概率”()“收到b条件下推测输入”的概率。解:已知从符号B中获取关于符号A的信息量是比特当符号A的先验概率P(A)为下列各值时分别计算收到B后测A的后验概率应是多少。()P(A)=()P(A)=()P(A)=。解:某信源发出种消息它们的先验概率以及相应的码字如下表所列。以a为例试求:消息aaaaaaaa概率码字()在W=中接到第一个码字“”后获得关于a的信息量I(a)()在收到“”的前提下从第二个码字符号“”中获取关于a的信息量I(a)()在收到“”的前提下从第三个码字符号“”中获取关于a的信息量I(a)()从码字W=中获取关于a的信息量I(a)。解:把n个二进制对称信道串接起来每个二进制对称信道的错误传输概率为p(<p<)试证明:整个串接信道的错误传输概率pn=(p)n。再证明:n→∞时limI(XXn)=。信道串接如下图所示:解:试求下列各信道矩阵代表的信道的信道容量:解:设二进制对称信道的信道矩阵为:()若p()=p()=求H(X)H(XY)H(YX)和I(XY)()求该信道的信道容量及其达到的输入概率分布。解:设某信道的信道矩阵为试求:()该信道的信道容量C()I(aY)()I(aY)。解:设某信道的信道矩阵为试求:()该信道的信道容量C()I(aY)()I(aY)。解:设某信道的信道矩阵为试该信道的信道容量C解:求下列二个信道的信道容量并加以比较(其中<p,q<,pq=)()()解:设某信道的信道矩阵为其中P,P…PN是N个离散信道的信道矩阵。令CC…CN表示N个离散信道的容量。试证明该信道的容量比特符号且当每个信道i的利用率pi=CiC(i=,,…,N)时达其容量C。证明:第三章多符号离散信源与信道设X=XX…XN是平稳离散有记忆信源试证明:H(XX…XN)=H(X)H(XX)H(XXX)…H(XNXX…XN)。(证明详见pp)试证明:logr≥H(X)≥H(XX)≥H(XXX)≥…≥H(XNXX…XN)。证明:试证明离散平稳信源的极限熵:(证明详见pp)设随机变量序列(XYZ)是马氏链且X:{a,a,…,ar}Y:{b,b,…,bs},Z:{c,c,…,cL}。又设X与Y之间的转移概率为p(bjai)(i=,,…,rj=,,…,s)Y与Z之间的转移概率为p(ckbj)(k=,,…,Lj=,,…,s)。试证明:X与Z之间的转移概率:证明:试证明:对于有限齐次马氏链如果存在一个正整数n≥对于一切ij=…r都有pij(n)>则对每个j=…r都存在状态极限概率:(证明详见:p~)设某齐次马氏链的第一步转移概率矩阵为:试求:()该马氏链的二步转移概率矩阵()平稳后状态“”、“”、“”的极限概率。解:设某信源在开始时的概率分布为P{X=}=P{X=}=P{X=}=。第一个单位时间的条件概率分布分别是:P{X=X=}=P{X=X=}=P{X=X=}=P{X=X=}=P{X=X=}=P{X=X=}=P{X=X=}=P{X=X=}=P{X=X=}=后面发出的Xi概率只与Xi有关有P(XiXi)=P(XX)(i≥)试画出该信源的香农线图并计算信源的极限熵H∞。解:香农线图如下:某一阶马尔柯夫信源的状态转移如下图所示信源符号集为X:{,,}并定义()试求信源平稳后状态“”、“”、“”的概率分布p()、p()、p()()求信源的极限熵H∞()p取何值时H∞取得最大值。解:某一阶马尔柯夫信源的状态转移如下图所示信源符号集为X:{,,}。试求:()试求信源平稳后状态“”、“”、“”的概率分布p()、p()、p()()求信源的极限熵H∞()求当p=,p=时的信息熵并作出解释。解:设某马尔柯夫信源的状态集合S:{SSS}符号集X:{ααα}。在某状态Si(i=,,)下发发符号αk(k=,,)的概率p(αkSi)(i=,,k=,,)标在相应的线段旁,如下图所示()求状态极限概率并找出符号的极限概率()计算信源处在Sj(j=,,)状态下输出符号的条件熵H(XSj)()信源的极限熵H∞解:下图所示的二进制对称信道是无记忆信道,其中,试写出N=次扩展无记忆信道的信道矩阵P解:第五章多维连续信源与信道设X(ƒ)是时间函数x(t)的频谱,而函数在T<t<T区间以为的值均为零试证:(频域抽样定理,证明详见pp)设随机过程x(t)通过传递函数为K(ƒ)的线性网络,如下图所示若网络的频宽为F,观察时间为T试证明:输入随机过程的熵h(X)和输出随机过程的熵h(Y)之间的关系为:(证明详见pp)证明:加性高斯白噪声信道的信道容量:信息单位N维其中N=FT,бX是信号的方差(均值为零),бN是噪声的方差(均值为零)再证:单位时间的最大信息传输速率信息单位秒(证明详见pp)设加性高斯白噪声信道中,信道带宽kHz,又设{(信号功率噪声功率)噪声功率}=dB试计算改信道的最大信息传输速率Ct解:在图片传输中,每帧约有×个像素,为了能很好的重现图像,需分个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为dB)解:设电话信号的信息率为×比特秒在一个噪声功率谱为N=×mWHz,限频F、限输入功率P的高斯信道中传送,若F=kHz,问无差错传输所需的最小功率P是多少W若F→∞则P是多少W解:已知一个高斯信道,输入信噪功率比为dB,频带为kHz,求最大可能传送的信息率是多少若信噪比提高到dB,求理论上传送同样的信息率所需的频带解:设某加性高斯白噪声信道的通频带足够宽(F→∞),输入信号的平均功率Ps=W,噪声功率谱密度N=WHz,,若信源输出信息速率Rt=×比特秒试问单位时间内信源输出的信息量是否全部通过信道为什么解:第六章无失真信源编码设平稳离散有记忆信源X=XX…XN,如果用r进制符号集进行无失真信源编码试证明当N→∞时,平均码长(每信源X的符号需要的码符号数)的极限值:其中,H∞r表示r进制极限熵证明:设某信源S:{s,s,s,s,s,s},其概率分布如下表所示,表中也给出了对应的码,,,,,()试问表中哪些码是单义可译码()试问表中哪些码是非延长码()求出表中单义可译码的平均码长sipiW()W()W()W()W()W()ssssss解:()W()是定长非奇异码,单义可译,W()是延长码,单义可译,W()是即时码,单义可译()W()、W()是非延长码()某信源S的信源空间为:()若用U:{,}进行无失真信源编码,试计算平均码长的下限值()把信源S的N次无记忆扩展信源SN编成有效码,试求N=,,时的平均码长()计算上述N=,,,,这四种码的信息率解:对其进行Huffman编码:码长编码信符信符概率SSSS码长编码信符信符概率SSSSSSSS码长编码信符信符概率SSSSSSSSSSSSSSSS()设信源S的信源空间为符号集U:{,,},试编出有效码,并计算其平均码长解:进行Huffman编码:r=,q=,因为(qr)mod(r)=mod=≠,所以插入m=(r)(qr)mod(r)==个虚假符号,令其为S,则:码长编码信符信符概率SSSSSSSSS(不使用)设信源S的N次扩展信源SN,用霍夫曼编码法对它编码,而码符号U:{α,α,…,αr},编码后所得的码符号可以看作一个新的信源试证明:当N→∞时,证明:设某企业有四种可能出现的状态盈利、亏本、发展、倒闭,若这四种状态是等概率的,那么发送每个状态的消息量最少需要的二进制脉冲数是多少又若四种状态出现的概率分别是:,,,,问在此情况下每消息所需的最少脉冲数是多少应如何编码解:设S:{S=“盈利”,S=“亏本”,S=“发展”,S=“倒闭”},()若四种情况等概率出现时,即p(S)=p(S)=p(S)=p(S)=时,用脉冲来表示各信息可视为对信源S进行编码,由平均码长界限定理知:所以发送每个状态的信息最少需要个二进制脉冲()p(S)=,p(S)=,p(S)=,p(S)=时,由平均码长界限定理:所以此情况下每消息所需的最少脉冲数是个达到此下限时要求各消息对应码长ni与出现概率p(Si)关系为:p(Si)=ni,则n=,n=,n=,n=对信源进行Huffman编码:码长编码信符信符概率SSSS可见上面编码符号最小码长条件,可使发送每信息的脉冲数最少设某信源的信源空间为:试用U:{,}作码符号集,采取香农编码方法进行编码,并计算其平均码长解:码长编码信符信符概率sssssss第七章抗干扰信道编码设有一离散信道其信道矩阵为:()当信源X的概率分布为р()=р()=р()=时按最大后验概率准则选择译码函数并计算其平均错误译码概率Pemin.()当信源是等概信源时按最大似然译码准则选择译码函数并计算其平均错误译码概率Pemin.解:某信道的输入符号集X:{}输出符号集Y:{}信道矩阵为:现有四个消息的信源通过这信道设信息等概出现。若对信源进行编码我们选这样一种码:C:{(x,x,,)}xi=,(i=,)其码长n=并选取这样的译码原则:ƒ(y,y,y,y)=(y,y,,)()这样的编码后信息传输效率等于多少?()证明在选用的编码规则下对所有码字有Pe=。解:考虑一个码长为的二进制码其码字为w=w=w=w=。若码字送入一个二进制对称信道(其单符号的误传概率为pp<)而码字的输入是不等概率的其概率为:p(w)=p(w)=p(w)=p(w)=试找出一种译码规则使平均错误概率Pemin=Pe。解:由于信道为二进制对称信道所以先验概率等于后验概率且p<故可以根据信道输出的个码字的最大后验概率选择译码规则即可使平均错误概率Pemin=Pe。发送概率收到码字w=w=w=w=译码规则F()=F()=F()=F()=F()=F()=F()=F()=F()=F()=F()=F()=F()=F()=F()=F()=设一离散无记忆信道其信道矩阵为:()计算信道容量C()找出一个长度为二的码其信息传输率为log(即五个字符)如果按最大似然译码准则设计译码器求译码器输出端平均错误译码的概率Pe(输入字符等概)()有无可能存在一个长度为的码而使每个码字的平均误译概率Pe(i)=(i=,,,,)也即使平均错译概率Pe=?如存在的话请找出来。解:设有二个等概信息A和B对它们进行信道编码分别以w=w=表示。若二进制对称信道的正确传递概率p`>>错误传递概率p。试选择译码函数并使平均错误概率Pe=Pemin写出Pemin的表达式。解:因为正确传递概率p`>>错误传递概率p所以选择译码函数如下:F()=F()=F()=F()=F()=F()=F()=F()=F()=设离散无记忆信道的输入符号集X:{}输出符号集Y:{}信道矩阵为:若某信源输出两个等概消息s和s现在用信道输入符号集中的符号对s和s进行信道编码以w=代表sw=代表s。试写出能使平均错误译码概率Pe=Pemin的译码规则并计算Pemin。解:设某信道的信道矩阵为:其输入符号等概分布在最大似然译码准则下有三种不同的译码规则试求之并计算出它们对应的平均错误概率。解:输入符号等概分布在最大似然译码准则下有三种不同的译码规则:()F(b)=F(b)=F(b)=()F(b)=F(b)=F(b)=()F(b)=F(b)=F(b)=第八章限失真信源编码设信源X的概率分布P(X):{p(),p(),…,p(r)},失真度为d(i,j)≥,其中(i=,,…,rj=,,…,s)试证明:并写出取得的试验信道的传输概率选取的原则,其中(证明详见:pp)设信源X的概率分布P(X):{p(),p(),…,p(r)},失真度为d(i,j)≥,其中(i=,,…,rj=,,…,s)试证明:并写出取得的试验信道传递概率的选取原则(证明详见:pp)设二元信源X的信源空间为:令ω≤,设信道输出符号集Y:{,},并选定汉明失真度试求:()Dmin,R(Dmin)()Dmax,R(Dmax)()信源X在汉明失真度下的信息率失真函数R(D),并画出R(D)的曲线()计算R()解:由上可得R(D)曲线如下:()R()=H(ω)H()=H(ω)bitsymble一个四进展等概信源接收符号集V:{,,,},其失真矩阵为:()Dmin,R(Dmin)()Dmax,R(Dmax)()试求R(D),并画出R(D)的曲线(去到个点)解:可得R(D)曲线如下:某二进制信源:其失真矩阵为:()试求Dmin,R(Dmin)()试求Dmax,R(Dmax)()试求R(D)对于离散无记忆信源U,其失真矩阵D中,如每行至少有一个元素为零,并每列最多只有一个元素为零,试证明R(D)=H(U)试证明对于离散无记忆信源,有RN(D)=NR(D),其中N为任意正整数,D>Dmin某二元信源X的信源空间为:其中ω<,其失真矩阵为:()试求Dmin,R(Dmin)()试求Dmax,R(Dmax)()试求R(D)()写出取得R(D)的试验信道的各传输概率()当d=时,写出与试验信道相对应得反向试验信道的信道矩阵解:EMBEDEquation设离散无记忆信源:其失真失真度为汉明失真度()试求Dmin,R(Dmin),并写出相应试验信道的信道矩阵()试求Dmax,R(Dmax),并写出相应试验信道的信道矩阵()若允许平均失真度D=,试问信源U·P的每一个信源符号平均最少由几个二进制码符号表示解:设二元信源X的信源空间为:(ω<),其失真度为汉明失真度若允许平均失真度D=ω,试问每一个信源符号平均最少需要几个二进制码符号表示解:XXXnX…BSCIIBSCNBSCIpppppp�EMBEDEquation����EMBEDEquation����EMBEDEquation����EMBEDEquation����EMBEDEquation����EMBEDEquation���pppα:SSSα:α:α:α:α:�EMBEDEquation���pXY�EMBEDEquation���p网络K(ƒ)x(t)y(t)R(D)DH(ω)Dmax=ωR(D)(bitbymble)D©HFunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknownunknown

用户评价(1)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/46

信息论与编码习题参考答案

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利