信息论与编码姜丹第三版答案

信息论与编码习题参考 答案 八年级地理上册填图题岩土工程勘察试题省略号的作用及举例应急救援安全知识车间5s试题及答案 第一章单符号离散信源信息论与编码作业是74页，1.1的(1)(5)，1.3,1.4,1.6,1.13,1.14还有证明熵 函数 excel方差函数excelsd函数已知函数     2 f x m x mx m      2 1 4 2拉格朗日函数pdf函数公式下载 的连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：“2和6同时出现”这一事件的自信息量；“两个5同时出现”这一事件的自信息量；两个点数的各种组合的熵；⑷两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。解：样本空间：N11C6C666362(1)F—N36I(a)logP1log184.17bit门21⑵P2—N36I(a)logP>log365.17bit(3)信源空间:X(1,1)(1,2)(1,3)(1,4)(1,5)(1,6)P(X)1/362/362/362/362/362/36X(2,2)(2,3)(2,4)(2,5)(2,6)P(x)1/362/362/362/362/36X(3,3)(3,4)(3,5)(3,6)P(x)1/362/362/362/36X(4,4)(4,5)(4,6)P(x)1/362/362/36X(5,5)(5,6)(6,6)P(x)1/362/361/36H(x)15—log366丄log364.32bitX23456789101112P(x)1/362/363/364/365/366/365/364/363/362/361/36(4)信源空间:H(x)TOC\o"1-5"\h\z36236Zbg36+土log?62log色卫log色363623633642log兰十色gg兰3.71bit36536611361(a)logF3log36111.17bit1.2如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为(Xa，Ya),(Xb，Yb),但A，B不能同时落入同一方格内。若仅有质点A，求A落入任一方格的平均信息量；若已知A已落入，求B落入的平均信息量；若A，B是可辨认的，求A，B落入的平均信息量。解：1A落入任一格的概率：P(ai)I(ajlogP(ai)log484848H(a)P(ai)logP(ai)log485.58biti11在已知A落入任一格的情况下,B落入任一格的概率是：P(bJ—47I(bi)logP(bi)log4748H(b)P(bi)logP(bi)log475.55biti111(3)AB同时落入某两格的概率是P(ABi)——4847I(ABi)logP(ABi)4847H(ABi)P(ABi)logP(ABi)log(4847)11.14biti11.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？解：对于男士：回答“是”的信息量：I(my)logP(my)log7%3.84bit回答“不是”的信息量平均每个回答信息量：:I(mn)logP(mn)log93%0.105bitH(m)P(my)logP(my)P(mn)logP(mn)-7%log7%-93%log93%0.366bit对于女:回答“是”的信息量：I(wy)logP(wy)log0.5%回答“不是”的信息量平均每个回答信息量：:I(mn)logP(mn)log99.5%H(m)P(wy)logP(Wy)P(Wn)logP(Wn)-0.5%log0.5%-99.5%log99.5%0.0454bit1.4某一无记忆信源的符号集为{0,1},已知p0(1)(2)求符号的平均信息量；由1000个符号构成的序列,的自信量的表达式；计算(2)中序列的熵。求某一特定序列(例如有m个“0”,(1000-m)个“1”)(1)H(x)p0logp°p1logp1-3⑵1(A)mlogp°(1000m)logp(3)H(A)1000H(X)10000.918m1000mH(A)ip°logp°1pi11logp11.5设信源X的信源空间为：[x?p]：X:a1p(X)0.17求信源熵，并解释为什么H(X)>log6,解：6H(X)p(ajlogp(ai)(3)解：12log--33.1mlog-3(1000918bit/sequeneemlog-3-2(10000.918bit/symblem)log—bita20.19a30.18a40.16a50.18a60.3不满足信源熵的极值性。i10.17log0.170.19log0.1920.18log0.180.16log0.160.3log0.32.725bit/symble可见H(X)2.725log62.585不满足信源熵的极值性，但是本题中r这是因为信源熵的最大值是在iPi1的约束条件下求得的，16立的约束条件，所以H(X)Iog6。pi1.18不满足信源熵最大值成i11.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5X105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率(bit/s)。解：由于亮度电平等概出现，由熵的极值性：10每个像素的熵是：H(x0)p(ai)logp(ai)log103.322bit/pelsi1每帧图像的熵是：H(X)5105H(x0)51053.3221.661106bit/frame所需信息速率为：Rr(frame/s)H(X)(bit/frame)301.6611064.983107bit/s1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。证：增加30个不同色彩度,在满足黑白电视系统要求下，每个色彩度需要10个亮度,所以每个像素需要用3010300bit量化每个像素的熵是：H(xJ300p(bjlogp(bjlog300bit/pelsi1H(x1)log300H(x。)log102.4772.5彩色电视系统每个像素信息量比黑白电视系统大2.5倍作用,所以传输相同的图形,彩色电视系统信息率要比黑白电视系统高2.5倍左右.1.8每帧电视图像可以认为是由3x105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？解：每帧图象所含信息量：H(X)3105H(x)3105Iog1282.1106bit/symble每个汉字所出现概率p誥)2每个汉字所包含信息量：H(c)logp描述一帧图像需要汉字数n,H(X)nH(c)nZ2.1106.322105/framelog0.1最少需要6.322105个汉字m1.9给定一个概率分布(p1,p2,...,Pn)和一个整数m,0mn。定义qm1p,证明:i1H(P1,P2，...,Pn)H(P1,P2,...,Pm,qm)qmlog(nm)。并说明等式何时成立?证：先证明f(x)xlogx(x0)为凸函数，如下:f(x)(xlogx)loge又x0xf(x)(xlogx)oge0即f(x)xlogx(x0)为凸函数。x又H(P1,P2,...,Pn)PilogPinPilogPi由凸函数的性质,nPilogPiim1n即PilogPiim1当且仅当Pm1变量函数的平均值小于变量的算术平均值的函数，可得：nPiim1mnf(Pi)(nm)(nnmqmlogqmqmlog(nim1m)f(——nnPi-)m(nnPim1m)lognmnqmlogqmnmm)Pn时等式成立。nPilogPiim1Pm2.mPilogPii1mPilogPiqmlogqmi1H(P1,P2,…，Pn)H(P1,P2，...,Pm，qm)QmlOg5当且仅当Pm1pm2...Pn时等式成立。H(Pi,P2,…，Pn)H(Pi,P2,…，Pm2m)PilogPi1m)qmlogqmqmlog(nm)1.10找出两种特殊分布：P1>P2>P3>•••》Pn,P1>P2>P3》Pm,使H(P1,卩2,卩3,•-,Pn)=H(p1,卩2,p3,•-,Pm)。解:H(P1,P2,...,Pn)PilogPiH(q1,q2,...,qm)qilogq1.15两个离散随机变量X和Y，其和为Z=X+Y，若X和Y统计独立，求证:⑴H(X)H(Z)证明：设X、Y的信源空间为：[X?P]:XQP(X)P!a2P2arpr[Y?P]:Yb1P(Y)q1又X,丫统计独立tH(Z)pzjogpzkk1t又H(Z)=pzklogpzP2>P3>P4)[2log2log—]H(—，，，)l1888824880.0612bit/symble2.23求下列二个信道的信道容量，并加以比较(其中0H(X)>H(X2/X”>H(X3/X1X2)H(Xn/X1X2…Xn-1)。证明：由离散平稳有记忆信源条件概率的平稳性有p(aik/ai2ai3aik1)P(aik1/ai1ai2aik2)rrH(Xk/X1X2XkJi11rikp(ai1aik1)rp(aik/ai1ai2ik1aik1)logp(ak/ai2ai3aik1)i11rik1ri11rik1r卩佝佝21ik1rp(ai1ai21ik1aik1aik)logp(Qkaik1aik)l0gp(aik/ai2ai3aik1)1/ai1ai2aik2)卩佝佝2aik11/X1X2Xk2)ik11)logp(aik1/ai1ai2aik2)i11H(Xk重复应用上面式子可得：H(X)H(X2/XJH(X3/X1X2)H(Xn/X1X2Xn1)又仅当输入均匀分布时，H(X)达到最大logr，即logrH(X)logrH(X)H(X2/Xi)Hg/XX)H(Xn/X1X2Xn1)3.3试证明离散平稳信源的极限熵：HlimH(Xn/X1X2Xn1)n(证明详见p165-p167)3.4设随机变量序列(XYZ)是马氏链，且X:{a1,a2,…,ar}，丫:{b1,b2,…,bs},Z:{c1,C2,…,cL}。又设X与Y之间的转移概率为p(bj/ai)(i=1,2,…,r;j=1,2,…,s);Y与Z之间的转移概率为p(Ck/bj)(k=1,2,…丄;j=1,2,…,s)。试证明：X与Z之间的转移概率：spG/aJp(bj/aJp(Ck/bj)j1证明：pG/aJp(Zc,Xajssp(zCk,丫bj/Xajp(ZCk,Ybj/Xa」jijisp(Ybj/XaJP(Zc/丫bj,Xa」jiXYZ为Markov序列P(Ck/bj,aJP(q/bj)sp(Ck/aJ=p(Ybj/XaJP(ZCk/Ybj)ji3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0>1,对于一切i,j=1,2，…,r,都有pj(no)>O，则对每个j=1,2，…，r都存在状态极限概率：TOC\o"1-5"\h\z軻必(n)Pj(j1,2,,r)(证明详见：p171~175)3.6设某齐次马氏链的第一步转移概率矩阵为:0120qp0q0p0qp试求:qp0q(1)[P(2)]ppq0pq0qp0⑵由：p(0)qp0Tp(0)p(1)二q0p?p(1)p(2)0qpp(2)p(0)p(1)p(2)1该马氏链的二步转移概率矩阵；平稳后状态“0”、“1”、“2”的极限概率。解:p(i)0(i0,1,2)p0q2pq2pqp0p2q22pqp22qpqpqpqpp(0)q(1p)2q1pq1pqp(1)(1'q)(1p)pq1pq1pqp(0)p(1q)2p1pq1pq3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{X0=1}=0.3;P{X0=2}=0.1。第一个单位时间的条件概率分布分别是:P{X1=0/Xo=O}=1/3;P{X1=1/Xo=O}=1/3;P{X1=2/Xo=O}=1/3;P{X1=0/Xo=1}=1/3;P{X1=1/Xo=1}=1/3;P{X1=2/Xo=1}=1/3;P{X1=0/Xo=2}=1/2;P{X1=1/Xo=2}=1/2;P{X1=2/X0=2}=0.后面发出的Xi概率只与Xi-1有关，有P(Xi/Xi-1)=P(X1/Xo)(i>2)试画出该信源的香农线图,并计算信源的极限熵H8。解：1/31/31/31/31/31/31/37/182/9[P(2)]PP1/31/31/3?1/31/31/37/187/182/91/21/201/21/201/31/31/3n02时二步转移概率均大于0,既有pij(n°2)0(i,j1,2,3)信源具有各态经历性，存在极限概率p(S」(i1,2,3)Tp(S1)1/31/3p(S2)=1/31/31/3由p(S3)1/21/20p(S)P(S2)p(S3)1p(Si)0(i1,2,3)1/3P(SJ3?P©)p(S1)8P(S3)P0)381p(S3)；由题意，此信源为一阶有记忆信源:01201/31/31/3且一步转移概率为：彳1/31/31/321/21/20113113log3)3(83log3)211尹込)1.439bit/symbl香农线图如下:/31/：1/21/33.8某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X:{0,1,2}，并定义"P1P(1)试求信源平稳后状态P⑵；⑵求信源的极限熵H-；(3)p取何值时Hg取得最大值。解：(1)由题意，此信源一步转移概率为:0120pp/2p/2[P]1p/2pp/22p/2p/2pno1)0(i,j1,2,3)1,2,3)P(SJPp(2P/2P(SJP(S2)=p/2PP/2?P6)P(S1)由P(S3)P/2P/2PP(S3)P(S2)P(S1)P(S2)P(S3)1P(S3)P(Si)0(i1,2,3)(2)H3i1jp(Si)p(Sj/Si)logp(Sj/Si)1--3(一plogp1卫log卫1卫log—)3322322⑶H1(plogpplogp(plogplogP卫1时二步转移概率均大于0,既有pHn0信源具有各态经历性，存在极限概率p(S)(iT131313p(plogpplog)bit/symbl2log号)12-即p-时H取得最大，且33号1由熵的极限定理，当Hmaxlog31.585bit/symble3.9某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X:{0,1,2}。试求:⑴试求信源平稳后状态“0”、“1”、“2”的概率分布p（0）、p⑴、p（2）;（2）求信源的极限熵H込⑶求当p=0,p=1时的信息熵，并作出解释。解：（1）由题意，此信源一步转移概率为:012TOC\o"1-5"\h\z0p0p[P]1pP020pp由状态转移图口『知,此信源为不可约、非周：期性、各态经历性信源存在极限概率P(Si)(i1,2,3)P（S1）p0TpP(S)1P（S2）=pp0?P0)P(SJ3由P（S3）0ppP0)P（S2）1P(S)P(S2)P（S3）13AP0)13P(S)0(i1,2,：3)oTOC\o"1-5"\h\z3⑵Hp(S)P(Sj/SJIogp(Sj/SJi1jplogp)1111qplogp-plogp-plogp-plogp-plogp-33333(plogpplogp)H(p)bit/symbl⑶p0时,HH(0)0bit/symblp1时,HH(1)0bit/symbl3.10设某马尔柯夫信源的状态集合S:{S1S2S3},符号集X:{a1a2a3}。在某状态Si(i=1,2,3)下发发符号ak(k=1,2,3)的概率p(ak/Si)(i=1,2,3;k=1,2,3)标在相应的线段旁，如下图所示.求状态极限概率并找出符号的极限概率；计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj);⑶信源的极限熵H.期性、各态经历性信源P(d)P®)P®)3p(Si/aJp(S)i13p(Si/a2)p(SJi13p(Si/a3)p(SJi12121472772-2374721421213747214解：(1)由题意，此信源一步转移概率为:S1S2S3S103/41/4[P]S201/21/2S3100P(SJ03/4T1/4p(SJ2P0)=01/21/2?p©)P(SJ7由P(S3)100PG)P0)3P(S)P(S2)P0)17由状态转移图可知，此信源为不可约、非周存在极限概率p(S)(i1,2,3)2P(SO7p(S)0(i1,2,3)7(2)H(X/S)p(ai/S)logp(ai/S1)i1(丄log-2y2111lOg1)1bit/symbleH(X/S2)p(ai/S2)logp(a〃S2)i1(1log-'22-log~)221bit/symble各符号极限概率为H(X/S3)p(ai/S3)logp(a)/S3)log1Obit/symblei13Hp(Si)p(Sj/S」logp(Sj/Si)i1j(沁44411(2bg21122log「log1]0.660bit/symbl3.12下图所示的二进制对称信道是无记忆信道，其中0p,p1,pp1,pp，试写出N=3次扩展无记忆信道的信道矩阵[P].将二进制对称无记忆信道N3次扩展后，信源输入符号集为i即:(ai1ai2ai3),其中ai1、ai2、1(000),2(001),3ai3{0,1},i(010),41,2,8;(011),5(100),6(101),7(110),8(111)输出符号集为:j{bj1bj2bj3},其中bj1、bj2、bj3{0,1},j1,2,f3；即:1(000),2(001),3(010),4(011),5(100),6(101),7(110),8(111)p(j/i)p(ai1/bjj?p(ai2/bj2)?P(ai3/bj3)故直接可以写出N3次扩展信道信道矩阵:(000)(001)(010)(011)(100)(101)(110)(111)[P]12345678(000)(001)(010)(011)(100)(101)(110)(111)3222ppppppp—2—3一2—2ppppppp—2_2—3—2ppppppp_2—2—2—3ppppppp—2_2一23ppppppp_2—23一2ppppppp_23—2一2ppppppp3222ppppppp2223ppppppp_2—23_2ppppppp_23—2_2ppppppp3一2一2—2ppppppp—3—2—2_2ppppppp—2—3一2—2ppppppp—2_2—3—2ppppppp2223ppppppp第五章多维连续信源与信道5.8设X(?)是时间函数x(t)的频谱，而函数在Ti