2002 Copyright EE Lab508
信息论与编码习
题
快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题
参考
答案
八年级地理上册填图题岩土工程勘察试题省略号的作用及举例应急救援安全知识车间5s试题及答案
第一章 单符号离散信源
1.1同时掷一对均匀的子,试求:
(1)“2和6同时出现”这一事件的自信息量;
(2)“两个5同时出现”这一事件的自信息量;
(3)两个点数的各种组合的熵;
(4)两个点数之和的熵;
(5)“两个点数中至少有一个是1”的自信息量。
解:
(3)信源空间:
X
(1,1)
(1,2)
(1,3)
(1,4)
(1,5)
(1,6)
P(X)
1/36
2/36
2/36
2/36
2/36
2/36
X
(2,2)
(2,3)
(2,4)
(2,5)
(2,6)
P(x)
1/36
2/36
2/36
2/36
2/36
X
(3,3)
(3,4)
(3,5)
(3,6)
P(x)
1/36
2/36
2/36
2/36
X
(4,4)
(4,5)
(4,6)
P(x)
1/36
2/36
2/36
X
(5,5)
(5,6)
(6,6)
P(x)
1/36
2/36
1/36
(4)信源空间:
X
2
3
4
5
6
7
8
9
10
11
12
P(x)
1/36
2/36
3/36
4/36
5/36
6/36
5/36
4/36
3/36
2/36
1/36
(5)
1.2如有6行、8列的棋型方格,若有两个质点A和B,分别以等概落入任一方格内,且它们的坐标分别为(Xa,Ya), (Xb,Yb),但A,B不能同时落入同一方格内。
(1) 若仅有质点A,求A落入任一方格的平均信息量;
(2) 若已知A已落入,求B落入的平均信息量;
(3) 若A,B是可辨认的,求A,B落入的平均信息量。
解:
EMBED Equation.3
1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量?平均每个回答中各含有多少信息量?如果你问一位女士,则她的答案中含有多少平均信息量?
解:
1.4某一无记忆信源的符号集为{0,1},已知
(1) 求符号的平均信息量;
(2) 由1000个符号构成的序列,求某一特定序列(例如有m个“0”,(1000-m)个“1”)的自信量的
表
关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf
达式;
(3) 计算(2)中序列的熵。
解:
1.5设信源X的信源空间为:
求信源熵,并解释为什么H(X)>log6,不满足信源熵的极值性。
解:
1.6为了使电视图象获得良好的清晰度和规定的对比度,需要用5×105个像素和10个不同的亮度电平,并设每秒要传送30帧图象,所有的像素是独立的,且所有亮度电平等概出现。求传输此图象所需要的信息率(bit/s)。
解:
1.7设某彩电系统,除了满足对于黑白电视系统的上述要求外,还必须有30个不同的色彩度。试
证明
住所证明下载场所使用证明下载诊断证明下载住所证明下载爱问住所证明下载爱问
传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。
证:
1.8每帧电视图像可以认为是由3×105个像素组成,所以像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现。问每帧图像含有多少信息量?若现在有一个广播员,在约10000个汉字中选1000个字来口述这一电视图像,试问若要恰当地描述此图像,广播员在口述中至少需要多少汉字?
解:
1.9给定一个概率分布
和一个整数m,
。定义
,证明:
。并说明等式何时成立?
证:
1.10找出两种特殊分布:
p1≥p2≥p3≥…≥pn,p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。
解:
1.15两个离散随机变量X和Y,其和为Z=X+Y,若X和Y统计独立,求证:
(1) H(X)≤H(Z), H(Y)≤H(Z)
(2) H(XY)≥H(Z)
证明:
第二章 单符号离散信道
2.1设信源
通过一信道,信道的输出随机变量Y的符号集
,信道的矩阵:
试求:
(1) 信源X中的符号1和2分别含有的自信息量;
(2) 收到消息Y=b1,Y=b2后,获得关于1、2的互交信息量:I(1;b1)、I(1;b2)、I(2;b1)、I(2;b2);
(3) 信源X和信宿Y的信息熵;
(4) 信道疑义度H(X/Y)和噪声熵H(Y/X);
(5) 接收到消息Y后获得的平均互交信息量I(X;Y)。
解:
2.2某二进制对称信道,其信道矩阵是:
设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进制符号,并设在这消息中p(0)= p(1)=0.5。问从消息传输的角度来考虑,10秒钟内能否将这消息序列无失真的传送完。
解:
2.3有两个二元随机变量X和Y,它们的联合概率为P[X=0,Y=0]=1/8,P[X=0,Y=1]=3/8,P[X=1,Y=1]=1/8,P[X=1,Y=0]=3/8。定义另一随机变量Z=XY,试计算:
(1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);
(2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY);
(3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。
解:
EMBED Equation.3
2.4已知信源X的信源空间为
某信道的信道矩阵为:
b1 b2 b3 b4
试求:
(1)“输入3,输出b2的概率”;
(2)“输出b4的概率”;
(3)“收到b3条件下推测输入2”的概率。
解:
2.5已知从符号B中获取关于符号A的信息量是1比特,当符号A的先验概率P(A)为下列各值时,分别计算收到B后测A的后验概率应是多少。
(1) P(A)=10-2;
(2) P(A)=1/32;
(3) P(A)=0.5。
解:
2.6某信源发出8种消息,它们的先验概率以及相应的码字如下表所列。以a4为例,试求:
消息
a1
a2
a3
a4
a5
a6
a7
a8
概率
1/4
1/4
1/8
1/8
1/16
1/16
1/16
1/16
码字
000
001
010
011
100
101
110
111
(1) 在W4=011中,接到第一个码字“0”后获得关于a4的信息量I(a4;0);
(2) 在收到“0”的前提下,从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0);
(3) 在收到“01”的前提下,从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01);
(4) 从码字W4=011中获取关于a4的信息量I(a4;011)。
解:
2.13把n个二进制对称信道串接起来,每个二进制对称信道的错误传输概率为p(0
0,则对每个j=1,2,…,r都存在状态极限概率:
(证明详见:p171~175)
3.6设某齐次马氏链的第一步转移概率矩阵为:
试求:
(1) 该马氏链的二步转移概率矩阵;
(2) 平稳后状态“0”、“1”、“2”的极限概率。
解:
3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{ X0=1}=0.3; P{ X0=2}=0.1。第一个单位时间的条件概率分布分别是:
P{ X1=0/ X0=0}=1/3; P{X1=1/ X0=0}=1/3; P{ X1=2/ X0=0}=1/3;
P{ X1=0/ X0=1}=1/3; P{ X1=1/ X0=1}=1/3; P{ X1=2/ X0=1}=1/3;
P{X1=0/ X0=2}=1/2; P{ X1=1/ X0=2}=1/2; P{ X1=2/ X0=2}=0.
后面发出的Xi概率只与Xi-1有关,有P(Xi/Xi-1)=P(X1/ X0)(i≥2)试画出该信源的香农线图,并计算信源的极限熵H∞。
解:
香农线图如下:
3.8某一阶马尔柯夫信源的状态转移如下图所示,信源符号集为X:{0,1,2},并定义
(1) 试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2);
(2) 求信源的极限熵H∞;
(3) p取何值时H∞取得最大值。
解:
3.9某一阶马尔柯夫信源的状态转移如下图所示,信源符号集为X:{0,1,2}。试求:
(1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2);
(2)求信源的极限熵H∞;
(3)求当p=0,p=1时的信息熵,并作出解释。
解:
3.10设某马尔柯夫信源的状态集合S:{S1S2S3},符号集X:{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示.
(1) 求状态极限概率并找出符号的极限概率;
(2) 计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj);
(3) 信源的极限熵H∞.
解:
3.12下图所示的二进制对称信道是无记忆信道,其中
,试写出N=3次扩展无记忆信道的信道矩阵[P].
解:
第五章 多维连续信源与信道
5.8设X(ƒ)是时间函数x(t)的频谱,而函数在T1>错误传递概率p。试选择译码函数,并使平均错误概率Pe=Pemin,写出Pemin的表达式。
解:
000 001 010 100 011 101 110 111
因为正确传递概率p`>>错误传递概率p,所以选择译码函数如下:
F(000)=F(010)=F(100) =F(001)=000
F(111)=F(011)=F(101) =F(110)=F(111)=111
7.9设离散无记忆信道的输入符号集X:{0,1},输出符号集Y:{0,1,2},信道矩阵为:
若某信源输出两个等概消息s1和s2,现在用信道输入符号集中的符号对s1和s2进行信道编码,以w1=00代表s1,w2=11代表s2。试写出能使平均错误译码概率Pe=Pemin的译码规则,并计算Pemin。
解:
7.10设某信道的信道矩阵为:
其输入符号等概分布,在最大似然译码准则下,有三种不同的译码规则,试求之,并计算出它们对应的平均错误概率。
解:输入符号等概分布,在最大似然译码准则下,有三种不同的译码规则:
(1) F(b1)=1,F(b2)=1,F(b3)=2
(2) F(b1)=1,F(b2)=2,F(b3)=2
(3) F(b1)=1,F(b2)=3,F(b3)=2
第八章 限失真信源编码
8.1设信源X的概率分布P(X):{p(1), p(2), …,p(r) },失真度为d (i, j)≥0,其中
(i=1,2,…,r;j=1,2,…,s).试证明:
并写出取得
的试验信道的传输概率选取的原则,其中
(证明详见:p468-p470)
8.2设信源X的概率分布P(X):{p(1), p(2), …,p(r) },失真度为d(i, j)≥0,其中
(i=1,2,…,r;j=1,2,…,s).试证明:
并写出取得
的试验信道传递概率的选取原则.
(证明详见:p477-p478)
8.5设二元信源X的信源空间为:
令ω≤1/2,设信道输出符号集Y:{0,1},并选定汉明失真度.试求:
(1) Dmin,R(Dmin);
(2) Dmax,R(Dmax);
(3) 信源X在汉明失真度下的信息率失真函数R(D),并画出R(D)的曲线;
(4) 计算R(1/8).
解:
由上,可得R(D)曲线如下:
(4)R(1/8)=H(ω)-H(1/8)= H(ω)-0.5436 bit/symble
8.6一个四进展等概信源
接收符号集V:{0,1,2,3},其失真矩阵为:
(1) Dmin,R(Dmin);
(2) Dmax,R(Dmax);
(3) 试求R(D), 并画出R(D)的曲线(去4到5个点).
解:
可得R(D)曲线如下:
8.7某二进制信源:
其失真矩阵为:
(1) 试求Dmin,R(Dmin);
(2) 试求Dmax,R(Dmax);
(3) 试求R(D);
8.8对于离散无记忆信源U,其失真矩阵[D]中,如每行至少有一个元素为零,并每列最多只有一个元素为零,试证明R(D)=H(U).
8.9试证明对于离散无记忆信源,有RN(D)=NR(D),其中N为任意正整数,D>Dmin.
8.10某二元信源X的信源空间为:
其中ω<1/2,其失真矩阵为:
(1) 试求Dmin,R(Dmin);
(2) 试求Dmax,R(Dmax);
(3) 试求R(D);
(4) 写出取得R(D)的试验信道的各传输概率;
(5) 当d=1时,写出与试验信道相对应得反向试验信道的信道矩阵.
解:
EMBED Equation.3
8.14设离散无记忆信源:
其失真失真度为汉明失真度.
(1) 试求Dmin,R(Dmin),并写出相应试验信道的信道矩阵;
(2) 试求Dmax,R(Dmax), 并写出相应试验信道的信道矩阵;
(3) 若允许平均失真度D=1/8,试问信源[U·P]的每一个信源符号平均最少由几个二进制码符号表示?
解:
8.15设二元信源X的信源空间为:
(ω<1/2),其失真度为汉明失真度.
若允许平均失真度D=ω/2,试问每一个信源符号平均最少需要几个二进制码符号表示?
解:
X0
X1
Xn
X2
…
BSC
II
BSC
N
BSC
I
2
0
1
1/2
1/2
1/3
1/3
1/3
1/3
1/3
1/3
0
1
2
p/2
p/2
p/2
p/2
p/2
p/2
� EMBED Equation.3 ���
� EMBED Equation.3 ���
� EMBED Equation.3 ���
� EMBED Equation.3 ���
� EMBED Equation.3 ���
� EMBED Equation.3 ���
p
p
p
0
1
2
α2:1/4
S1
S2
S3
α3:1/2
α2:1/2
α1:1
α1:1/2
α3:1/4
0 � EMBED Equation.3 ��� 0
p
X Y
� EMBED Equation.3 ��� p
1 1
网络
K(ƒ)
x(t)
y(t)
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0.5904
0.3856
0.1808
0.0884
0.2048
0.2048
0.1024
0.0512
0.0512
0.0128
0.0512
0.0144
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
2
0
1
2
0
1
2
0
1
2
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
R(D)
D
H(ω)
0
Dmax=ω
0.792
0.208
1.258
R(D)
(bit/bymble)
D
2
3/4
1/2
1/4
1/8
0
©H.F.
_1100448982.unknown
_1100860473.unknown
_1100982996.unknown
_1101021616.unknown
_1101021752.unknown
_1101021753.unknown
_1101021655.unknown
_1101021640.unknown
_1101020181.unknown
_1101021316.unknown
_1101021595.unknown
_1101020131.unknown
_1100976206.unknown
_1100977725.unknown
_1100982749.unknown
_1100982981.unknown
_1100981538.unknown
_1100976705.unknown
_1100977105.unknown
_1100976279.unknown
_1100976419.unknown
_1100976684.unknown
_1100976290.unknown
_1100976231.unknown
_1100973189.unknown
_1100975798.unknown
_1100976008.unknown
_1100976061.unknown
_1100975818.unknown
_1100975153.unknown
_1100975599.unknown
_1100974502.unknown
_1100974975.unknown
_1100974388.unknown
_1100888618.unknown
_1100973129.unknown
_1100973145.unknown
_1100890702.unknown
_1100972503.unknown
_1100861525.unknown
_1100888583.unknown
_1100887802.unknown
_1100860901.unknown
_1100861198.unknown
_1100860539.unknown
_1100462794.unknown
_1100777073.unknown
_1100793427.unknown
_1100803311.unknown
_1100848352.unknown
_1100849972.unknown
_1100817672.unknown
_1100810669.unknown
_1100801551.unknown
_1100802877.unknown
_1100801540.unknown
_1100793663.unknown
_1100778248.unknown
_1100786573.unknown
_1100778235.unknown
_1100541327.unknown
_1100621137.unknown
_1100649938.unknown
_1100541437.unknown
_1100538727.unknown
_1100539245.unknown
_1100462870.unknown
_1100453949.unknown
_1100460042.unknown
_1100460611.unknown
_1100454526.unknown
_1100452134.unknown
_1100453465.unknown
_1100452097.unknown
_1099552211.unknown
_1099589809.unknown
_1099596114.unknown
_1099681164.unknown
_1099682801.unknown
_1100110503.unknown
_1100447263.unknown
_1099684496.unknown
_1099685116.unknown
_1099683212.unknown
_1099682073.unknown
_1099682578.unknown
_1099681754.unknown
_1099656642.unknown
_1099681148.unknown
_1099681158.unknown
_1099678846.unknown
_1099677766.unknown
_1099655940.unknown
_1099656133.unknown
_1099656385.unknown
_1099598332.unknown
_1099653548.unknown
_1099598330.unknown
_1099592525.unknown
_1099594166.unknown
_1099595747.unknown
_1099593700.unknown
_1099590848.unknown
_1099591591.unknown
_1099589946.unknown
_1099553970.unknown
_1099574162.unknown
_1099589628.unknown
_1099589650.unknown
_1099574465.unknown
_1099589530.unknown
_1099570800.unknown
_1099570980.unknown
_1099573173.unknown
_1099557708.unknown
_1099553986.unknown
_1099553277.unknown
_1099553347.unknown
_1099553384.unknown
_1099553447.unknown
_1099553509.unknown
_1099553410.unknown
_1099553367.unknown
_1099553307.unknown
_1099552215.unknown
_1099552216.unknown
_1099552213.unknown
_1098866417.unknown
_1099551136.unknown
_1099551746.unknown
_1099552209.unknown
_1099552210.unknown
_1099552207.unknown
_1099552208.unknown
_1099552128.unknown
_1099552113.unknown
_1099551463.unknown
_1099551598.unknown
_1099551325.unknown
_1099551397.unknown
_1099551217.unknown
_1099551239.unknown
_1099551025.unknown
_1099551062.unknown
_1099551095.unknown
_1099551043.unknown
_1099550998.unknown
_1099551005.unknown
_1099549898.unknown
_1099550903.unknown
_1099550985.unknown
_1099550990.unknown
_1099550941.unknown
_1099550643.unknown
_1099159176.unknown
_1099163794.unknown
_1099166090.unknown
_1099160266.unknown
_1099162237.unknown
_1099156197.unknown
_1099157896.unknown
_1099149986.unknown
_1098643295.unknown
_1098725899.unknown
_1098730545.unknown
_1098863585.unknown
_1098863959.unknown
_1098863510.unknown
_1098726373.unknown
_1098646354.unknown
_1098725707.unknown
_1098725744.unknown
_1098725684.unknown
_1098644348.unknown
_1098644901.unknown
_1098554843.unknown
_1098635160.unknown
_1098636813.unknown
_1098634996.unknown
_1098554352.unknown
_1098554827.unknown
_1098553669.unknown