首页 信息论——习题解答1

信息论——习题解答1

举报
开通vip

信息论——习题解答1null信息论——习题解答信息论——习题解答jhhu@phy.ccnu.edu.cnnull2.2假设一副充分洗乱了的牌(含52张牌),试问 (1) 任一特定排列所给出的信息量是多少? (2) 若从中抽取13张牌,所给出的点数都不相同能得到多少信息量?解: (2) 52张牌共有4种花色、13种点数,抽取13张点数不同的牌的概率如下:(1) 52张牌共有52!种排列方式,假设每种排列方式出现是等概率的, 则所给出的信息量是: null2.3居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160...

信息论——习题解答1
null信息论——习题解答信息论——习题解答jhhu@phy.ccnu.edu.cnnull2.2假设一副充分洗乱了的牌(含52张牌),试问 (1) 任一特定排列所给出的信息量是多少? (2) 若从中抽取13张牌,所给出的点数都不相同能得到多少信息量?解: (2) 52张牌共有4种花色、13种点数,抽取13张点数不同的牌的概率如下:(1) 52张牌共有52!种排列方式,假设每种排列方式出现是等概率的, 则所给出的信息量是: null2.3居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160 厘米以上的,而女孩子中身高160厘米以上的占总数的一半。假如我们 得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?解:设随机变量X代表女孩子学历设随机变量Y代表女孩子身高已知:在女大学生中有75%是身高160厘米以上的, 即:求:身高160厘米以上的某女孩是大学生的信息量, 即:null2.4 设离散无记忆信源其发出的信息为(202120130213001203210110321010021032011223210),求 (1) 此消息的自信息量是多少? (2) 此消息中平均每符号携带的信息量是多少? 解: (1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是: 此消息的信息量是:(2) 此消息中平均每符号携带的信息量是:null2.6 设信源求这个信源的熵,并解释为什么H(X) > log6不满足信源熵的极值性。不满足极值性的原因是解: null2.9证明:H(X3/X1X2) ≤ H(X3/X1),并 说明 关于失联党员情况说明岗位说明总经理岗位说明书会计岗位说明书行政主管岗位说明书 等式成立的条件。证明:null2.10 对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成 冷暖两个状态,调查结果得联合出现的相对频度如下: 若把这些频度看作概率测度,求: (1) 忙闲的无条件熵; (2) 天气状态和气温状态已知时忙闲的条件熵; (3) 从天气状态和气温状态获得的关于忙闲的信息。null解: (1)根据忙闲的频率,得到忙闲的概率分布如下: (2) 设忙闲为随机变量X,天气状态为随机变量Y,气温状态为随机变量Z (3) null2.15某一无记忆信源的符号集为{0, 1},已知P(0) = 1/4,P(1) = 3/4。 (1) 求符号的平均熵; (2) 有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100 - m) 个“1”)的自信息量的表达式; (3) 计算(2)中序列的熵。(2) (3)解:(1) null2.16一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}。 (1) 求平稳后信源的概率分布; (2) 求信源的熵H∞。 解:(1) (2)null2.18每帧电视图像可以认为是由3105个像素组成的,所有像素均是独立变化, 且每像素又取128个不同的亮度电平,并设亮度电平是等概出现,问每帧图 像含有多少信息量?若有一个广播员,在约10000个汉字中选出1000个汉字 来口述此电视图像,试问广播员描述此图像所广播的信息量是多少(假设汉 字字汇是等概率分布,并彼此无依赖)?若要恰当的描述此图像,广播员在 口述中至少需要多少汉字?(2)(3)解:(1) null2.22 设有一连续随机变量,其概率密度函数(1) 试求信源X的熵Hc(X); (2) 试求Y = X + A (A > 0)的熵Hc(Y); (3) 试求Y = 2X的熵Hc(Y)。解:(1)nullnull(2)(3)null3.1 设信源通过一干扰信道,接收符号为Y = { y1, y2 },信道转移矩阵为求: (1) 信源X中事件x1和事件x2分别包含的自信息量; (2) 收到消息yj (j=1,2)后,获得的关于xi (i=1,2)的信息量; (3) 信源X和信宿Y的信息熵; (4) 信道疑义度H(X/Y)和噪声熵H(Y/X); (5) 接收到信息Y后获得的平均互信息量。 解:(1)null(2)(3)null(4)(5)null3.2 设二元对称信道的传递矩阵为(1) 若P(0) = 3/4, P(1) = 1/4,求H(X), H(X/Y), H(Y/X)和I(X;Y); (2) 求该信道的信道容量及其达到信道容量时的输入概率分布; 解:(1)(2) null3.6 有一个二元对称信道,其信道矩阵为设该信源以1500二元符号/秒的速度传输输入符号。现有一消息序列共有14000 个二元符号,并设P(0) = P(1) = 1/2,问从消息传输的角度来考虑,10秒钟内能 否将这消息序列无失真的传递完? 解:信道容量计算如下: 也就是说每输入一个信道符号,接收到的信息量是0.859比特。 已知信源输入1500二元符号/秒,那么每秒钟接收到的信息量是:现在需要传送的符号序列有140000个二元符号,其信息量是 要求10秒钟传完,也就是说每秒钟传输的信息量是1400bit/s,超过了信道每秒 钟传输的能力(1288 bit/s)。所以10秒内不能将消息序列无失真的传递完。null3.16 设信源X的N次扩展信源X = X1X2…XN通过信道{X, P(Y/X), Y}的输出序列 为Y = Y1Y2…YN。试证明: (1) 当信源为无记忆信源时,即X1, X2, …, XN之间统计独立时,有(2) 当信道无记忆时,有(3) 当信源、信道为无记忆时,有(4) 用熵的概念解释以上三种结果。 null证明:(1)null(2)null(3)如果信源、信道都是无记忆的。上面证明的两个不等式应同时满足,即: 因此,(4)流经信道的信息量也是信宿收到的信息量,它等于信源信息的不确定度减去 由信道干扰造成的不确定度。 当信源无记忆、信道有记忆时,对应于本题的第一种情况。信源是无记忆的, 信源的不确定度等于N倍的单符号信源不确定度,信道是有记忆的,信道干扰 造成的不确定度小于N倍单符号信道的不确定度。因此,这两部分的差值平均 互信息量大于N倍的单符号平均互信息量。 当信源有记忆、信道无记忆时,对应于本题的第二种情况。信源是有记忆的, 信源的不确定度小于N倍的单符号信源不确定度,信道是无记忆的,信道干扰 造成的不确定度等于N倍单符号信道的不确定度。因此,这两部分的差值平均 互信息量小于N倍的单符号平均互信息量。 当信源无记忆、信道无记忆时,对应于本题的第三种情况。信源是无记忆的, 信源的不确定度等于N倍的单符号信源不确定度,信道是无记忆的,信道干扰 造成的不确定度等于N倍单符号信道的不确定度。因此,这两部分的差值平均 互信息量等于N倍的单符号平均互信息量。null3.18 设加性高斯白噪声信道中,信道带宽3kHz,又设 {(信号功率+噪声功率)/噪声功率}=10dB 试计算该信道的最大信息传输速率Ct。解:null3.20 设电话信号的信息率5.6104比特/秒,在一个噪声功率谱为 N0= 510-6 mW/Hz、限频F、限输入功率P的高斯信道中传送,若F=4kHz, 问无差错传输所需的最小功率P是多少瓦?若F→∞,则P是多少瓦?解:
本文档为【信息论——习题解答1】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: 免费 已有0 人下载
最新资料
资料动态
专题动态
is_280032
暂无简介~
格式:ppt
大小:300KB
软件:PowerPoint
页数:0
分类:互联网
上传时间:2012-04-16
浏览量:169