下载
加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 信息论基础第十三周

信息论基础第十三周.ppt

信息论基础第十三周

wang
2012-05-17 0人阅读 举报 0 0 暂无简介

简介:本文档为《信息论基础第十三周ppt》,可适用于高等教育领域

信息论基础信息论基础杜春娟ducjscnueducnQQ:Tel:第四章数据可靠传输和信道编码第四章数据可靠传输和信道编码离散无记忆信道和信道容量信道容量的计算拉格朗日乘子法信道容量的迭代算法信道编码理论一些定义和概念联合典型序列信道编码定理带反馈的信道模型联合信源-信道编码定理线性分组码例题例题例(Z信道)输入集和输出集均为{,}P书图>>q>q若q=,设输入分布为{p,p},H(X)=H(Y)H(Y|X)=h(p(q))(ph()ph(q))=h(p(q))ph(q)这里H(Y)=h(p(q))H(Y|X)=∑p(x)H(Y|X=x)=∑p(x)∑p(y|x)logp(y|x)=ph()ph(q)q=时P取时达到最大的熵C=一般的qp=高噪声打字机高噪声打字机信道的输入输出集合为:{A,B,C,……,Z,-}其中-表示空格这个字母排成一圈当输入某个字符时输出以等概率产生它本身及相邻的两个字符见图如:P(Y=A|X=B)=P(Y=B|X=B)=P(Y=C|X=B)=则该信道容量为C=log比特达到信道容量之输入分布为均匀分布P(X=x)=,对每个x上述信道可以构造一个无差错的通信策略只选个输入字母每隔个取一个:{B,E,H,……Z}则对应的输出集合互不相交从而收到的任一个输出字符时均唯一可译输入字母集只含有个字母因此该信道容量为C=log比特信道迭代算法信道迭代算法求解简单的条件极值问题可以用拉格朗日乘数法求解复杂的条件极值问题需要借用数值方法年Arimoto和Blahut发明了信道容量的迭代算法利用交替极小化的思想来计算信道容量集合为概率分布集距离为相对熵两个集合最小距离交替算法信道容量的迭代算法引理根据引理得到:I(XY)=从而C=三、信道编码理论三、信道编码理论信道编码定理:若有一离散无记忆平稳信道其容量为C输入序列长度为L只要待传送的信息率R<C总可以找到一种编码当L足够长时译码差错概率Pe<εε为任意大于零的正数。反之当R>C时任何编码的Pe必大于零当L→∞Pe→。信道编码定理说明:同无失真信源编码定理类似信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值只要信息传输率不超过这个临界值信道就可几乎无失真地把信息传送过去否则就会产生失真。连续信道也有类似结论。信道编码定理信道容量C:在信道中最大的信息传输速率单位是比特信道符号。单位时间的信道容量Ct:若信道平均传输一个符号需要t秒钟则单位时间的信道容量为Ct实际是信道的最大信息传输速率。复习求信道容量的方法当信道特性p(yjxi)固定后I(XY)随信源概率分布p(xi)的变化而变化。调整p(xi)在接收端就能获得不同的信息量。由平均互信息的性质已知I(XY)是p(xi)的上凸函数因此总能找到一种概率分布p(xi)(即某一种信源)使信道所能传送的信息率为最大。C和Ct都是求平均互信息I(XY)的条件极大值问题当输入信源概率分布p(xi)调整好以后C和Ct已与p(xi)无关而仅仅是信道转移概率的函数只与信道统计特性有关信道容量是完全描述信道特性的参量信道容量是信道能够传送的最大信息量。当n=时的强对称离散信道就是二进制均匀信道。二进制均匀信道的信道容量为:二进制均匀信道容量曲线如图所示。香农公式说明当信道容量一定时增大信道带宽可以降低对信噪功率比的要求反之当信道频带较窄时可以通过提高信噪功率比来补偿。当信道频带无限时其信道容量与信号功率成正比。信道编码定理:若有一离散无记忆平稳信道其容量为C输入序列长度为L只要待传送的信息率R<C总可以找到一种编码当L足够长时译码差错概率Pe<εε为任意大于零的正数。反之当R>C时任何编码的Pe必大于零当L→∞Pe→。信道编码定理说明:同无失真信源编码定理类似信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值只要信息传输率不超过这个临界值信道就可几乎无失真地把信息传送过去否则就会产生失真。

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/15

信息论基础第十三周

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利