信息论基础论文

信息论基础 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 姓 名： 学 号： 浙工大 专 业： 系统分析与集成 2012年 10 月 25 日 摘要：信息是从人类出现以来就存在于这个世界上，人类社会的生存和发展都离不开信息的获取、传递、处理、再生、控制和处理。而信息论正是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随即过程和数理统计等 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 来研究信息的存储、传输、处理、控制、和利用等一般规律的学科。主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。在信息论的指导下，信息技术得到飞速发展，这使得信息论渗透到自然科学和社会科学的所有领域。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量和平均互信息等。 关键字： 信源 信息熵 互信息 信道 信道容量 Abstract：Since the human being come out, the information has been existence in the world. The survival and development of human society is inseparable from the information acquisition, transmission, processing, recycling, treatment and control. Information theory is a information as the research object, in order to reveal the essence of information characteristics and the law as the basis, the application of probability theory, random processes and mathematical statistics method to study the information storage, transmission, processing, control, and use of such general rules and disciplines. Primary research on how to improve the information system's reliability, validity, confidentiality and authentication, in order to make the information system optimization. In information theory guidance, information technology is developing at full speed, which makes the information on the penetration of natural science and Social Science in all areas.The main basic theory of information includes: the definition and measurement of information; the all kinds of discrete and continuous source of information entropy; channel capacity of memorial, memory of discrete ,continuous channels, average mutual information and so on. Key word: Information source Information entropy Mutual information Channel Channel capacity 目 录 4一．绪论 5二．信源与信息熵 8三．平均互信息 10四．信道与信道容量 11五．结束语 12参考文献 一．绪论 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。 信息不同于消息、信号、情报、知识等概念。信息论所包含的含义比其他几种理论概念更加广泛，更具有概括性。情报是军事学、文献学方面的术语。情报的定义是对某个特定的对象所见、所闻、所理解而产生的知识，情报的含义要比“信息”窄得多。消息是用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主管思维活动的状态表达出来的就成为“消息”。所以信息也不同于消息。 香农对信息所作的科学的定义是在通信系统框架的基础上产生的。在香农看来，在通信系统的传输过程当中，收信者在收到消息以前是不知道消息的具体内容的。在收到消息以前，收信者无法判断发送者将会发来描述何种事物运动状态的的具体消息，它也无法判断是描述这种状态还是那种状态。或者，由于干扰的存在，它也不能断定所得到的消息是否正确和可靠。这样，收信者存在“不知”，“不确定性”。那么通过消息的传递，收信者知道了消息的具体内容，原先的不确定性就部分的或者全部消除了。因此，信息传输之后，对于收信者来讲，减少了很多的不确定性和疑义度。所以，通信过程是一种消除不确定性的过程。不确定性的消除，就获得了信息。如果原先的不确定性全部消除了，就获得了全部的信息；若消除了部分的不确定性，就获得了部分的信息；若原来的不确定性没有任何的消除，就没有获得任何信息；所以，香农所定义的信息是事物运动状态或存在方式的不确定性的描述。 以下我从信息论的几个主要基础理论来阐述下信息论。 二．信源与信息熵 信源就是信息的来源，可以是人、机器、自然界的物体等等。信号的产生（物）被称为信源。在信息论中，信源是产生信息（符号）、消息序列和连续消息的来源。 最基本的信源是单个消息（符号）信源，它可以用随机变量X及其概率分布P来表示。通常写成（X，P）。根据信源输出的随机变量的取值集合，信源可以分为离散信源和连续信源两类。对于离散信源，式中X为随机变量，其取值集合为A={X1，X2，…，Xn}，X取Xi的概率为Pi。例如当时，二进制数据信源可表示为对于连续信源式中随机变量X取值于区间（ɑ，b），对应的概率密度为p(x）。 　　实际信源是由最基本的单个消息信源组合而成的。离散时，它是由一系列消息串组成的随机序列X1,X2，…，Xj，…，XL 来表示。电报、数据、数字等信源均属此类。连续时，它是由连续消息所组成的随机过程X(t）来表示。语声、图像等信源属于这类。对于离散随机序列信源，消息序列X的取值集合为AL，概率分布为PX（），记为（X，PX（））。 　　离散序列信源又分为无记忆和有记忆两类。当序列信源中的各个消息相互统计独立时，称信源为离散无记忆信源。若同时具有相同的分布，则称信源为离散平稳无记忆信源。例如最简单的（设L=3）脉冲编码信源，当P0=P1=1/2时， 当序列信源中各个消息前后有关联时，称信源为离散有记忆信源。描述它一般比较困难，尤其当记忆长度很大时。但在很多实际问题中仅须考虑有限记忆长度，特别是当信源系列中的任一消息仅与其前面的一个消息有关联，数学上称它为一阶马尔科夫链。在马尔科夫链中,若其转移概率与所在位置无关，则称为齐次马尔科夫链。若同时还满足当转移步数充分大时与起始状态无关，则称它为齐次遍历马尔科夫链。例如数字图像信源常采用这一模型。 　　连续的随机过程信源，一般很复杂且很难统一描述。但在实际问题中往往可采用以下两类方法。最常见的处理方法是将连续的随机过程信源在一定的条件下转化为离散的随机序列信源；另一种方法则是把连续的随机过程信源按易于分析的已知连续过程信源处理。实际上，绝大多数连续随机过程信源都近似地满足限时（T）、限频（F）的条件。这时，连续的随机过程可以转化为有限项傅里叶级数或抽样函数的随机序列，而抽样函数表达式尤为常用。但这两种方式在一般情况下其转化后的离散随机序列是相关的，即信源是有记忆的。这给进一步分析带来一定的困难。另外一种是将连续随机过程展开成相互线性无关的随机变量序列，这种展开称为卡休宁-勒维展开。由于实现困难，这种展开除具有一定理论价值外，实际上很少被采用。直接按随机过程来处理信源受到分析方法的限制，人们还主要限于研究平稳遍历信源和简单的马尔科夫信源。 上述信源都是单一信源，又称为单用户信源。70年代以来又进一步引入多个相互不独立或相关的信源，称为多用户信源，其目的是研究多用户信源编码，以进一步压缩信源的信息率或达到某些其他目的。但这方面的研究还仅限于离散无记忆信源，这类问题是一个正在探索中的课题。 通过以上对信息的定义和信源的介绍，我们知道信息是个很抽象的概念，它不像通常的长度，重量等概念，有一个比较直观的印象。我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。 一条信息的信息量大小和它的不确定性有直接的关系。比如说，我们要搞清楚一件非常非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们不需要太多的信息就能把它搞清楚。所以，从这个角度，我们可以认为，信息量的度量就等于不确定性的多少。  在各种通信系统的信源当中，离散随机信源是一类最基本的信源，信源输出是单个的符号的消息，并且消息之间是两两互不相容的。假设有个一维离散无记忆信源，它的概率分布函数决定了他所携带的信息。该信源空间中共有q个符号，每个符号发生的概率是Pi,那么发出某个符号所携带的信息量是-logPi ,由于概率是在0和1之间的，使得每一事件的信息量是非负的。如果该事件发生的概率是0，或者是1，则表明该事件一定不会发生或者一定会发生。那么他所携带的t信息量是0。从理论上讲，该事件发生的概率越小，那么它的不确定性也就越大，它所携带的信息量也就越大。该事件发生的概率越大，它所携带的信息量也就越大。这也是人们为什么一听到一件不可思议的事情发生了之后，会感到非常惊讶的原因。 对于通信系统的信源来说，它不会仅仅只发出一个消息，这个消息发生的概率也不是1。必然会有别的可能的情况发生。那么对于一个信源来讲，它所包含的信息量是什么样子的，我们可以用平均自信息量来度量，即对每个事件各自所携带的信息量做一个加权平均。即可以得到信源的平均自信息量。 信息熵的定义如下： 平均自信息量也称为信息熵。信息熵是从平均意义上来表征信源的总体信息测度的。对于某特定的信源，它的信息熵是一个确定的数值。不同的信源因为其概率分布不同，它的熵也不同。 信息熵具有一些基本的性质，比如，对称性，确定性，非负性，扩展性，可加性等等。这里面有一个最大离散熵定理，表明:离散信源情况下，对于具有q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信源熵才能达到最大值，这样也表明等概率分布信源的平均不确定性为最大。这个定理为我们后面研究有噪信道编码定理提供了有力的依据。 离散平稳信源是一种非常重要的信源模型。如果不同时刻信源输出符号的概率分布完全相同，则称为一维离散平稳信源。一维离散平稳信源无论在什么时候均按P(X)的概率分布输出符号。最简单的离散平稳信源就是二维离散平稳信源。二维离散平稳信源就是信源输出的随机序列…，X1,X2,…,Xi，…，满足其一维和二维概率分布与时间起点无关。二维离散平稳信源的联合熵 此联合熵表明原来信源X输出任意一对可能的消息的共熵，即描述信源X输出长度为2的序列的平均不确定性，或者说所含有的信息量。可以用 作为二维离散平稳信源X的信息熵的近视值。 除了平稳离散信源之外，还存在着非平稳离散信源。在非平稳离散信源中有一类特殊的信源。这种信源输出的符号序列中符号之间的依赖关系是有限的，这种关系满足我们在随机过程中讲到的马尔科夫链的性质，因此可用马尔科夫链来处理。马尔科夫信源是一种非常重要的非平稳离散信源。那么马尔科夫信源需要满足一下两个条件： （1） 某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以前的输出符号都无关。 （2） 信源某 时刻所处的状态由当前的输出符号和前一时刻（ -1）信源的状态唯一决定。 马尔科夫信源的输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移可能会改变。第 时间信源输出什么符号，不但与前一（ -1）时刻信源所处的状态和所输出的符号有关，而且一直延续到与信源初始所处的状态和所输出的符号有关。一般马尔科夫信源的信息熵是其平均符号熵的极限值，它的表达式就是： 此外，语音信号，电视信号都是连续波形信号。在某一固定的时刻，这样的可能输出即是连续的又是随机的，我们称之为随机波形信源。它是用随机过程描述输出消息的信源。用连续随机变量描述输出消息的信源就是连续信源。连续信源的熵的表达式如下：· . 三．平均互信息 前一部分指出信息熵是信源输出的信息量，而真正被接收者收到的信息量是互信息，它是收发双方都有关系的相对量，是指接收者从信源发送者中获得的信息量。 为了能够引入平均互信息量的定义，首先要看一下单符号离散信道的数学模型，在这种信道中，输出变量和输入变量的传递概率关系： 传递概率所表达的意思是，在信道当输入符号为 ，信道的输出端收到 的概率。 我们知道，信道输入信源X的熵是表明接收端收到符号之前信源的平均不确定性，可以称为先验熵。如果信道中无干扰噪声，信道输出符号与输出符号一一对应，那么，接受到传送过来的符号就消除了对发送符号的先验不确定性。但是我们实际的生活中一般信道中有干扰存在，接收到输出后对发送的是什么符号仍有不确定性。表示在输出端收到输出变量Y 的符号后，对于输入端的变量X尚存在的平均不确定性。即信道疑义度： 这个信道的疑义度是由于干扰噪声引起的。前面我们看到了输出端接收到输出符号前关于变量X的先验熵，以及接收到输出符号后关于输入变量X 的平均不确定性，通过信道传输消除了一定的不确定性，获得了一定的信息。那么定义单符号信道的平均互信息量 平均互信息表示了收到输出Y的前，后关于X的不确定性的消除量，就是在接到了输出符号之后，对输入端输入什么符号得到了更多的信息。平均互信息量具有一些基本的特征：第一点，非负性。我们通过一个信道获得的平均信息量不会是负值。也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。除非信道输入和输出是统计独立时，才接收不到任何信息。因为在这样的统计独立信道中，传输的信息全部损失在信道中，以致没有任何信息传输到终端，但也不会失去已经知道了的信息。第二，平均互信息量的大小不大于输入输出任一者的信息熵。即从一事件提取关于另一事件的信息量，最多只有另一事件的信息熵那么多，不会超过该事件自身所含有的信息量。第三点是平均互信息的交互性。第四，平均互信息的凸状性，平均互信息只与信源的概率分布和信道的传递有关，因此对于不同信源和不同信道得到的平均互信息是不同的。当固定某信道时，选择不同的信源与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。而且对于每一个固定信道，一定存在有一种信源，是输出端获得的信息量为最大。 四．信道与信道容量 信道是信息传输的通道，即信息进行传输时所经过的一条通路。信道按信号的传输媒质可分为有线信道和无线信道两类。有线信道包括明线、对称电缆、同轴电缆及光缆等。无线信道有地波传播、短波电离层反射、超短波或微波视距中继、人造卫星中继以及各种散射信道等。根据输入和输出信号的统计特性，可以分为离散信道，连续信道，半离散或半连续信道和波形信道；当输入集和输出集都是离散集时，称信道为离散信道。离散信道其输出的消息是属于时间离散、取值有限或可数的随机序列，其统计特性可以用联合概率分布来描述；当输入集和输出集都是连续集时，称信道为连续信道。根据信道用户的多少，可以分为两端信道，多端信道。根据信道输入端和输出端的关联，可以分为无反馈信道，反馈信道。根据信道的参数与时间的关系信道可以分为固定参数信道，时变参数信道。如果我们把信道的范围扩大，它还可以包括有关的变换装置，比如：发送设备、接收设备、馈线与天线、调制器、解调器等，我们称这种扩大的信道为广义信道，而称前者为狭义信道。 对于固定的连续信道和波形信道都有一个最大的信息传输率，称之为信道容量。它是信道可靠传输的最大信息传输率。对于不同的连续信道和波形信道，它们存在的噪声形式不同，信道带宽及对信号的各种限制不同，所以具有不同的信道容量。我们先来讨论单符号高斯加性信道的信道容量，单符号高斯加性信道是指信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是一维高斯加性噪声。它的信道容量表达式为： 其中， 是输入信号X的平均功率， 是高斯噪声的平均功率。只有当信道的输入信号是均值为零，平均功率为 高斯分布的随机变量时。信息传输率才能达到这个最大值。 信道矩阵中每一行和每一列分别由同一概率分布集中的元素不同排列组成的，这就是对称离散信道。计算对称离散信道的信道容量公式是： 其中，等号右边的第一项是输出符号的最大信息熵，第二项是信道矩阵分布行矢量的熵函数。比方说，前面提到的，二元对称信道的信道容量就是 除了单符号离散信道之外，独立并联信道的信道容量不大于各个信道的信道容量之和，只有当输入符号 相互独立，且输入符号 的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容量才等于个信道容量之和。 串联信道是一种比较常见的信道模型，比如微波中继竭力通信就是一种串联信道，还有，在信道输出端对接受到的信号或数据进行适当的处理，这种处理称为数据处理。数据处理系统一般可以单程是一种信道，它和前面传输数据的信道是串接的关系。串联信道中X、Y、Z有如下关系： 对于串接信道X、Y、Z有 当且仅当P(z|xy)=P(z|y)时，等式成立。 串联信道的信道容量与串接的信道数有关，串接的无源数据处理信道越多，其信道容量可能会越小，当串接信道数无限大时，信道容量就有可能接近零。 五．结束语 通过对信息论的学习，我们发现信息论是一门非常系统和理论性很强的学科，它涉及到随机过程，概率论与数理统计，线性代数等多门学科。对于整个信息论的理论体系的认识也有了一个清晰的思路：首先介绍到的是信息的定义及其本质，我收获最大的是香农提出的狭义信息论的条件（非绝对论观点，形式假说，不确定性）。再而学习到了各类信源的熵，信道及信道容量，主要研究的是离散信源和连续信源。这对以后研究通信系统的改进方案奠定了坚实的理论基础。 此外，香农信息论也有一定的局限性。香农信息论在对离散信源的平均信息量等问题解释的还是比较的全面和真实，但是对连续信源来说，有它不足的地方。在现代信息论发展的过程中曾有过许多这方面的专家和学者试图构造另一种较香农信息论更好的理论来描述连续信源。但是，直到现在为止，所提出来的诸多方案中，没有一个是优于香农的。这就是说，信息论的理论体系还有待人们去完善和充实它。所以我们要更加努力的学习，希望在这片领域里能够有所发现，弥补香农信息论的缺陷，同时也为以后的工作做打下坚实的基础！ 参考文献 【1】 吴伟陵﹒信息处理与编码﹒北京：人民邮电出版社，2003 【2】 陈运﹒信息论与编码(第2版) ﹒北京：电子工业出版社，2007 【3】 傅祖芸﹒信息论与编码学习辅导及习题详解﹒北京：电子工业出版社，2004 PAGE 2 _1325071143.unknown _1325074426.unknown _1325079732.unknown _1325079817.unknown _1325080374.unknown _1325079788.unknown _1325076144.unknown _1325076170.unknown _1325076626.unknown _1325074759.unknown _1325071972.unknown _1325072763.unknown _1325071176.unknown _1325068789.unknown _1325069331.unknown _1325070830.unknown _1325068807.unknown _1325067908.unknown _1325068191.unknown _1325060140.unknown _1234567912.unknown