uestc信息编码与加密第二章-信息论基本概念（4-1）

nullnull回顾：单符号无记忆信源熵：H(X) bit/符号 符号序列无记忆信源熵：KH(X) bit/序列 符号序列有记忆信源熵：联合熵 H(X1X2…XN) bit/序列 平均符号熵 极限熵平稳信源马尔可夫信源马尔可夫信源有记忆的特点：1、有限记忆长度 2、信源输出不仅与符号集有关，而且与状态有关 3、发出一个个符号，每发一个符号状态要发生转移状态：有限的相关符号组构成的序列null马尔可夫信源：以信源输出符号序列内各 符号间条件概率来反映记忆特性的一类信源。m阶马尔可夫信源：信源输出的当前符号仅与前面m个符号有关的马尔可夫信源。null马尔可夫信源的定义：马尔可夫信源的定义：（1）某一时刻信源符号的输出只与当前的信源状态有关，而与以前的状态无关。 (2) 信源状态只由当前输出符号和前一时刻的信源状态唯一确定。null符号条件概率: 状态转移概率:通过引入符号条件概率和状态转移概率,马尔可夫信源可转化为马尔可夫链。一步转移概率：一步转移概率：转移概率矩阵和状态转移图 （香农线图）转移概率矩阵和状态转移图 （香农线图）状态转移图（香农线图）状态转移图（香农线图）圆圈 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示状态。 状态之间的有向线段表示状态转移。 有向线段边的符号和数字代表发出的符号和条件概率。null 马尔可夫链可以用香农线图表示。(a),(b),(c)分别表示信源含两种字母(D＝2)的一阶、二阶和三阶马尔可夫链的线图。(d),(e)分别表示D＝3和D＝4的一阶马尔可夫链的线图。null马尔可夫信源的特点：nullnull例：例：nullnullm阶马尔可夫信源的极限熵m阶马尔可夫信源的极限熵nullP(si)为状态概率的平稳分布，由转移概率矩阵决定，H(X/si)表示信源处于某一状态si时发出某一个消息符号的平均不确定性。遍历性遍历性 对于齐次马尔可夫链，若对于所有状态si ，sj 均存在不依赖于初始状态si 的极限则称其为具有遍历性的马尔可夫链。遍历性的意义遍历性的意义 无论从哪个状态出发，当转移步数足够大时，转移到状态sj的概率近似等于一个常数pj。也就是说：马尔可夫链在初始时刻可以处于任意状态，经过足够长时间的状态转移后，它所处的状态与初始状态无关。此时每种状态出现的概率已达到一种平稳分布。nullnull例: 二阶马尔可夫信源，其香农线图：nullnull令平稳分布：则：写成矩阵形式：nullnull注意：1、平稳信源，即其概率分布具有时间推移不变性。null二、m阶马尔可夫与发生长度为m的符号序列的有记忆信源的区别：1、马尔可夫信源发出一个个符号，有限长度有记忆信源发出一组组符号；2、马尔可夫信源记忆长度虽然有限，但依赖关系延伸到无穷远。长为m的有限记忆信源符号间的依赖关系仅限于每组内，组与组之间没有依赖关系；nullnull例：设某信源符号X∈A={a1,a2,a3},信源所处的状态 S∈E={E1,E2,E3,E4,E5}.各状态之间的转移情况如下 图所示，请判断这是否是一个马尔可夫信源？null马尔可夫信源定义： 若一信源满足下列两点，即为马尔可夫信源。 输出符号只与当前状态有关； 当前状态和输出唯一决定了下一状态。null解：（1）信源在Ei状态下输出符号ak的条件概率p(ak/Ei)用矩阵 表示为并且满足null（2）该信源在l时刻所处的状态由当前的输出符号与前一时刻(l-1) 信源的状态唯一决定状态的一步转移概率：此信源满足马尔可夫信源的两个条件， 是马尔可夫信源，并且是齐次马尔可夫信源。null 例： 设两位二进制码所代表的四个状态分别为 00，01，10，11，其符号转移概率和状态转移概率由下列两表给出： 试求稳定条件下各状态的概率null 解：据题意，可画出相应的香农线图 设稳定状态下，各个状态的概率为 P(S0)＝P0， P(S1)＝P1， P(S2)＝P2， P(S3)＝P3 根据图示，可得 P0＝ 1/2P0 ＋ 1/4P2 P1＝ 1/2P0 ＋ 3/4P2 P2＝ 1/3P1 ＋ 1/5P3 P3＝ 4/5P3 ＋ 2/3P1 P0 ＋ P1 ＋ P2 ＋ P3 ＝1 由上面五个方程，可得： P0＝3/35 ， P1＝6/35, P2＝6/35， P3＝4/7 null 例：有一个一阶马尔可夫信源，已知 试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 在计算信源熵之前，先用转移概率求稳定状态下二个状态x1和 x2 的概率 和 bit/符号null [小结] 两种有记记忆信源比较null 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf :各种离散信源的熵 (1) 发出单个符号消息的离散无记忆信源熵 若信源发出N个不同符号X1，X2，…，Xi，…，XN , 代表N种不同的消息，各个符号的概率分别为 P1， P2，…， Pi，…，PN 因为这些符号相互独立，所以该信源熵为： H（X）＝－ PilogPi [ bit/符号 ] (2)发出符号序列消息的离散无记忆信源熵 发出K重符号序列消息的离散无记忆信源熵为共熵H(XK)，它与单个符号消息信源熵H(X)有如下关系： H(XK)＝KH(X)＝K[－ PilogPi] [ bit/符号序列 ] null (3)发出符号序列消息的离散有记忆信源熵 发出K重符号序列消息的离散有记忆信源熵也为共熵H(XK) 当K＝2时 H(X2)＝H(X)＋H(X|X) ∵ H(X|X) < H(X) ∴ H(X2) < 2H(X) 推广到K重 null (4) 发出符号序列消息的马尔可夫信源熵 马尔可夫信源熵是条件熵 若从前一状态Ei转移到后一状态Ej有多种可能性，则信源由状态Ei发出一个符号的熵H（X/i）为 H（X/i） ＝－ P(xj|Ei)logP(xj|Ei) 再进一步对前一状态Ei的全部可能性作统计平均，就得到马尔可夫信源熵 H 为 H＝ P(Ei) H（X/i） ＝－ P(Ei) P(xj|Ei)logP(xj|Ei) [bit/符号] null 1.5 各种离散信源的时间熵 信源的时间熵——在单位时间内信源发出的平均信息量，单位 为bit/s. ①发出单个符号消息的离散无记忆信源的时间熵 已知离散无记忆信源各符号的概率空间 由于发出各符号所占有时间是不同的 可设符号X1的长度为b1，X2为b2，…，Xi为bi，…，XN为bN 单位均为s(秒) 则信源各符号的平均长度是各个符号长度的概率加权平均值，即 null 则信源的时间熵 Ht为： 若各符号时间长度相同，均为b(s)，则可直接得 又若信源每秒平均发出 n个符号，有 此时，时间熵 Ht为：null ②发出符号序列消息的离散无记忆信源的时间熵 对K重符号序列的离散无记忆信源的信源熵为： H(XK)＝ KH(X) [bit/符号序列] K重符号序列消息的平均长度为信源各符号平均长度的K倍，即 这种信源的时间熵 Ht为： 可见，它在数值上与上面一种信源的时间熵相同null 若该信源每秒内平均发出n个K重符号序列消息，则有： ③ 发出符号序列消息的离散有记忆信源的时间熵 计算方法与发出符号序列无记忆信源的时间熵一致，但 H(XK) ≠ KH(X) 同样若信源在每秒内平均发出n个K重符号序列消息，有 连续信源的熵连续随机变量可以看作是离散随机变量的极限，故可采用离散随机变量来逼近。 首先类比概率pi与概率密度函数p(x)： （一）单个连续随机变量信源熵 连续信源的熵nullnull 于是我们定义前一项取有限值的项为连续信源的信息熵，并记为Hc(X).也叫相对熵null(二)两个连续随机变量信源熵 联合熵 条件熵几种特殊连续信源的熵和最大熵定理几种特殊连续信源的熵和最大熵定理一、均匀分布信源： Hc(X)= log2(b-a) [结论] ① 熵值只与均匀分布间隔(b-a)有关， ② 若 b-a <1，则Hc(X)为负null二、 高斯分布信源 [结论] 熵值 只与方差有关，与m无关。null三、指数分布信源 m——数学期望 [结论] 熵值只与数学期望m有关连续熵的性质1、连续信源熵可为负值2、连续信源熵的可加性连续熵的性质nullnull连续信源的平均互信息量具有实际的物理意义， 仍具有互易性和非负性。最大连续熵定理最大连续熵定理限峰值功率的最大熵定理 若信源的N维随机变量的取值在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。 若随机变量的取值限制在 之间，峰值为 ，则最大熵值为：null限平均功率的最大熵定理 若信源输出信号的平均功率P被限定，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。 均值受限条件下的最大连续熵定理 若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源X具有最大熵值。 * 总结：连续信源与离散信源不同，它不存在绝对的最大熵，其最大熵与信源的限制条件有关。在无限制条件时，最大熵不存在。