信息论与编码_陈运主编_无水印完整版答案

2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示 4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示 8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量 symbolbitnXH / 24loglog)( 1 === 八进制脉冲的平均信息量 symbolbitnXH / 38loglog)( 2 === 二进制脉冲的平均信息量 symbolbitnXH / 12loglog)( 0 === 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。 2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女 孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大 学生”的消息，问获得多少信息量？ 解： 设随机变量 X 代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y1（身高>160cm） y2（身高<160cm） P(Y) 0.5 0.5 已知：在女大学生中有 75%是身高 160 厘米以上的 即： bitxyp 75.0)/( 11 = 求：身高 160 厘米以上的某女孩是大学生的信息量 即： bit yp xypxpyxpyxI 415.1 5.0 75.025.0log )( )/()(log)/(log)/( 1 111 1111 =×−=−=−= 2.3 一副充分洗乱了的牌（含 52 张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取 13 张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52 张牌共有 52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： !52 1)( =ixp bitxpxI ii 581.225!52log)(log)( ==−= (2) 52 张牌共有 4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下： · 1 · bit C xpxI C xp ii i 208.134log)(log)( 4)( 13 52 13 13 52 13 =−=−= = 2.4 设离散无记忆信源 ，其发出的信息为 (202120130213001203210110321010021032011223210)，求 ⎭⎬ ⎫ ⎩⎨ ⎧ =====⎥⎦ ⎤⎢⎣ ⎡ 8/14/1 32 4/18/3 10 )( 4321 xxxx XP X (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3，因此此消息发出的概率是： 62514 8 1 4 1 8 3 ⎟⎠ ⎞⎜⎝ ⎛×⎟⎠ ⎞⎜⎝ ⎛×⎟⎠ ⎞⎜⎝ ⎛=p 此消息的信息量是： bitpI 811.87log =−= (2) 此消息中平均每符号携带的信息量是： bitnI 951.145/811.87/ == 2.5 从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果你问一 位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少 信息量，平均每个回答中含有多少信息量？如果问一位女士，则 答案 八年级地理上册填图题岩土工程勘察试题省略号的作用及举例应急救援安全知识车间5s试题及答案 中含有的平均自信息量 是多少？ 解： 男士： symbolbitxpxpXH bitxpxI xp bitxpxI xp i ii NN N YY Y / 366.0)93.0log93.007.0log07.0()(log)()( 105.093.0log)(log)( %93)( 837.307.0log)(log)( %7)( 2 =+−=−= =−=−= = =−=−= = ∑ 女士： symbolbitxpxpXH i ii / 045.0)995.0log995.0005.0log005.0()(log)()( 2 =+−=−= ∑ 2.6 设信源 ，求这个信源的熵，并解释为什么 H(X) > log6 不满足信源熵的极值性。 ⎭⎬ ⎫ ⎩⎨ ⎧=⎥⎦ ⎤⎢⎣ ⎡ 17.016.017.018.019.02.0)( 654321 xxxxxx XP X 解： · 2 · 585.26log)( / 657.2 )17.0log17.016.0log16.017.0log17.018.0log18.019.0log19.02.0log2.0( )(log)()( 2 6 => = +++++−= −= ∑ XH symbolbit xpxpXH i ii 不满足极值性的原因是 。 107.1)( 6 >=∑ i ixp 2.7 证明 住所证明下载场所使用证明下载诊断证明下载住所证明下载爱问住所证明下载爱问 ：H(X3/X1X2) ≤ H(X3/X1)，并说明当X1, X2, X3是马氏链时等式成立。 证明： 0 log1)/()( log)()/()( log1 )/( )/()( )/( )/(log)( )/(log)()/(log)( )/(log)()/(log)( )/()/( 2 1 2 3 1321 2 1 2 3 321 1 2 3 1321 1 2 3 2 213 13 321 1 2 3 213 13 321 1 2 3 13321 1 2 3 213321 1 3 1331 1 2 3 213321 13213 = ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ −⎥⎦ ⎤⎢⎣ ⎡= ⎟⎠ ⎞⎜⎝ ⎛ −= ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ −≤ = +−= +−= − ∑∑ ∑ ∑∑∑∑∑∑ ∑∑∑ ∑∑∑ ∑∑∑∑∑∑ ∑∑∑∑∑ exxpxxp exxxpxxpxxp e xxxp xxpxxxp xxxp xxpxxxp xxpxxxpxxxpxxxp xxpxxpxxxpxxxp XXHXXXH i i i iiii i i i iii i i i iiii i i i iii ii iii i i i iii ii iii i i i iiiii i i i iiiiii i i iiii i i i iiiiii 氏链是马等式等等的等等是 时等式等等当 _,, )/()/()/( )()/()/()( )()/()/()( )/()/( 01 )/( )/( )/()/( 321 1321312 32113121 212131321 21313 213 13 13213 XXX xxxpxxpxxp xxxpxxpxxpxp xxpxxxpxxpxxp xxxpxxp xxxp xxp XXHXXXH iiiiiii iiiiiiii iiiiiiiii iiiii iii ii ∴ =⇒ =⇒ =⇒ =⇒ =− ≤∴ 2.8 证明：H(X1X2 。。。 Xn) ≤ H(X1) + H(X2) + … + H(Xn)。 证明： ... )/()( 0);( )/()( 0);( ).../(...)/()/()()...( 2133213 12212 12121312121 XXXHXHXXXI XXHXHXXI XXXXHXXXHXXHXHXXXH nnn ≥⇒≥ ≥⇒≥ ++++= − · 3 · )(...)()()()...( ).../()( 0)...;( 32121 121121 nn nNNnN XHXHXHXHXXXH XXXXHXHXXXXI ++++≤∴ ≥⇒≥ −− 2.9 设有一个信源，它产生 0，1序列的信息。它在任意时间而且不论以前发生过什么符号， 均按 P(0) = 0.4，P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞； (3) 试计算H(X4)并写出X4信源中可能有的所有符号。 解： (1) 这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．……” (2) symbolbitXHXXXXHH symbolbitxpxpXHXXXH symbolbitXHXH NNNN i ii / 971.0)().../(lim / 971.0)6.0log6.04.0log4.0()(log)()()/( / 942.1)6.0log6.04.0log4.0(2)(2)( 121 3213 2 === =+−=−== =+×−== −∞>−∞ ∑ (3) 1111111011011100 1011101010011000 0111011001010100 0011001000010000 的所有符号： / 884.3)6.0log6.04.0log4.0(4)(4)( 4 4 X symbolbitXHXH =+×−== 2.10 一阶马尔可夫信源的状态图如下图所示。信源 X 的符号集为{0, 1, 2}。 (1) 求平稳后信源的概率分布； (2) 求信源的熵H∞。 解： (1) · 4 · ⎪⎩ ⎪⎨ ⎧ = = = ⎩⎨ ⎧ =++ == ⎪⎪⎩ ⎪⎪⎨ ⎧ ⋅+⋅= ⋅+⋅= ⋅+⋅= ⎪⎩ ⎪⎨ ⎧ += += += 3/1)( 3/1)( 3/1)( 1)()()( )()()( )()()( )()()( )()()( )/()()/()()( )/()()/()()( )/()()/()()( 3 2 1 321 321 133 322 211 1313333 3232222 2121111 ep ep ep epepep epepep eppeppep eppeppep eppeppep eepepeepepep eepepeepepep eepepeepepep ⎭⎬ ⎫ ⎩⎨ ⎧=⎥⎦ ⎤⎢⎣ ⎡ ⎪⎪⎩ ⎪⎪⎨ ⎧ =+=⋅+⋅=+= =+=⋅+⋅=+= =+=⋅+⋅=+= 3/1 2 3/1 1 3/1 0 )( 3/13/)()()()/()()/()()( 3/13/)()()()/()()/()()( 3/13/)()()()/()()/()()( 131313333 323232222 212121111 XP X ppeppeppexpepexpepxp ppeppeppexpepexpepxp ppeppeppexpepexpepxp (2) ( ) symbolbitpppp pppppppppppp eepeepeepeepeepeep eepeepeepeepeepeep eepeepeepeepeepeep eepeepepH i j ijiji / loglog log 3 1log 3 1log 3 1log 3 1log 3 1log 3 1 )/(log)/( 3 1)/(log)/( 3 1)/(log)/( 3 1 )/(log)/( 3 1)/(log)/( 3 1)/(log)/( 3 1 )/(log)/( 3 1)/(log)/( 3 1)/(log)/( 3 1 )/(log)/()( 333332323131 232322222121 131312121111 3 3 ⋅+⋅−= ⎥⎦ ⎤⎢⎣ ⎡ ⋅⋅+⋅⋅+⋅⋅+⋅⋅+⋅+⋅⋅−= ⎥⎦ ⎤+++ +++ ⎢⎣ ⎡ ++−= −= ∑∑∞ 2.11 黑白气象传真图的消息只有黑色和白色两种，即信源 X={黑，白}。设黑色出现的概率为 P(黑) = 0.3，白色出现的概率为 P(白) = 0.7。 (1) 假设图上黑白消息出现前后没有关联，求熵 H(X)； (2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2， P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H2(X); (3) 分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小，并说明其物理含义。 解： (1) symbolbitxpxpXH i ii / 881.0)7.0log7.03.0log3.0()(log)()( =+−=−= ∑ (2) · 5 · symbolbit eepeepepH ep ep epep epep epepep epepep eepepeepepep eepepeepepep i j ijiji / 553.0 9.0log9.0 3 21.0log1.0 3 22.0log2.0 3 18.0log8.0 3 1 )/(log)/()( 3/2)( 3/1)( 1)()( )(2)( )(2.0)(9.0)( )(1.0)(8.0)( )/()()/()()( )/()()/()()( 2 1 21 12 122 211 1212222 2121111 = ⎟⎠ ⎞⎜⎝ ⎛ ×+×+×+×−= −= ⎩⎨ ⎧ = = ⎩⎨ ⎧ =+ = ⎩⎨ ⎧ += += ⎩⎨ ⎧ += += ∑∑∞ (3) %7.44 2log 553.02log %9.11 2log 881.02log 0 0 1 0 0 1 =−=−= =−=−= ∞ ∞ H HH H HH η η H(X) > H2(X) 表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多， 能够进行较大程度的压缩。 2.12 同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求： (1) “3 和 5 同时出现”这事件的自信息； (2) “两个 1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即 2, 3, … , 12 构成的子集）的熵； (5) 两个点数中至少有一个是 1的自信息量。 解： (1) bitxpxI xp ii i 170.4 18 1log)(log)( 18 1 6 1 6 1 6 1 6 1)( =−=−= =×+×= (2) bitxpxI xp ii i 170.5 36 1log)(log)( 36 1 6 1 6 1)( =−=−= =×= (3) 两个点数的排列如下： 11 12 13 14 15 16 · 6 · 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有 21 种组合： 其中 11，22，33，44，55，66 的概率是 36 1 6 1 6 1 =× 其他 15 个组合的概率是 18 1 6 1 6 12 =×× symbolbitxpxpXH i ii / 337.418 1log 18 115 36 1log 36 16)(log)()( =⎟⎠ ⎞⎜⎝ ⎛ ×+×−=−= ∑ (4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： symbolbit xpxpXH XP X i ii / 274.3 6 1log 6 1 36 5log 36 52 9 1log 9 12 12 1log 12 12 18 1log 18 12 36 1log 36 12 )(log)()( 36 1 12 18 1 11 12 1 10 9 1 9 36 5 8 6 1 7 36 5 6 9 1 5 12 1 4 18 1 3 36 1 2 )( = ⎟⎠ ⎞⎜⎝ ⎛ +×+×+×+×+×−= −= ⎪⎭ ⎪⎬ ⎫ ⎪⎩ ⎪⎨ ⎧=⎥⎦ ⎤⎢⎣ ⎡ ∑ (5) bitxpxI xp ii i 710.1 36 11log)(log)( 36 1111 6 1 6 1)( =−=−= =××= 2.13 某一无记忆信源的符号集为{0, 1}，已知 P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵； (2) 有 100 个符号构成的序列，求某一特定序列（例如有 m 个“0”和（100 - m）个“1”） 的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) symbolbitxpxpXH i ii / 811.04 3log 4 3 4 1log 4 1)(log)()( =⎟⎠ ⎞⎜⎝ ⎛ +−=−= ∑ (2) bitmxpxI xp m ii mmm i 585.15.41 4 3log)(log)( 4 3 4 3 4 1)( 100 100 100 100100 +=−=−= =⎟⎠ ⎞⎜⎝ ⎛×⎟⎠ ⎞⎜⎝ ⎛= − −− · 7 · (3) symbolbitXHXH / 1.81811.0100)(100)( 100 =×== 2.14 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态， 调查结果得联合出现的相对频度如下： 若把这些频度看作概率测度，求： (1) 忙闲的无条件熵； (2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。 解： (1) 根据忙闲的频率，得到忙闲的概率分布如下： symbolbitxpxpXH xx XP X i i i / 964.0103 40log 103 40 103 63log 103 63)(log)()( 103 40 103 63 闲忙 )( 2 21 =⎟⎠ ⎞⎜⎝ ⎛ +−=−= ⎪⎭ ⎪⎬ ⎫ ⎪⎩ ⎪⎨ ⎧ =⎥⎦ ⎤⎢⎣ ⎡ ∑ (2) 设忙闲为随机变量 X，天气状态为随机变量 Y，气温状态为随机变量 Z symbolbitYZHXYZHYZXH symbolbit zypzypYZH symbolbit zyxpzyxpXYZH j k kjkj i j k kjikji / 859.0977.1836.2)()()/( / 977.1 103 28log 103 28 103 32log 103 32 103 23log 103 23 103 20log 103 20 )(log)()( / 836.2 103 12log 103 12 103 5log 103 5 103 15log 103 15 103 8log 103 8 103 16log 103 16 103 27log 103 27 103 8log 103 8 103 12log 103 12 )(log)()( =−=−= = ⎟⎠ ⎞⎜⎝ ⎛ +++−= −= = ⎟⎠ ⎞++++ ⎜⎝ ⎛ +++−= −= ∑∑ ∑∑∑ (3) symbolbitYZXHXHYZXI / 159.0859.0964.0)/()();( =−=−= · 8 · 2.15 有两个二元随机变量 X和 Y，它们的联合概率为 Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8 并定义另一随机变量 Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和 H(XYZ)； (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和 H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y)。 解： (1) symbolbitypypYH yxpyxpyp yxpyxpyp symbolbitxpxpXH yxpyxpxp yxpyxpxp j jj i ii / 1)(log)()( 2 1 8 1 8 3)()()( 2 1 8 3 8 1)()()( / 1)(log)()( 2 1 8 1 8 3)()()( 2 1 8 3 8 1)()()( 22212 12111 22122 21111 =−= =+=+= =+=+= =−= =+=+= =+=+= ∑ ∑ Z = XY 的概率分布如下： symbolbitzpZH zz ZP Z k k / 544.08 1log 8 1 8 7log 8 7)()( 8 1 8 7 10 )( 2 21 =⎟⎠ ⎞⎜⎝ ⎛ +−=−= ⎪⎭ ⎪⎬ ⎫ ⎪⎩ ⎪⎨ ⎧ == =⎥⎦ ⎤⎢⎣ ⎡ ∑ symbolbitzxpzxpXZH zpzxp zxpzxpzp zxpzpzxp zxpzxpzp xpzxp zxp zxpzxpxp i k kiki / 406.18 1log 8 1 8 3log 8 3 2 1log 2 1)(log)()( 8 1)()( )()()( 8 35.0 8 7)()()( )()()( 5.0)()( 0)( )()()( 222 22212 11112 12111 111 21 21111 =⎟⎠ ⎞⎜⎝ ⎛ ++−=−= == += =−=−= += == = += ∑∑ · 9 · symbolbitzypzypYZH zpzyp zypzypzp zypzpzyp zypzypzp ypzyp zyp zypzypyp j k kjkj / 406.18 1log 8 1 8 3log 8 3 2 1log 2 1)(log)()( 8 1)()( )()()( 8 35.0 8 7)()()( )()()( 5.0)()( 0)( )()()( 222 22212 11112 12111 111 21 21111 =⎟⎠ ⎞⎜⎝ ⎛ ++−=−= == += =−=−= += == = += ∑∑ symbolbit zyxpzyxpXYZH yxpzyxp yxpzyxpzyxp zyxp yxpzyxp yxpzyxpzyxp zyxpzxpzyxp zxpzyxpzyxp yxpzyxp yxpzyxpzyxp zyxp zyxp zyxp i j k kjikji / 811.1 8 1log 8 1 8 3log 8 3 8 3log 8 3 8 1log 8 1 )(log)()( 8 1)()( )()()( 0)( 8 3)()( )()()( 8 3 8 1 2 1)()()( )()()( 8/1)()( )()()( 0)( 0)( 0)( 2 22222 22222122 122 12112 12212112 11111121 11111121 11111 11211111 212 221 211 =⎟⎠ ⎞⎜⎝ ⎛ +++−= −= == =+ = == =+ =−=−= =+ == =+ = = = ∑∑∑ (2) symbolbitXYHXYZHXYZH symbolbitXZHXYZHXZYH symbolbitYZHXYZHYZXH symbolbitYHYZHYZH symbolbitZHYZHZYH symbolbitXHXZHXZH symbolbitZHXZHZXH symbolbitXHXYHXYH symbolbitYHXYHYXH symbolbityxpyxpXYH i j jiji / 0811.1811.1)()()/( / 405.0406.1811.1)()()/( / 405.0406.1811.1)()()/( / 406.01406.1)()()/( / 862.0544.0406.1)()()/( / 406.01406.1)()()/( / 862.0544.0406.1)()()/( / 811.01811.1)()()/( / 811.01811.1)()()/( / 811.1 8 1log 8 1 8 3log 8 3 8 3log 8 3 8 1log 8 1)(log)()( 2 =−=−= =−=−= =−=−= =−=−= =−=−= =−=−= =−=−= =−=−= =−=−= =⎟⎠ ⎞⎜⎝ ⎛ +++−==−= ∑∑ (3) · 10 · symbolbitYZXHYXHYZXI symbolbitXZYHXYHXZYI symbolbitYZXHZXHZYXI symbolbitZYHYHZYI symbolbitZXHXHZXI symbolbitYXHXHYXI / 406.0405.0811.0)/()/()/;( / 457.0405.0862.0)/()/()/;( / 457.0405.0862.0)/()/()/;( / 138.0862.01)/()();( / 138.0862.01)/()();( / 189.0811.01)/()();( =−=−= =−=−= =−=−= =−=−= =−=−= =−=−= 2.16 有两个随机变量 X和 Y，其和为 Z = X + Y（一般加法），若 X 和 Y 相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)。 证明： )()( )/()( )()(log)()( )/(log)/()()/(log)()/( )( 0 )( )( )()/( 2 YHZH XZHZH YHypypxp xzpxzpxpxzpzxpXZH Yxz Yxzyp xzpxzp YXZ i j jji i k ikiki i k ikki ik ikj ikik ≥∴ ≥ =⎥⎦ ⎤⎢⎣ ⎡−= ⎥⎦ ⎤⎢⎣ ⎡−=−= ⎩⎨ ⎧ ∉− ∈−=−=∴ += ∑ ∑ ∑ ∑∑∑ Q Q 同理可得 。 )()( XHZH ≥ 2.17 给定声音样值X的概率密度为拉普拉斯分布 +∞<<−∞= − xexp x , 2 1)( λλ ，求Hc(X)，并证 明它小于同样方差的正态变量的连续熵。 解： · 11 · ( ) ( ) ( )[ ] λπλσπ λλλ λλσ λλ λλλλ λλλ λλ λ λλ λλ λ λ λλλ λλλλλ λλ λλ λλλλ λλλ λλλλλ λλ λλ λλ λλ λ λ eXHeeXH dxexexde xdxedxedxexedex dxxedxxedxxxpxEmxE xdxexdxem ydyeydyeydyexdxe xdxexdxexdxexdxxpXEm symbolbiteeXH eeeedeee ede dxee dxee dxee dxexpdxxp dxexpdxxpxpXH cc xxx xxxxx xx xx yyyx xxx c xxxxx xx xx xx xx x x c 2log)(2log2log 2 1)( 222 2 2 1)()( 0 2 1 2 1 2 1 2 1)()( 2 1 2 1 2 1 2 1 2 1)()( / 2loglog2log)( loglogloglog log log 其中： log2log log 2 12log log)()( 2 log 2 1log)()(log)()( 2 正态 2000 00 2 0 2 0 2 0 2 0 22||2222 00 0 00 )(0 0 0|| 2 220002 0 0 0 |||| || || =>==∴ =⎟⎠ ⎞⎜⎝ ⎛ −−=−= ==⎟⎠ ⎞⎜⎝ ⎛ −−=−= ==⋅==−= =+−=∴ −==−−= +==⋅== =+=∴ =⎟⎠ ⎞⎜⎝ ⎛−=−= = −= −= −−= −=−= ∫∫ ∫∫∫∫ ∫∫∫ ∫∫ ∫∫∫∫ ∫∫∫∫ ∫ ∫ ∫ ∫ ∫ ∫∫ ∫∫ ∞+ −∞+−∞+ − ∞+ −∞+ −∞+ −∞+−∞+ − ∞+ −∞+ ∞− −∞+ ∞− ∞+ −∞+ − ∞+ − ∞+ − ∞+ − ∞− ∞+ − ∞− ∞+ ∞− −∞+ ∞− ∞+−∞+ −−∞+−− ∞+ −− ∞+ −− ∞+ −− ∞+ ∞− −− ∞+ ∞− −∞+ ∞− +∞ ∞− −+∞ ∞− Q 2.18 连续随机变量 X和 Y的联合概率密度为： ⎪⎩ ⎪⎨ ⎧ ≤+= 其他0 1 ),( 222 2 ryxryxp π ，求 H(X), H(Y), H(XYZ)和 I(X;Y)。 （提示： ∫ −=20 22 2log2sinlog π πxdx ） 解： · 12 · ∫∫ ∫∫ ∫ ∫ ∫ ∫ ∫ ∫ ∫ ∫∫ ∫ ∫ ∫∫ −+−= += = −= = −−= −−= − −= −+−= −−= −−−= −−= −= ≤≤−−=== − − − −− − − − −− − −− 2 0 2 0 2 0 22 0 2 2 0 2 0 2 22 2 0 2 2 0 2222 2 22 2 22 22 22 2 2 22 2 22 2 2 22 2 22 2 sinlog 2 2cos14 2 2cos1log4 sinlogsin4logsin4 sinlogsin4 sinlogsin4 )cos(sinlogsin4cos log4 log2 log)( / log 2 1log log 2 11log 2 log log)( 2 log log)(2log)( 2log)( )(log)()( )( 21)()( 22 22 22 22 ππ ππ π π π θθθπθ θ π θθθπθθπ θθθπ θθθπ θθθπθ π π π π π π π ππ ddr drd dr drr r rdrr r rx dxxrxr r dxxr r xr dxxrxp symbolbiter err dxxrxpr dxxrxpdx r xp dx r xrxp dxxpxpXH rxr r xrdy r dyxypxp r r r r r r r r r r r r r r rc xr xr xr xr 令 其中： · 13 · e ee dede de de de d d d er dr ddrr dddrdr 2 2 022 2 02 2 02 2 02 2 0 2 2 2 0 2 2 0 2 0 2 0 2 0 2 2 0 2 02 2 0 2 0 2 0 2 0 2 0 log 2 1 2sinlog 2 1log 2 1 2coslog1log1 2 2cos1log2 coslog2 sin logcoscossin21 sinlog2sinsinlog2sin1 2sinsinlog1 sinlog2cos2 log 2 11log sinlog2cos21log sinlog2cos2)2log 2 (22sinlog1log sinlog2cos2sinlog22coslog2log2 −= −−= −−= +−= −= −= ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ −= = +−= −−= −−+−= −+−= ∫∫ ∫ ∫ ∫ ∫ ∫ ∫ ∫ ∫∫ ∫∫∫∫ π ππ π π π ππ π π π ππ ππππ θπ θθπθπ θθπ θθπ θθ θθθπ θθθθπ θθπ θθθπ θθθπ θθθπ π πθπ θθθπθθπθθπθπ 其中： bit/symbole rer XYHYHXHYXI bit/symbolr dxdyxypr dxdy r xyp dxdyxypxypXYH bit/symbolerXHYH xpyp ryr r yrdx r dxxypyp cccc R R R c CC yr yr yr yr loglog logloglog2 )()()();( log )(log 1log)( )(log)()( log 2 1log)()( )()( )( 21)()( 22 2 22 2 2 2 2 22 2 22 2 22 22 22 22 −= −−= −+= = = −= −= −== = ≤≤−−=== ∫∫ ∫∫ ∫∫ ∫∫ −−−−−− π ππ π π π π ππ · 14 · 2.19 每帧电视图像可以认为是由 3¯105个像素组成的，所有像素均是独立变化，且每像素又 取 128 个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一 个广播员，在约 10000 个汉字中选出 1000 个汉字来口述此电视图像，试问广播员描述此图像 所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此 图像，广播员在口述中至少需要多少汉字？ 解： 1) symbolbitXNHXH symbolbitnXH N / 101.27103)()( / 7128loglog)( 65 ×=××== === 2) symbolbitXNHXH symbolbitnXH N / 13288288.131000)()( / 288.1310000loglog)( =×== === 3) 158037 288.13 101.2 )( )( 6 =×== XH XHN N 2.20 设 是平稳离散有记忆信源，试证明： NXXXX ...21= ).../(...)/()/()()...( 12121312121 −++++= NNN XXXXHXXXHXXHXHXXXH 。 证明： ).../(...)/()/()( ).../(log)...(...... )/(log)()(log)( ).../(log)...(...... )/(log)...(...)(log)...(... ).../().../()(log)...(... )...(log)...(... )...( 121213121 21 11 1 2 21 1 2 1221 1 11 11 1 2 21 1 2 1221 1 1 2 21 1 2 1112121 1 2 2121 −++++= − −−= − ⎥⎦ ⎤⎢⎣ ⎡−⎥⎦ ⎤⎢⎣ ⎡−= −= −= − − − ∑∑ ∑ ∑∑∑ ∑∑ ∑ ∑∑ ∑∑ ∑ ∑ ∑∑ ∑ ∑∑ ∑ NN iii i i i iii i i iiii i ii iii i i i iii i i ii i iii i i i i iii i i i iiiiiiiii i i i iiiiii N XXXXHXXXHXXHXH xxxpxxxp xxpxxpxpxp xxxpxxxp xxpxxxpxpxxxp xxxpxxpxpxxxp xxxpxxxp XXXH NN N N NN N N N N N N N NNN N NN 2.21 设 是N维高斯分布的连续信源，且XNXXXX ...21= 1, X2, … , XN的方差分别是 ，它们之间的相关系数22221 ,...,, Nσσσ ),...,2,1,(0)( jiNjiXX ji ≠==ρ 。试证明：N维高斯分布的 连续信源熵 · 15 · ∑== N i iNcc eXXXHXH 2 21 2log2 1)...()( σπ 证明： 相关系数 ( ) ( )jiNjixx ji ≠== ,,...,2,1, 0ρ ，说明 是相互独等的。 NXXX ...21 ∑ = = +++= +++=∴ = +++==∴ N i i N Ncccc iic NcccNcc e eee XHXHXHXH eXH XHXHXHXXXHXH 1 2 22 2 2 1 21 2 2121 2log 2 1 2log 2 1...2log 2 12log 2 1 )(...)()()( 2log 2 1)( )(...)()()...()( σπ σπσπσπ σπQ 2.22 设有一连续随机变量，其概率密度函数 ⎩⎨ ⎧ ≤≤= 其他0 0 )( 2 axbx xp (1) 试求信源X的熵Hc(X)； (2) 试求Y = X + A (A > 0)的熵Hc(Y)； (3) 试求Y = 2X的熵Hc(Y)。 解： 1) symbolbit e abXH baaFbxxF e abab xdxxbb dxxxfdxxfb dxbxxfdxxfxfXH c XX R RR RRc / log 3 2log)( 1 3 )(, 3 )( log 9 2log log2log log)()(log log)()(log)()( 3 33 33 2 2 2 ⋅−−=∴ === −−= −−= −⋅−= −=−= ∫ ∫∫ ∫∫ Q 2) ∫ ∫∫ ∫∫ ∫ −−−−−= −−⋅−= −−=−= −=′= −== −≤=≤+=≤= +≤≤∴ ≤−≤⇒≤≤ − R RR RRc Ay A Y AydAyAybb dyAyyfdyyfb dyAybyfdyyfyfYH AybyFyf Aybdxbx AyXPyAXPyYPyF AayA aAyax )()log()(2log )log()()(log )(log)()(log)()( )()()( )( 3 )()()()( 00 2 2 2 2 32 Q · 16 · symbolbit e abYH baAaFAybyF symbolbit e abab c YY / log 3 2log)( 1 3 )(,)( 3 )( / log 9 2log 3 3 3 33 ⋅−−=∴ ==+−= −−= Q 3) symbolbit e abYH baaFybyF ba e abab e abab ydyybb dyyyfdyyfb dyybyfdyyfyfYH ybyFyf ybdxbx yXPyXPyYPyF ay ayax c YY R RR RRc y Y / 1log 3 2log)( 1 3 )2(, 24 )( 3 29log 9 2log 8log 9 2 8 log log 48 log log)()( 8 log 8 log)()(log)()( 8 )()( 24 ) 2 ()2()()( 20 2 00 3 3 3 333 33 2 2 2 2 32 0 2 +⋅−−=∴ === −+−−= −−= −−= −⋅−= −=−= =′= == ≤=≤=≤= ≤≤∴ ≤≤⇒≤≤ ∫ ∫∫ ∫∫ ∫ Q Q · 17 · · 17 · 3.1 设信源 ⎭⎬ ⎫ ⎩⎨ ⎧=⎥⎦ ⎤⎢⎣ ⎡ 4.06.0)( 21 xx XP X 通过一干扰信道，接收符号为 Y = { y1, y2 }，信道转移矩 阵为 ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ 4 3 4 1 6 1 6 5 ，求： (1) 信源 X中事件 x1和事件 x2分别包含的自信息量； (2) 收到消息 yj (j=1,2)后，获得的关于 xi (i=1,2)的信息量； (3) 信源 X和信宿 Y的信息熵； (4) 信道疑义度 H(X/Y)和噪声熵 H(Y/X)； (5) 接收到信息 Y后获得的平均互信息量。 解： 1) bitxpxI bitxpxI 322.14.0log)(log)( 737.06.0log)(log)( 2222 2121 =−=−= =−=−= 2) bit yp xypyxI bit yp xypyxI bit yp xypyxI bit yp xypyxI xypxpxypxpyp xypxpxypxpyp 907.0 4.0 4/3log )( )/(log);( 263.1 6.0 4/1log )( )/(log);( 263.1 4.0 6/1log )( )/(log);( 474.0 6.0 6/5log )( )/(log);( 4.0 4 34.0 6 16.0)/()()/()()( 6.0 4 14.0 6 56.0)/()()/()()( 2 2 22 222 2 1 21 212 2 2 12 221 2 1 11 211 2221212 2121111 === −=== −=== === =×+×=+= =×+×=+= 3) symbolbitypypYH symbolbitxpxpXH j jj i ii / 971.010log)4.0log4.06.0log6.0()(log)()( / 971.010log)4.0log4.06.0log6.0()(log)()( 2 2 =+−=−= =+−=−= ∑ ∑ 4) symbolbit YHXYHXHYXH YXHYHXYHXH symbolbit xypxypxpXYH i j ijiji / 715.0971.0715.0971.0 )()/()()/( )/()()/()( / 715.0 10log) 4 3log 4 34.0 4 1log 4 14.0 6 1log 6 16.0 6 5log 6 56.0( )/(log)/()()/( 2 =−+= −+=∴ +=+ = ××+×+×+×−= −= ∑∑ Q · 18 · 5) symbolbitYXHXHYXI / 256.0715.0971.0)/()();( =−=−= 3.2 设二元对称信道的传递矩阵为 ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ 3 2 3 1 3 1 3 2 (1) 若 P(0) = 3/4, P(1) = 1/4，求 H(X), H(X/Y), H(Y/X)和 I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1)