信息论与编码_习题集五邑大学

信息论与编码_习题集五邑大学(共

5页)

--本页仅作为文档封面，使用时请直接删除即可-- --内页可以根据需求调整合适字体及大小--

期中习题

1、 同时掷两个均匀的骰子，也就是各面呈现的概率都是1/6，求： (1) 事件“3 和5 同时出现”的自信息量； (2) 事件“两个l 同时出现”的自信息量；

(3) 两个点数之和(即2，3，⋯，12 构成的子集)的熵；

(4) 事件“两个骰子点数中至少有一个是1”的自信息量。

2、某一无记忆信源的符号集为{0，1}，已知p(0) =1/ 4,p(1) = 3/ 4。 (1) 求信源的熵。

(2) 由100 个符号构成的序列，求某一特定的序列(例如有m 个“0”和100 −m 个“1”)的自信息量的表达式。 (3) 计算(2)中的序列的熵。

3、在一个二进制的信道中，信源消息集X={0，1}且p(1)=p(0)，信宿的消息集Y={0，1}，

信道传输概率p(y=1| x=0)=1/4， p(y=0 | x=1)=1/8。求：

(1) 在接收端收到y=0 后，所提供的关于传输消息x 的平均条件互信息I(X；y=0)； (2) 该情况下所能提供的平均互信息量I(X；Y)。 4、

5、

6、

2

101X07、已知二元信源以及失真矩阵dij，求（1）Dmin；p(x)p1p10（2）Dmax；（3）R(D)。

答案： 1、

2、

3

3、 4、

4

5、

（2）

（3）

5

6、

7、解：（1）Dminp*00*(1p)0；

达到Dmin的信道为一个一一对应的无噪信道，所以 R(0)I(U;V)H(U)H(p)

（2）最大允许失真度为Dmaxminp(u)d(u,v)min(p,(1p))

vij

如果p1/2,Dmaxp

如果p1/2,Dmax1p

（3）因为二源对称信源，所以 R(D)H(p)H(D)0Dp

6