信息论可能考到的填空题及问答题

离散信源：离散随机变量描述输出消息的信源；平稳信源分为无记忆信源 有记忆信源

事件发生的概率越小，不确定性越大；I（ai）的含义：①事件发生以前表示事件发生的不确定性②事件发生以后表示事件所含有的信息量。

熵H(X)的物理意义：①信源输出前信源的平均不确定性②信源输出后每个消息提供的平均信息量③表征变量X的随机性。H(XN)=NH(X)

熵的性质：对称性，确定性，非负性，扩展性，可加性H(XY)=H(X)+H(Y)，强可加性H(XY)=H(X)+H(Y|X),递增性，极值性 只有信源等概率分布时熵最大，上凸性。

信源剩余度表示信源的相关性程度，剩余度越大，信源符号间依赖关系越弱，符号之间的记忆长度越短。γ=1-H∞/logq

互信息I(x;y)表示收到y后获得关于事件x的信息量，平均互信息I(X;Y)是互信息I(x;y)在两个概率空间X和Y中求统计平均的结果。

I(X;Y)=H(X)-H(X |Y)损失熵=H(Y)-H(Y |X)噪声熵=H(X)+H(Y)-H(XY)

平均互信息性质：非负性，极值性，交互性，凸状性

平均互信息是输入信源概率分布P(x)的上凸函数，是信道传递概率P(y |x)的下凸函数

无噪无损信道和无损信道的信道容量是logr，有噪无损的信道容量是logs，二元对称信道的容量是1-H(p)

离散无记忆的N次扩展信道的信道容量等于原单符号离散信道信道容量的N倍，独立并联信道的C不大于各个信道的C之和

若X,Y,Z组成一个马尔科夫链，则I(X;Z) ≦I(X;Y),I(X;Z) ≦I(Y;Z)

信道剩余度=C- I(X;Y)，相对剩余度=1- I(X;Y)/C

信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

自信息的符号是bit，熵，互信息，信道传输率，信道容量的单位都是bit/符号

连续信源：用连续随机变量描述输出消息的信源

均匀分与连续信源熵值：log(b-a)，高斯信源熵值：（log2πeP）/2，指数分布熵值：logae

差熵的性质：可加性，上凸性，可取负值，变换性，极值性

峰值功率受限条件下均匀分布信源的熵最大，平均功率受限条件下高斯分布信源的熵最大

共有rs种译码规则可供选择。平均失真度与信源，信道以及失真函数有关；

率失真函数的物理意义：在满足保真度准则的条件下，信息传输率的最小值即为信源

必须传递给接收端平均信息量的最小值，若再小，接收端就不能满意的重现信源信息。率失真函数与信道容量对偶性。性质：定义域（0，Dmax），单调递减，上凸函数

信源编码是对输入信息进行编码，优化信息和压缩信息并且打成符合标准的数据包，提高信息传输的效率。信道编码是在数据中加入验证码，并且把加入验证码的数据进行调制，提高信息传输的可靠性。

香农第一定理(可变长无失真信源编码定理)：设信源S的熵H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码,使得信道上传输的平均速率为每秒(C/H(S)-a)个信源符号.其中a可以是任意小的正数, 要使传输的平均速率大于(C/H(S))是不可能的。

香农第二定理（有噪信道编码定理）：设某信道有r个输入符号,s个输出符号,信道容量为C,当信道的信息传输率R香农第三定理（保失真度准则下的有失真信源编码定理）：设R(D)为一离散无记忆信源的信息率失真函数,并且选定有限的失真函数,对于任意允许平均失真度D>=0,和任意小的a>0,以及任意足够长的码长N,则一定存在一种信源编码W,其码字个数为M<=EXP{N[R(D)+a]}，而编码后码的平均失真度D'(W)<=D+a。

信息论已考过，题目基本与同年本科大三考试的题目一样。

两个简答题：1.香农第一定理的物理意义2.信源，信道和码的剩余度的公式及公式中符号的意义。

计算题：1.计算条件熵，平均互信息，信道容量和最佳输入分布概率2.判断哪些是唯一可译码，并计算平均码长3.四进制的霍夫曼编码4.最小错误概率准则和最大似然译码准则5.最小距离译码准则，纠错码位数6.计算平均失真度。