信息论与编码答案

信息论与编码 一、填空 1. 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从 而创立了信息论。 2. 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的 信息。 3. 信息的 可度量性 是建立信息论的基础。 4. 统计度量 是信息度量最常用的方法。 5. 熵 是香农信息论最基本最重要的概念。 6. 事物的不确定度是用时间统计发生 概率的对数 来描述的。 7、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 8、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 9、自信息量的单位一般有 比特、奈特和哈特 。 10、必然事件的自信息是 0 。 11、不可能事件的自信息量是 ? 。 12、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 13、数据处理定理:当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 14、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 limH(X/XX？X)N12N,1H,N,,,15、离散平稳有记忆信源的极限熵，。 16、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 17、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2(b-a) 。 1log2,eP2218、平均功率为P的高斯分布的连续信源，其信源熵，Hc(X)=。 19、对于限峰值功率的连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 20、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值