信息论总结

《信息论与编码》课程 解放军信息工程大学信息工程学院 本课程从第一周上到第五周,共二十个学时,重点介绍由香农理论发展而来的信息论的基本理论以及编码的理论和实现原理。李教员共讲述了:一,绪论;二,熵与互信息;三,信道及信道容量;四,离散信源;五,无失真信源编码五章内容。其中,熵与互信息,信道及信道容量两章为本课程中最基本,同时也是最重要的两章,是本课程的树干(个人认为)。下面为我所做的课程总结和一些心得体会。 第一章绪论 1,本章主要内容 (1)信息的定义和性质; (2)信息论的基本思路; (3)信息论的主要内容 2,心得体会 本章首先从信息的定义和本质讲起,然后简要讲述了信息论的 基本思路和发展历程,最后重点介绍了信息论的主要内容。该章大部分内容在《通信原理》里都有涉及,基本没有什么新的知识点,难度不大。令我受益最大的是香农提出狭义信息论时的三个条件:非绝对论观点,形式化假说,不确定性。 第二章熵与互信息 1,本章主要内容 (1)信源的数学模型和分类; (2)自信息和熵(重点); (3)联合事件的熵及其关系(重点); (4)信道疑义度与范诺不等式(重点); (5)互信息(重点); 2,心得体会 信源的数学模型和分类这部分属于纯叙述性内容,没有什么难点;自信息和熵这一节主要介绍了自信息和熵的基本概念和主要性质,需要记忆的内容不多,主要靠理解,基本没什么难度;联合事件的熵及其关系主要介绍了联合熵,条件熵和无条件熵,以及三者之间的关系,在学好概率论的基础上理解起来难度不大;信道疑义度与范诺不等式主要介绍了信道的转移概率,信道疑义度的概念和范诺不等式,其中,范诺不等式是关于通信系统产生信道疑义度和取值大小的重要原因 ,本节内容理解和记忆起来有一定的难度;互信息这一节是本章的重中之重,同时也是本课程的一个基本点和要点,需要记忆的 东西较多,理解起来有点难度。 第三章信道及信道容量 1,本章主要内容 (1)信道的描述和分类; (2)信道容量的定义(重点); (3)信道容量的计算(重点和难点); (4)有噪信道编码与Shannon第二编码定理(重点); (5)信道编码原理; 2,心得体会 根据不同的条件,信道的种类各不相同。如按随机变量的取值类型划分,信道可分为离散信道,连续信道和半离散半连续信道;而根据信道的输入、输出个数划分时,信道又可分为单用户信道和多用户信道。 信息传输率,也就是通信原理里面所说的传信率,是本课程中最重要的一个知识点,它看似简单,其实暗藏玄机,做题时一不小心就会掉进“沟里”去了,在学习通信原理的过程中我对此是颇有体会。 所谓信道容量就是一个信道的最大信息传输速率,它是描述信道传输信息能力的一个参数。对于信道容量的计算,如对称信道的信道容量,准对称信道的信道容量,可逆矩阵信道的信道容量等,是重点,同时也是一个难点。 有噪信道编码与Shannon第二编码定理部分,理论性很强, 要想深刻领悟该部分,必须得有很好的数学基本功,对香农定理和Shannon第二编码定理的等难度较大。 信道编码原理部分和我们正在学习的《信道编码》相辅相成,对我们以后的学习起到了良好的指引作用。 第四章离散信源 1,本章主要内容 (1)离散无记忆信源的扩展信源; (2)离散平稳信源; (3)马尔科夫信源; (4)信源的信息冗余。 2,心得体会 将信源输出的随机变量分组,每组作为一个随机矢量,则信源可等效为一个输出随机矢量的信源,称为离散无记忆信源的扩展信源。 联合熵,平均符号熵,条件熵是离散平稳信源里面的几个重要概念,应重点理解和记忆。同时,离散平稳信源的四个性质也应熟练掌握。 马尔可夫信源就是任何时刻信源符号发生的概率只与前面已经发生的m个符号有关,而与更前面发生的符号无关的信源。在实际中,信源一般先验概率分布不均匀且有记忆,因此引入信源的冗余度来衡量信源的相关性程度,在此基础上形成了数据压缩等相关课程。 第五章无失真信源编码 1,本章主要内容 (1)信源编码的作用与构成; (2)等长信源编码定理; (3)变长码的一些基本概念; (4)变长信源编码定理; (5)最佳编码定理与统计编码; (6)霍夫曼编码; 2,心得体会 本章主要讨论离散信源无失真编码,包括定长、变长无失真编码定理和编码方法,以及较实用的无失真信源编码,如霍夫曼编码等。在选修过《数据结构》的基础上学习本章难度不大。