信息论的应用

- 45 - 信息论的应用 张姗姗 （宝鸡文理学院，陕西 宝鸡 721013） 【摘 要】信息论是关于信息的本质和传送规律的科学理论，其主要特点是理论的成功应用。文章主要介绍信息论在数据 压缩、密码学、统计及信号处理中的应用。 【关键词】信息；信息论；数据压缩；密码学 【中图分类号】G201 【文献标识码】A 【文章编号】1008-1151(2011)07-0045-02 信息是人类社会互通情报的实践过程中产生的，在当今 信息社会中，常把它作为人们认识世界的向导与智慧的源泉， 也是社会与社会生产力发展的动力与资源。信息作为一种资 源，如何开发、利用、共享是人们普遍关注的问。信息是 信息论中最基本最重要的概念。信息论是应用近代数理统计 方法研究信息的传输、存储与处理的科学[1]。其基本任务是 为有效而可靠的通信系统提供理论依据，主要特点是理 论的成功应用。文章主要介绍信息论在数据压缩、密码学、 统计及信号处理中的应用。 1 信息论在数据压缩理论中的应用 信息论之父香农在 1948 年发表的《通信的数学理 论》一文中指出，任何信息都有冗余，冗余大小和信息中每 个符号的出现概率或者说不确定性有关[2]。香农把信息中排 除了冗余后的平均信息量称为信息熵，并给出了计算信息熵 的数学表达式，这为数据压缩奠定了理论基础。 数据压缩的主要目的是力求用最少的数据表示信源所发 出的信号，使信号占用的存储空间尽可能小，以达到提高信 息传输速度的目的。数据压缩在近代信息处理问题中有大量 的应用，无论在数据存储或传送中，通过数据压缩不仅可以 大大节省资源利用的成本，而且把一些原来无实用意义的技 术，如多媒体技术中的一些问题，达到具有实用意义的标准。 数据压缩作为信息论研究中的一项内容，主要是有关数 据压缩比和各种编码方法的研究，即按某种方法对源数据流 进行编码，使得经过编码的数据流比厡数据流占有较少的空 间。其中基于符号频率统计的哈夫曼编码效率高，运算速度 快，实现方式灵活，使得其在数据压缩领域得到了广泛的应 用。不过，哈夫曼所得的编码长度只是对信息熵计算结果的 一种近似，还无法真正逼近信息熵的极限。所以尽管哈夫曼 编码具有良好的压缩性能，也一直占据重要的地位，还是不 断有基于哈夫曼编码的改进算法提出。 算数编码是一种可以成功地逼近信息熵极限的编码方 法，它与部分分配预测模型结合，开发了压缩效果近乎完美 的压缩算法。算数编码虽然可以获得最短的编码长度，但其 本身的复杂性也使得算数编码的任何具体实现在运行时都慢 如蜗牛，导致难以满足日常应用的需求。此时，LZ 系列算法 的优越性很快就在数据压缩领域里体现了出来，LZ 系列算法 基本解决了通用数据压缩中兼顾速度与压缩效果的难题。 数据压缩技术的不断完善是依靠在信息论这门学科的成 长上的，信息能否被压缩以及能在多大程度上被压缩与信息 的不确定性有直接的关系，人工智能技术将会对数据压缩的 未来产生重大影响。 2 信息论在密码学中的应用 密码学是研究编制密码和破译密码的技术科学。从传统 意义上来说，密码学是研究如何把信息转换成一种隐蔽的方 式并阻止其他人得到它。密码术的研究和应用虽有很长的历 史，但在信息论诞生之前，它还没有系统的理论，直到香农 发表的保密通信的信息理论一文，为密码学确立了一系列的 基本原则与指标，如加密运算中的完全性、剩余度等指标， 它们与信息的度量有着密切相关。之后才产生了基于信息论 的密码学理论，所以说信息论与密码学的关系十分密切。 近代密码学由于数据加密标准与公钥体制的出现于应 用，使近代密码学所涉及的范围有了极大的发展，尤其是在 网络认证方面得到广泛应用，但其中的安全性原理与测量标 准仍未脱离香农保密系统所规定的要求，多种加密函数的构 造，如相关免疫函数的构造仍以香农的完善保密性为基础。 2011 年第 7期 大 众 科 技 No.7，2011 （总第 143 期） DA ZHONG KE JI (Cumulatively No.143) 【收稿日期】2011-04-19 【基金项目】宝鸡文理学院科研项目（ZK0788） 【作者简介】张姗姗（1981—），女，河南博爱人，宝鸡文理学院数学系助教，硕士，研究方向为信息安全。 - 46 - 3 信息论在统计中的应用 信息论在统计中的应用一般指信息量在统计中的应用， 也有编码定理与码结构在统计中的应用等问题。由于统计学 研究的问题日趋复杂，如统计模型从线性到非线性，统计分 布从单一分布到混合分布，因此信息量在统计中的作用日趋 重要，在许多问题中以信息量作为它们的基本度量[3]。 在统计领域里，统计计算技术近年来发展很快，它使许 多统计方法,尤其是 Bayes 统计得到广泛的运用。Bayes 计算 方法有很多，其中一类是直接应用于后验分布以得到后验均 值或后验众数的估计，以及这种估计的渐进方差或其近似。 EM 算法就是一种迭代方法,主要用来计算后验分布的众数或 极大似然估计。这种方法可以广泛的应用于缺损数据，截尾 数据，成群数据，带有讨厌参数的数据等所谓的不完全数据。 EM 算法的最大优点是简单和稳定，主要目的是提供一个简单 的迭代算法来计算极大似然估计，问题是如此建立的 EM 算法 得到的估计序列是否收敛。它的特点与信道容量的递推渐近 算法相似，但应用更为广泛。EM 算法实现简单，数值计算稳 定，存储量小，并具有良好的全局收敛性。EM 算法是一种求 参数极大似然估计的迭代算法，在处理不完全数据中有重要 应用。 信息与统计相结合的其他典型问题还很多，如假设检验 中的两类误差估计问题，试验设计问题，信息量在有效估计 中的应用问题等，这些问题已使信息论与统计学想成相互推 动发展的局面。 4 信息论在信号处理中的应用 信号处理包括数据、影象、语声或其他的信号的处理， 从信息论的观点看，信号则是观察客观事物表达其相应信息 的技术手段，也就是特定信息的载体[4]。信息是通过信号来 表达的，对信息的加工和处理，也就是信号的加工和处理。 所有处理过程无非是信源编码，变换，过滤或决策过程，其 实变换也是一种编码过程。这些过程中的大部分的信息论基 础是信息率失真理论。 譬如数字信号处理，其技术可以归结为以快速傅里叶变 换和数字滤波器为核心，以逻电路为基础，以大规模集成电 路为手段，利用软硬件来实现各种模拟信号的数字处理，其 中要用到信息论中的信号检测、信号变换、信号的调制和解 调、信号的运算、信号的传输和信号的交换等。 现在，信息理论与技术不仅直接应用于通信、计算机和 自动控制等领域，而且还广泛渗透到生物学、医学、语言学、 社会学、经济学和管理学等领域，与这些交叉学科的发展， 是信息论的应用范围更加广泛。 【参考文献】 [1] 曹雪虹,张宗橙.信息论与编码[M].北京:清华大学出版 社,2004. [2] 周叶林.科学研究中的信息论及其应用[J].今日南国,2009， 5:201-202. [3] 沈世镒,吴忠华.信息论基础与应用[M].北京:高等教育出 版社,2004. [4] 周荫清.信息理论基础[M].北京:北京航空航天大学出版 社,2006.