德玛西亚

德玛西亚 申农与信息论节选 申农与信息论节选 1948年，美国数学家申农发表了一篇著名的论文《通信的数学理论》，建立1948年，美国数学家申农发表了一篇著名的论文《通信的数学理论》，建立了比较系统的信息理论基础，即信息论。这门科学大大促进了通信技术和信息技了比较系统的信息理论基础，即信息论。这门科学大大促进了通信技术和信息技术的发展，申农的贡献是很大的。 术的发展，申农的贡献是很大的。 第一，他提出了信形式因素。在通信中，制了信息的语义内容。第一，他提出了信形式因素。在通信中，制了信息的语义内容。息的形式化。申农认为，如果接收端能够把发送例如，有三个句子: 息的形式化。申农认为，如果接收端能够把发送例如，有三个句子: 在通信中，要排除信息端发出的信息从形式上在通信中，要排除信息端发出的信息从形式上 的语义，只考虑信息的复制出来，那么也就复的语义，只考虑信息的复制出来，那么也就复 “信息是人类社会三大资源之一。” “信息是人类社会三大资源之一。” 222222“(a+b)=a+2ab+b。” “(a+b)=a+2ab+b。” “Z!12#5$7**XYZ”。 “Z!12#5$7**XYZ”。 第一句是正常的句子，第二句是代数公式，第三句是含义不清的字符串。这第一句是正常的句子，第二句是代数公式，第三句是含义不清的字符串。这三个句子有明显差别，但它们都是信息。在通信中，一旦把它们转变为电信号，三个句子有明显差别，但它们都是信息。在通信中，一旦把它们转变为电信号，那么这种差别就没有了，因为都那么这种差别就没有了，因为都是电信号。当接收端将电信号转是电信号。当接收端将电信号转换成原来形式时，语义就恢复换成原来形式时，语义就恢复了。所以，信息形式化后，就有了。所以，信息形式化后，就有可能用数学进行描述。 可能用数学进行描述。 第二，他提出了如图所示的第二，他提出了如图所示的通信系统模型。信源给出要传输通信系统模型。信源给出要传输的信息;编码器把信息转变为信的信息;编码器把信息转变为信号，使之能在信道中传输;解码号，使之能在信道中传输;解码器把信号恢复成信息传给信息的器把信号恢复成信息传给信息的接受方，即信宿。 接受方，即信宿。 目前的通信系统都基本采用目前的通信系统都基本采用了这个模型。例如，利用电话线上网时，计算机既是信源(发送信息时)又是信了这个模型。例如，利用电话线上网时，计算机既是信源(发送信息时)又是信宿(接受信息时)，而调制解调器的调制和解调部分分别是编码器和解码器。这宿(接受信息时)，而调制解调器的调制和解调部分分别是编码器和解码器。这个模型的不足之处是，没有考虑信宿对信源的反馈作用。通常，信息接收 对收个模型的不足之处是，没有考虑信宿对信源的反馈作用。通常，信息接收 对收到的信息，不论是否正确理解，都会作出反应，譬如打电话，一个人讲话时，另到的信息，不论是否正确理解，都会作出反应，譬如打电话，一个人讲话时，另一个人总要应答，否则讲话人会以为是电话线路断了。 一个人总要应答，否则讲话人会以为是电话线路断了。 第三，他研究了信息与事件发生概率的关系，提出用比特(即二进制位)来第三，他研究了信息与事件发生概率的关系，提出用比特(即二进制位)来测度信息量。他认为，信息量的大小可以用被消除的不确定性的多少来表示。例测度信息量。他认为，信息量的大小可以用被消除的不确定性的多少来表示。例如，把一个硬币往上抛，那么硬币掉地时其正面可能朝上，也可能朝下。这是不如，把一个硬币往上抛，那么硬币掉地时其正面可能朝上，也可能朝下。这是不确定的，概率都是二分之一。因为朝上和朝下可以分别用1和0来表示，所以这确定的，概率都是二分之一。因为朝上和朝下可以分别用1和0来表示，所以这个事件的信息量是一个比特。不难推算，如果一个事件能够分解为n个二中择一个事件的信息量是一个比特。不难推算，如果一个事件能够分解为n个二中择一的问题，那么它的信息量是n个比特。 的问题，那么它的信息量是n个比特。 第四，他提出了冗余信息的概念。他认为，没有提供独特信息的那部分数据第四，他提出了冗余信息的概念。他认为，没有提供独特信息的那部分数据是冗余的，因此可以删除。比如，若在英文单词中，每个字母q后面总是有字母是冗余的，因此可以删除。比如，若在英文单词中，每个字母q后面总是有字母u(注意这只是一种比方)，字母u就没有提供更多的信息，因此在信息的存储和u(注意这只是一种比方)，字母u就没有提供更多的信息，因此在信息的存储和传输环节中可以去掉它。现在，申农的这项研究被广泛用于音频和视频信息的压传输环节中可以去掉它。现在，申农的这项研究被广泛用于音频和视频信息的压缩上。 缩上。 信息技术的发展与信息论、控制论和系统论“三论”的发展是密切相关的。信息技术的发展与信息论、控制论和系统论“三论”的发展是密切相关的。信息论是研究信息及其传输的一般规律的学科;控制论是由美国数学家诺伯信息论是研究信息及其传输的一般规律的学科;控制论是由美国数学家诺伯 特?维纳于1948年前后创立的，它是研究生物(包括人类)和机器中的控制与特?维纳于1948年前后创立的，它是研究生物(包括人类)和机器中的控制与通信的普遍原则和规律的学科;系统论是由奥地利生物学家贝塔朗菲于1945年通信的普遍原则和规律的学科;系统论是由奥地利生物学家贝塔朗菲于1945年创立的，它是研究系统的一般模式、结构、性质和规律的学科。信息论是信息科创立的，它是研究系统的一般模式、结构、性质和规律的学科。信息论是信息科学的一个分支，它是信息科学的理论基础之一。 学的一个分支，它是信息科学的理论基础之一。