仙农其人其事其道（4）

《通信的数学理论》这篇文章出来以后，就使得通信的全部的问题，有了一个理论的描述，理论的分析、理论的解决，特别通过三个编码定理，可以使得通信既可靠又有效。如果结合他那个密码定理，可以达到既可靠又有效，还又安全，通信的基本要求就是这三个

仙农最重要的贡献当然是《通信的数学理论》，信源通过编码进入信道，然后反过来通过译码,交给信息的接收者，他把所有的通信，不管无线通信、卫星通信、电缆通信，也不管电报通信、电话通信、传真通信等等数据通信，全部都用这么一个模型统一来表示，这就是一个理论的一种抽象概括，这个非常有意义。要不然的话，你做了电报的，那么电话又要另外搞一摊；做无线的，有线又要搞另外一套理论，这样等于是没有找到它们共性的东西。而他把这样一个模型拿出来、提出来，就有了一个共性的通信的模型，这点也是非常重要。在这个地方，他把通信理解成为信道当中一定存在噪声，这个是毫无办法，因为那个信道比如电缆也好，无线电也好，光纤也好，它总有这种噪声存在，这个噪声各种各样的，最难去掉的,或者不可能去掉的一种噪声，就是白噪声。这个白噪声的根源，就是因为物质的最基本的结构，比方说分子，或者原子或者粒子，它总有热运动。这个热运动，这个布朗形式的热运动，就产生噪声，所以你要想把这种热噪声去掉的话，唯一的办法就是使你这个系统，它的环境温度降低，降低到绝对零度，那么一切分子运动都停止了，那没噪声了。可是这样一来，你这个成本就太高了，而且很多工作，就不好做了，所以不能这么做，那么在普通的环境下，这个噪声就不可避免。所以他就把通信看作是噪声中的随机波形的可靠传输，就是我的信号一定要通过你那个信道，这个信道一定有噪声，那么我就在这个有噪声的信道当中，我把我的信号，通过这么一个有噪声的信道，但是要达到可靠的传输，传到对方以后不会出错，至少是不会错比较大，我可以控制那个错误的概率，比方说万分之一，或者百万分之一，这就是个通信的基本要求，是这样的。这个理解是非常重要的，因为有了这样一个理解，所以通信的理论一定是统计通信，因为那个噪声是白噪声，另外你的传输的信息，到底什么时间，什么人到这儿发什么信息，都是随机的，所以，这样一个理解，看上去是很简单的一个理解，可是，对你从理论去描述这个通信过程的时候，就启发了你，你的理论一定建筑在统计数学的基础上，而不能够用经典的,这种确定性的数学，这是除了这个理解以外，而且刚才讲它有统一的模型，然后就要把这个信源，传输信息的这个源泉，怎么样来看它能产生多少信息，怎么去计量这个信息，然后那个信道，它的传输能力又怎么计量？就刚才讲容量的问题，怎么样去算。所有这些东西，他都找到了一个统计数学的描述方法，就建立在概率论的基础之上。所以信源的信息量，它是建立了一个概率熵，这个熵用概率来描述，就刚才讲的∑ PilogPi，i从1到n,这个n就是到底有多少种可能，也可能模拟，然后就到无穷，所以这样一建立了这个熵，就意味着我们对这个信源，产生信息的能力有了一个度量。原来你这个信源，就是电报，电报它是用英文字母来组成，那么英文字母一共26个，加上空格27个，或者你加上其它内容，有一个数，这个数叫做n，那么每一个符号，ABCD等等，每一个符号出现的机会有多少，这叫Pi，他就建立了PilogPi  ，然后 ∑ 起来，i从1到27或者到多少、到n，那么这样一个数值，就是这个电报的信源产生信息的能力，叫做信息熵。这一来它就变成定量的一种处理了，不是一种定性的，想象的。那么传输的度量也这样，它把这个从发端存在收端，到底存了多少信息，怎么样去度量呢？他就说你在没收到这个信息之前，你这个接收者,到底对这个信息你有多少种可能的期望，就你的猜测可能是0，可能是1或者是0011等等，有多少种可能猜测，这个可能性,就是一个不确定性的度量，就是刚才讲那个熵，最早的这个熵。然后你接受到这个信息以后，这个熵肯定会减少，原来是有各种各样 的猜测，现在你接收到这个信息以后，这个猜测就不会那么大的范围去猜测了，可能如果噪声很小的话，你收到了这个信息以后，原来那各种可能性，就变成唯一的可能性了，不管是唯一的可能性，还是有若干其他的可能。总而言之，原来的熵这么大，收到以后这个熵就降低了，这个差值就是你所收到的信息。这个就是他那个公式，然后互信息等于原来的熵，就是这个接受信息的人原有的熵，减去他收到这个信息以后，还仍然存在的那个熵，这两者的差就是你得到的信息量，这就是他的整个信息论的一个基础。后面那个容量，那些失真的有效传输等等这些东西，都是以这个互信息为基础，进行论证。所以，刚才就提到，有了这个互信息以后，它就可以描述这个通信系统的容量，有了这个容量，你就可以知道，你现在发的这个信息量，离它那个容量、那个能力还有多远，如果还差得远，你就还可以多发，如果已经接近了，就不能再发了，再多就会超过容量，就要失真了等等，这一下子就是把这个通信的效率，就可以控制到，尽可能的接近这个系统，或者这个信道的最大可能的通过能力，这样就定量的可以来把握你的通信的这种速率。

他提出第一第二第三编码定理，就是解决如果这个信道没有噪声的话，我最快最高的效率应该保持多少，保证不出错，这是第一个编码定理。那么你要做到这个呢？当然不能够简简单单的做，你必须要编码，这个编码叫有效性编码，就是我充分的利用信道的容量，我无限的逼近这个容量，很有效了吧？但是又不会出现差错，还是熊掌跟鱼这两个东西都要兼顾、要兼得，这是第一编码定理。

第二个编码定理就更重要了。他承认了有噪声了，信道中有噪声，那么他就说，我可以通过相当复杂的编码，可以使我的信息传输的效率，无限接近于通信信道的通过能力，就是容量。而同时通过这个编码呢，可以使得我到对方译码以后，差错率趋近于零。这个第二编码定理来解决这个，刚才第一编码定理是没有噪声，这个是有噪声。

第三编码定理跟这有关，也是要希望，取得这么一个好的结果，但是第三编码定理，允许到最后，接受信息的人，允许他有一定的误差，来看怎么样在这个前提下，无限的、充分的利用你的信道容量，逼近你的容量，同时我处理差错，不会超过我所允许的那个差错率，不是零差错了，而是允许有一定的差错，这个就更现实了，因为完全没有失真，完全没有差错，这种要求太苛刻了，人如果作为信息接收者，往往允许有一定的差错。没有关系，不影响、没有大碍。你如大家看电视就知道了，你仔细看那个电视屏幕，它是一个一个的像素点，组成的这么一幅图像，也就是它有有限的行，并不是一行跟一行之间完全没有缝，有缝有限的行，每一行有有限个像素，这样一来它当然有误差，可是我们人眼呢，这个分辨率没那么厉害，就那种误差，对我们人眼观察这个图像来讲，没有任何影响，觉得还是很自然，那就可以了，你不要去追求那个零差错概率，你可以追求有限的差错概率。在这个前提下我充分利用你的信道，同时我保证传到对方以后，这个差错率不会比你允许的差错率更差。所以这些编码定理，就使得这个通信既有效又可靠，满足用户的要求。这一来这个通信的基本问题就解决了。所以他这个贡献，应该说在他之前，通信真的整个都是些有局部的一些理论，没有一个统一的理论，所以还不能够形成为科学，但是他这篇，《通信的数学理论》这篇文章出来以后，就使得通信的全部的问题，有了一个理论的描述，理论的分析、理论的解决，特别通过三个编码定理，可以使得你既可靠又有效，还有，如果结合他那个密码定理，既可靠又有效，还有安全，通信的基本要求就是三个。所谓可靠，就是由于干扰的影响会出错，我希望出错尽可能的少，少到我允许的程度，有效就是单位时间传输的信息量尽可能大，大到什么程度，大到你这个容量允许为止，然后安全，就是没有授权的那些人收到我的信息，他只能够收到那个信息密码本身，不知道这个密码所表达的内容到底是什么，所以可靠、有效、安全三大要求，他基本上都提出了理论解决方法，所以这是他的最重要的贡献。