创新的主干之“信息理论”

我们的信息理论叫做全信息理论，由语法信息、语用信息、语义信息构成。全信息理论实际上是人在接触客观世界各种事物当中的一个很基本的认识过程。把这个信息产生的过程、产生的机制、产生的根源搞清楚了，那么这个信息就容易表述、容易处理。

好，第三部分。有了总的认识，又有了基础的理论，那我们现在就可以去讨论它的基本的理论了。这个理论呢，刚才讲，用分而治之的方法也都建立起来对应的理论，但是这些理论由于基础概念的突破而必须重构，这个是人工智能创新研究的主干部分。不过因为时间的关系，我们不可能讲得很细，也是交待一个思路，有兴趣的同志呢，可以去看相应的一些专著。

首先看信息理论，刚才提到信息的理论是Shannon（香农）在1948年建立的《通信的数学理论》，他把互信息认为是接收端。原来存在一个比较大的熵，接受了信息这个熵就减少了，他把这个熵的差定义为他收到的信息。熵是一种不确定性的度量，熵降低了，意味着收到了信息了。所以他理解的信息是用来消除不确定性的东西，不过这个不确定性是随机的，它的波形体现出来的不确定的状况。这个理论大家熟悉的人就没问题，不熟悉的人将来可以看书。

我们的新的信息理论引入了一个“全信息”的概念，因为我们的信息理论就包含了语法信息、语义信息、语用信息，而且三位一体，融为一体。所以我们这个信息理论，如果给一个名字的话，也叫做全信息理论，它的描述方法就不一样了。比方说如果我们给出来一个对象，这个对象可以看作是一个离散的，有限状态的变量，有n个状态。

那么我们对它的语法信息有一个描述，用这个语法信息，它的形式的肯定度来描述。所以就是C这样一个参量，C₁ C₂ C_n，这个123到n对应那个变量的第一个分量第二个分量第n个分量。然后把它的语义信息呢，用一个逻辑的真实度这个参量来描述，叫做T，所以也就t₁ t₂一直到t_n，它就是个矢量。那么语用信息用一个效用度这样的参量来描述，用U这个字母 Utility，这样就有u₁ u₂一直到u_n。因此全信息的描述就是一个矩阵了，不是一个一维的矢量 而是一个矩阵，从X C T U变成一个四行n列的这么一个矩阵来描述这么一个信息的对象。

其中那个肯定度呢，这个对象如果是随机事件的话，它就是概率。如果是模糊事件，它就是一个隶属度。这样一来它就把Shannon（香农）的那个信息的描述作为我们全信息描述的一个退化的情况，退化成一维，退化成随机，所以Shannon（香农）的信息是全信息的一个特例，给定这些条件限制限制限制，它就变成Shannon（香农）的信息。换句话说，这个理论跟Shannon（香农）信息是互通的，但是Shannon（香农）信息描述比较简单的，只是一种随机的，不确定性的这种形式，但是全信息可以是随机的，可以是非随机的，可以是模糊的，可以是偶发的，而且有语法，有语义，有语用，三位一体，这个就大不一样了。

数学上利用这样一个描述就可以去计量全信息，用什么办法来去计算全信息的数量，因为信息有定性的一面有定量的一面，刚才我们比较多的是从概念上，定性方面去分析它，然后在某种场合也需要定量的处理，所以这样使它形成了一个定性定量，一个全面的一个认识。这儿给了一个全信息，刚才讲的概念。全信息到底是怎么生成的，我们有个模型，这个模型从这个PPT可以看到。

一个客体，它在运动。所以就会表现出一定的运动状态和这个状态改变的方式，这就叫做这个客体的信息作用于主体以后，刚才讲过主体有目的、有知识，当然还有它的感觉系统。那么它通过它的感觉器官能够感知这个客体的形态，这个形态我们在术语上就叫语法信息。然后有这个形态以后它可以，如果是一个老的事物，以前碰到过，而且可能碰到过不止一次，那么这次见到同样的形态，它就会回想，这个形态是什么意思，对我有没有什么利害关系，它就能回忆出来。

比方说如果见到一条蛇，这个蛇的模样我们感官看到了，或者别的什么东西你耳朵可以听到，或者什么东西你要去摸到，总而言之，感官可以感觉到那个对象的形态，这个形态是通过感官感到的，这叫做语法信息。但是这个形态会引起我回想，我以前碰到过这个蛇，知道这个蛇可能对我的安全有威胁，所以它就会回想出来它的效用，这个效用就是语用信息。

但是如果我见到一个东西从来没碰到过，是一个新的什么东西、新的对象，那么靠回想就不行了。那怎么办呢，那么你就要去估价一下，这个估价最简单的办法，也是最笨的办法，但是也是办法，就是去试试看这个蛇会怎么样。结果你惹它，蛇就会咬你一口，这样的话你就知道，凡是见到这个蛇不能惹。它的语用信息是对你的安全有负面影响，所以这样的语用信息，不管是见到过的事物，或者是从来没见到过的事物，通过回想、通过检验都可以得到它的语用信息，就是效用。

这个在技术上来讲，感官就是各种传感器，回想就是信息检索，通过在网上进行检索，就是等于你的知识放到网上去了，见到这个形态以后可以在网上去查询。如果是新事物，就要去试验，在网络上去计算那个对象跟我的目标这两个东西是相关不相关。如果是相关，是正的相关还是负的相关等等。总而言之，这样你就得到了它的的语用信息。

到这个阶段，语法信息也得到了，通过感官语用信息也得到了，通过回想或者检验。在这个基础上，你不能以后老是这个样子，你要抽象一下变成一个比较简练、比较清晰、比较方便处理的一个信息的层次，叫做语义信息。这个就是把语法信息跟语用信息结合在一起，然后映射到语义信息的空间里头，给它取一个名字，说这个叫蛇。将来你再见到那个东西，就不会说那个形状是这样这样，它的效用是那样那样，用不着这样，一见到这个蛇它的语义信息就有了。

这样的话我们就看到语法信息、语用信息、语义信息，实际上是人在接触客观世界各种事物当中的一个很基本的一个认识过程。首先看到形态，如果是熟悉的可以回想它对我是什么关系，如果不熟悉可以去检验一下，然后我们把它抽象，给它一个名字，这个东西将来以后再见到就很简单了，是蛇或者是狗或者是猪，或者是一个灯或者是一个计算机，这样的话你就很方便来处理了。

所以这个认识是这样发生的，那么我们把这个信息产生的过程、产生的机制、产生的根源搞清楚了，那么这个信息我们就好表述、好处理。所以这是个全信息生成的机制，而且可以看到这个机制，人是这样产生的，技术上也可以把它模拟出来，是可以实现的，不是说说而已，虚无缥渺不可实现，不是这样的。因此是可行的，那么有了这样我们对这个全信息，既能够描述它，也能够生成它，当然也可以应用它。这样我们对这个信息就建立了一个比较完整的信息的理论，就不仅仅是Shannon（香农）那个只是通信的数学理论。