也聊熵，信息，和其它

木水

关于熵，应该参考下面的那个主页。这个主页是由很多人来管的，不过现在在宾
州大。最近《科学美国人》也有一篇文谈熵和信息，有兴趣的可以找来看。现在
他们的文章是没有办法在网上看了。不过任何图书馆都有这杂志。我印象中，这
篇文章谈到了物理的熵和信息的熵的关系。现在由于电子原件越做越小，谈论一
个物理介质本身的熵和它所承载的信息熵，以及两者的关系，就是很有意思的话
题了。总之，“熵是一个筐，什么都可以装”。自从克劳修斯提出entropy以
来，科学界有个习惯，就是，任何东西，只要可以计算，但是又不太明白其意
义，就冠个恩错屁的名。大家看看下面的那个主页就清楚了。不仅搞科学的爱用
熵，现在连股票炒手们也是一口一个恩错屁的。如果不信，去查查JPMorgan的网
页就知道了。这一恩错屁，那一恩错屁，我看，大家都可以接受的还是两个恩错
屁，一个是克劳修斯的物理系统的恩错屁，一个是香农引入的信息恩错屁。我也
不是专家，不过知道几个名词，就谈几句。等真正专家来谈。克劳修斯的物理系
统的熵，可以看成是这样的一个对于封闭系统的度量，就是这个系统释放能量的
能力的度量。在下面的网页中，可以看到一个韩国人编的程序，直观显示这个意
思。香农引入的信息熵，是度量一个信息源是否还能提供新的信息。从公式上
看，这两个度量的确很接近。大概这也是香农叫他的这个量为熵的原因。从网页
上可以看到香农的原著，大家都看看。鄂人转的那篇文章中，

http://www.rainbowplan.org/webjb/edu/messages/61875.shtml

谈到了中国文字的信息熵等。这些工作都是非常有意义的基础工作。如果有这样
的一门课，叫做中文信息处理，就应该把这些基础研究结果编进去。不过如何解
释这些基础工作，和应用到中文信息处理的工程实践，就是另一回事情。那篇文
章中，我看错误很多，也有不少误导，比如中文的信息传输比拼音文字困难等。
至于微软，我看也用不着过分骂他们。微软就是一经济动物，他们申明的东西，
尤其是跟学术有些关系的，先打七分折扣大概不错。虽然微软花了很多钱搞了不
少很好的人，比如肥儿子奖主等等，但是我并不希望他们会搞出如贝尔实验室的
那些结果。这里提醒一下，香农就是贝尔实验室的。

关于熵的主页: http://www.math.psu.edu/gunesch/entropy.html


【虹桥科教论坛网友文库(www.rainbowplan.org/cgi-bin/edu/mainpage.pl)】