Information Theory Coding信息论与编码（英文版）梁建武电子教案 世界是一张全息图.docVIP

世界是一张全息图 Information in the Holographic Universe Jacob D. Bekenstein （美国国防部信息研究所研究员） ---------------------------------------------------------------------------------------------------------- Theoretical results about black holes suggest that the universe could be like a gigantic hologram 。 我们这个看似3维的时空，可能被“画”在一个遥远的巨大表面上 如果你问别人物理世界是由什么构成的，他很可能告诉你是“物质和能量”。但只要我们学过一点工程、生物和物理的话，就知道信息同样是一个不可或缺的组成部分。只给汽车厂的机器人金属和塑料，它们不可能做出任何有用的东西，只有给它们下达如何焊接的指令它们才能组装出汽车。我们身体细胞中的核糖体拥有阿米诺酸组建模块和ATP合成为ADP过程中释放的能量，但如果没有细胞核中DNA所携带的信息，同样无法合成任何蛋白质。类似地，一个世纪以来物理学的进展告诉我们，信息在物理系统和物理过程中起着关键的作用。实际上，我们的研究发现物理世界很可能是由信息构成的，信息才是最重要的，物质和能量不过是附属物而已。 这种观点引发了对许多古老问题的重新审视。硬盘之类存储设备的信息存储容量获得了飞速发展。这样的进展什么时候会终止？一个重量小于1克，体积小于1立方厘米（这大约是计算机芯片的尺寸）的设备的终极信息存储容量是多少？描述整个宇宙需要多少信息？这种描述能被装入计算机的内存中吗？我们真的能象William Blake说的那样“透过一粒沙看世界”吗？抑或这种说法只不过是诗人的狂想？ 值得注意的是，近期理论物理学的进展解答了上面的部分问题，而这些回答很有可能是找到客观的最终理论的重要线索。通过研究黑洞的那些神秘特性，物理学家已经推导出了某一部分空间或一定量的物质和能量所能包含信息量的绝对限度。相关的研究结果表明，我们的宇宙也许并不是一个我们所认为的那种三维空间，它很有可能是某种“写”在二维表面上的全息图形。我们对日常世界的三维认知要么是一种玄奥的幻觉，要么就是观照现实的两种方式之一而已。一粒沙也许不能包含整个宇宙，但是一个平板显示器却有可能做到。 两种熵正统信息论的创始人是美国应用数学家香农。他于1948年发表了一系列开创性的论文，所引入的熵这一概念如今被广泛用于信息的度量。长久以来，熵就是热力学（研究热的一个物理学分支）的中心概念。热力学中的熵通常被用于表征一个物理系统的无序程度。1877年，奥地利物理学家玻尔兹曼提出了一种更为精确的描述：一团物质在保持宏观特性不变的情况下，其中所包含的粒子所有可能具有的不同微观状态数就是熵。例如，对于包围你的室内空气而言，就可以计算单个空气分子所有可能的分布方式及其所有可能的运动方式。 当香农设法量化一条消息中的信息时，他自然而然地得出了一条和玻尔兹曼一样的公式。一条消息的香农熵就是编码这条消息所需二进制位即比特的个数。香农熵并不能告诉我们一条消息的价值，因为后者主要取决于上下文。然而作为对信息量的一种客观度量，香农熵还是在科学技术中获得了广泛的应用。例如，任一现代通信设施――蜂窝电话、调制解调器、CD播放器等等――的设计都离不开香农熵。 从概念上来说，热力学熵和香农熵是等价的：玻尔兹曼熵所代表的不同组成方式的数目反映了为实现某种特定组成方式所必须知道的香农信息量。但这两种熵还是存在着某些细微的差别。首先，一名化学家或制冷工程师所使用的热力学熵的表示单位是能量除以温度，而通信工程师所使用的香农熵则表示为比特数，后者在本质上是无单位的。这一差别完全属于习惯问题。 即使采用同样的表示单位，两种熵值的量级还存在着巨大的差异。例如，带有1G数据的硅片的香农熵约为10*10个比特（1个字节等于8个比特），这比该芯片的热力学熵可小多了，后者在室温下的取值约为10*23比特。这种差异来源于两种熵在计算时所考虑的不同自由度。自由度指的是某一可变化的量，例如表示一个粒子位置或速度分量的座标。上述芯片的香农熵关心的只是蚀刻在硅晶上所有晶体管的状态。晶体管到底是开还是关；它要么为0，要么为1，是单一的二进制自由度。热力学熵则不同，它取决于每一个晶体管所包含的数十亿计的原子（以及围绕它们的电子）的状态。随着小型化工艺的发展，不久的将来我们就能用一个原子来存储一比特的信息，到那时，微芯片的香农熵将在量级上迫近其材料的热力学熵。当用同样的自由度计算这两种熵时，它们将是完全相同的。 那么自由度是否存在极