本节书摘来华章计算机《伟大的计算原理》一书中的第3章 ，［美］彼得 J. 丹宁（Peter J. Denning）

克雷格 H. 马特尔（Craig H. Martell）著 罗英伟　高良才　张　伟　熊瑞勤　译 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

总结

自古以来，人类就开始编码信号，使其可以在不同的媒介中进行传输。在20世纪40年代，香农的信息论提出了四大准则：

• 每一个通信系统都可以被建模成一个噪声通道，其携带着被编码的信号，该信号表达着消息源中的消息。
• 消息源的熵决定了消息源最短的可解析编码的长度，哈夫曼编码是和熵一致的一种编码（信息熵小于一个比特）。
• 充分冗余的比特位能够添加到任意编码中，以此来克服信道中的噪声，并且能同时保证百分之百准确的接收。
• 利用更短的编码替换模式，文件能够被压缩到更小的尺寸。

这些原则使得通信和计算机工程师能够设计数字系统，这些系统在传输过程中不会丢失信息，并且噪声引入的错误也可以被消除。

一些不理解香农理论的企业家认为“比特而非原子”的理论能够预示一个激增的新兴经济体，但他们的梦想是不会实现的，因为真正的通信和计算系统的基础来源于将数据记录表示成物理信号和状态，而计算和传输需要消耗时间和能量。我们在计算上花费了很多能量：互联网的连接点和数据中心消耗了世界近6%的电力。我们不能寄希望于假定能通过比特而不是原子来解决棘手问题就忽略了这个问题：比特背后的原子也是很重要的。正如摩尔定律所预示，我们存储信息的能力成指数增加，我们阐明信息含义的压力也在不断地增加，而香农信息论的定义无法解决这个问题。这看似是个悖论：系统如何在不考虑信息含义的情况下处理信息，同时还能在用户的体验中产生含义。含义保留的变换融合了机器的无意义机制和能让机器产生含义的人类经验。程序设计师编制指令，从而能在用户群体产生预期含义的输出；每一条指令的执行，逐步将部分计算结果接近预期的输出。让我们为程序设计师这个角色鼓掌，是他们给了我们有意义的软件和硬件。