一张高清电视分辨率的照片，如果没有经过压缩，要占用600万个字节的计算机内存(6MB，1个字节是8个比特)。
可是如果这张照片照的是一面单色的墙的话，它所含的信息量就很小，只要用三个字节就可以描写整张照片(3个字节描写红绿蓝三种颜色的深浅)。
所以单色墙的照片的文件大小，可以从600万个字节压缩到3个字节，大大减少了占用计算机内存的空间和传输照片所需的时间。
但一般一张照片的信息量要比三个字节大很多，那么如何量化照片所含的信息量？照片的压缩最多能有多少倍？
香农是量化信息的第一人。
有趣的是，他量化信息的公式早就出现在了玻尔兹曼的墓碑上。
当然玻尔兹曼得到这个公式，不是为了研究信息，而是为了研究热力学中的混乱度(所以玻尔兹曼的公式和香农的公式差了一个负号)。
热力学的一个中心概念——温
...
