香农对比：三种编码实验复盘
香农对比若只罗列算法名称，很难判断理论优势能否转化为实际收益。本文复盘一个包含100万条符号的可重复压缩实验，通过问答还原数据分布、熵下界、固定长度编码、霍夫曼编码和算术编码的完整比较，并分析文件大小、速度与额外开销之间的取舍。
问题一：案例如何设置，为什么能公平对比？
实验生成100万个独立符号，共8类，概率依次为0.40、0.20、0.12、0.10、0.07、0.05、0.04和0.02。固定随机种子后，分别采用3比特固定长度、静态霍夫曼和静态算术编码，三种方案读取完全相同的数据。
为避免把实现差异误判为理论差异，所有程序在同一台机器单线程运行，预热后执行10次，记录中位数。文件大小同时报告纯载荷与元数据；运行时间包括编码，不包括数据生成和磁盘写入。这是本次香农对比的统一口径。
问题二：理论下界与实测结果相差多少？
按预设分布计算，单符号香农熵约为2.48比特，因此100万个符号的理想信息量约为310KB。固定长度方案始终使用3比特，纯载荷约375KB，比熵下界高约21%。其优势是定位简单，不需要保存码表。
霍夫曼平均码长约2.52比特，载荷约315KB；算术编码约2.49比特，载荷约311KB。算术编码更接近熵下界，但优势只有约4KB。加入频率表、结束标记和格式头后，短文件中的相对收益还会进一步缩小。
问题三：文件最小的方案就是最佳方案吗？
不是。该实验中，固定长度、霍夫曼和算术编码的编码耗时中位数分别为9毫秒、33毫秒和67毫秒。固定长度体积最大但速度快、可随机访问；霍夫曼在大小和复杂度之间较均衡；算术编码体积最小，却更依赖精度控制与流式状态。
若数据需要高频解码或单条随机读取，节省约17%的空间未必值得增加复杂度。若是大规模冷归档，算术编码的累计收益更有价值。算法优劣必须结合数据规模、访问方式、算力预算和兼容性判断。
问题四：这次复盘暴露了哪些误判？
第一次测试曾遗漏码表大小，使霍夫曼结果显得过于理想；第二次又只测纯Python实现，把语言开销误当成算法开销。修正后，理论码长与工程性能被分开报告，结论才具备可比性。
最终结论是：熵提供下界，不直接指定最佳实现；霍夫曼适合符号概率差异明显且追求简单解码的场景，算术编码适合重视压缩率的连续数据流，固定长度则胜在稳定和易访问。复盘价值在于解释差异来源，而非宣布单一赢家。
常见问题
为什么霍夫曼编码不能总达到香农熵？
单符号码长必须是整数比特，而理想信息量-log₂p通常不是整数。对符号分组或改用算术编码，可以进一步接近熵下界。
算术编码一定比霍夫曼压缩率高吗？
在概率模型准确、数据足够长时通常更接近理论下界；但模型头、终止信息和实现精度可能抵消优势，短数据尤其明显。
复现实验时最容易漏掉什么？
常见遗漏包括码表或频率表、尾部填充、文件头、随机种子、磁盘时间和解码校验。应固定口径，并确认解码结果与原数据完全一致。