香农避坑：公式边界与底层逻辑
香农避坑不能停留在核对计算步骤，还要理解理论成立所依赖的概率模型、编码方式与信道假设。本文逐项对比离散熵和微分熵、无损与有损压缩、理论容量与实际吞吐量，以及随机性与安全性，解释相似概念为何不能相互替代，并给出判断边界。
离散熵对比微分熵：形式相似，性质不同
离散香农熵对概率质量求和，结果不小于零，并且不受类别名称影响；微分熵对概率密度积分，可能为负，还会随坐标尺度改变。把连续测量值直接按离散类别统计，结果会随着小数位数增加而膨胀。
需要处理连续变量时，可根据目标选择分箱熵、微分熵或互信息。若采用分箱，必须报告区间边界和宽度；若比较变量关系，互信息通常比单独比较微分熵更稳定，因为坐标变换带来的部分影响会抵消。
无损对比有损压缩：下界不是同一条
无损编码要求完整恢复原始符号，其平均码长受到熵率约束；有损压缩允许一定失真，对应的是率失真函数。用单字符熵判断图片、音频能压缩到多小，会忽略空间相关性、感知模型和允许误差。
香农避坑的重点是先明确恢复要求。文本归档和财务数据通常偏向无损，照片预览与语音传输可接受受控失真。两者的码率不能脱离质量指标比较：文件更小可能来自更强失真，而非编码算法更接近理论极限。
信道容量对比实际吞吐：上限不等于承诺值
信道容量是在给定统计模型下，实现任意低误码率的理论最高速率；实际吞吐量则受有限码长、时延、协议开销、干扰变化和硬件能力限制。容量定理说明存在合适编码，并不保证任意编码都能达到上限。
使用AWGN容量公式时，带宽和信噪比必须来自同一测量口径，分贝要先转换为线性值。移动通信环境还可能存在衰落和多用户竞争，套用单一静态信道公式，只适合做理想化边界估算。
统计熵对比密码安全：均匀不等于安全
一段输出的字节分布接近均匀，最多说明一阶统计特征不明显，不能证明密钥不可预测。简单的重复伪随机序列也可能具有较高样本熵，却存在周期、状态恢复或密钥管理漏洞。
评估安全性应进一步检查最小熵、随机源模型、独立性、密码算法和实现环境。香农熵关注平均不确定性，攻击者往往利用最可能事件或侧信道信息。两者目标不同，不能用一次熵测试替代专业安全审计。
常见问题
微分熵为负说明数据有问题吗？
不说明数据有问题。微分熵依赖量纲和尺度，概率密度可以大于1，因此积分结果可能为负；应结合变量单位和目标解释。
数据压缩率接近香农熵就一定最好吗？
还要比较建模开销、码表大小、解码速度和有限样本误差。理论下界通常针对已知分布或渐近条件，短数据未必能接近。
信噪比20dB能直接代入容量公式吗？
不能。应先转换为线性比值10^(20/10)=100，再代入C=B log₂(1+S/N)，同时确认B使用赫兹。