信息是什么？——从香农到蓝牙

一句话读懂信息论以及它在蓝牙、Wi-Fi、USB 中的样子你有没有想过为什么你每天刷的抖音、听的网易云、扫的 NFC 门禁背后的本质都是同一件事——信息的传递而信息论的开创者克劳德·香农早在 1948 年就用一个简单的公式揭示了信息的本质。一、信息 消除不确定性在日常生活中“信息”这个词很模糊。但在信息论里它有一个精确的定义信息是用于消除不确定性的东西。信息量的大小等于被消除掉的不确定性的多少。举个例子有人告诉你“太阳明天还会从东边升起”——你早就知道这句话的信息量为0。有人告诉你“明天市区要下陨石雨”——这件事概率极低它极大地改变了你的认知所以信息量巨大。信息论不关心内容重不重要只关心这件事有多“出乎意料”。香农用一个公式来量化一个事件的信息量I(x) -log₂(P(x))其中 P(x) 是事件发生的概率。概率越低信息量越大必然事件的信息量为 0。比如抛一枚均匀的硬币正面概率 1/2信息量就是-log₂(1/2) 1 比特。恰好用一个二进制位0/1就能表示。二、熵信源的平均信息量单次事件的信息量叫“自信息量”但我们更关心的是这个信源比如一个人说话、一个传感器平均每次发出多少信息这就是熵它是自信息量的数学期望H(X) Σ P(x_i) × I(x_i) - Σ P(x_i) log₂ P(x_i)熵是无损压缩的理论极限。无论你用 ZIP、哈夫曼编码还是任何压缩算法平均每个符号需要的比特数都不可能低于熵。信源编码如 MP3、JPEG的工作就是拼命逼近这个极限。三、冗余的两张面孔信源冗余 vs 信道冗余有意思的是通信系统中的“冗余”有两个完全相反的来源我们对它们的态度也截然不同。1. 信源冗余我们想去除的真实信源不是完美的随机数发生器它们内部有统计上的不均匀性。英文里字母 E 出现的频率远高于 Z。中文里“们”出现在“我”或“同学”后面的概率极高。这种“可预测性”就是冗余。信源编码ZIP、MP3的目标就是去除这部分冗余提高效率。2. 信道冗余我们主动添加的为了对抗传输过程中的噪声我们需要主动添加冗余——这就是信道冗余。比如蓝牙里用的 1/3 率 FEC前向纠错就是把 1 变成 111。即使噪声把 111 变成了 011接收端根据“多数投票”仍然能推断出原始信息是 1。信道编码的目标就是恰到好处地增加冗余以对抗噪声提升可靠性。3. 一个经典权衡信源编码和信道编码对冗余的态度正好相反信源编码剔除自然冗余 → 换取效率信道编码添加受控冗余 → 换取可靠性一个优秀的通信系统本质上就是在效率和可靠性之间寻找最佳的平衡点。四、从理论到协议蓝牙、Wi-Fi、USB 中的信息论我们来看几个你天天打交道的协议它们是如何应用这些理论的。蓝牙跳频 FEC 压缩物理信道跳频扩频FHSS每秒跳 1600 次像兔子一样躲避干扰。信源编码蓝牙音频会把声音分解成不同频带根据每个频带的信息量动态分配比特数——和“根据概率分配码长”如出一辙。信道编码1/3 率 FEC 用 2/3 的速率开销换来纠错能力蓝牙 5.0 的 Coded PHY 把速率从 1Mbps 降到 125kbps传输距离却能增加 2-4 倍。协议效率一个典型 BLE 数据包用户有效数据占比约94.7%剩下的是必要的“管理费”。NFC依赖信道简化编码物理信道电感耦合距离仅几厘米信道本身就很可靠。信源编码数据量小URL、支付指令重点是标准化NDEF 格式不是压缩。信道编码只用简单的 CRC 检错错了就失败不修复。协议效率约 85% 左右用物理层的可靠性换取了协议层的极简。Wi‑Fi逼近香农极限物理信道OFDM MIMO从 20MHz 绑到 320MHz用多天线并行传输。信源编码自适应调制编码AMC——信号好时用 1024-QAM每个符号 10 比特信号差时换 BPSK每个符号 1 比特。信道编码LDPC、卷积码、ARQ 重传层层保障。协议效率IPv4 over Wi-Fi 约96.1%只有不到 4% 的开销。USB有线高速的可靠性物理信道差分信号抗干扰。用 NRZI 编码 位填充保证时钟同步。信源编码通过端点-管道模型区分控制、批量、中断、同步四种传输类型。信道编码CRC 校验、DATA0/DATA1 交替发送简化版 ARQ。协议效率全速 USB 批量传输约83%并为实时传输预留高达 90% 的带宽。CAN面向数据的优先级编码物理信道差分双绞线显性0和隐性1具有“线与”特性。信源编码没有地址报文 ID 代表内容本身比如“发动机转速”ID 数值越小优先级越高。信道编码非破坏性位仲裁——多个节点同时发时逐位比较 ID谁发隐性位却听到显性位谁就退出。高优先级报文零延迟。协议效率约50-55%。用一半带宽换取了强实时性和确定性。五、一张表看懂各协议的信息论特征协议核心目标物理层特点信源编码信道编码效率蓝牙短距无线音频/数据跳频 (FHSS)音频压缩FEC、ARQ94.7%NFC极近场交互/支付电感耦合NDEF 封装CRC 检错54-85%Zigbee物联网传感/控制DSSS 扩频极简封装CSMA-CA、ARQ51-76%Wi-Fi高吞吐量、多用户OFDM、MIMOAMC 自适应LDPC、ARQ94-97%USB有线外设连接差分信号端点-管道CRC、数据切换66-83%CAN车载实时控制差分双绞线面向数据 ID 编码位仲裁、CRC50-55%六、几点核心结论通信系统的本质是效率与可靠性的权衡MIPI 追求效率极致99.4%CAN 用 50% 开销换取确定性Wi-Fi 在两者间用复杂技术逼近香农极限。冗余具有双重性在不同层次发挥作用物理层冗余位填充、扩频保证同步链路层冗余CRC、ARQ保证可靠传输网络层冗余Mesh 泛洪保证连通性。“根据概率分配资源”是贯穿始终的思想蓝牙音频根据频率重要性分配比特数CAN 根据 ID 分配优先级Wi-Fi 根据信道质量自适应调制——都是信源编码核心思想的推广。香农信息论的三大概念——信源编码、信道容量、信道编码——在现代协议中得到了完美实践每种协议都在去除自然冗余提高效率添加受控冗余保证可靠性通过各种技术逼近或利用信道容量。七、写在最后我们从香农的公式出发理解了信息量、熵、冗余的双重角色然后看到了蓝牙、NFC、Wi-Fi、USB、CAN 是如何在不同约束下应用这些理论的。理论是通用的落地是具体的原理是简单的工程是复杂的。下次你拿起手机“碰一碰”支付或者听着蓝牙耳机跑步时也许会想起这一切的背后都是香农那个简单的对数公式以及无数工程师在效率与可靠性之间做出的权衡。书稿《权衡之境》已完稿正在出版流程中。订阅专栏评论区留下您的邮箱第一时间获取新书信息和更多技术哲学文章。——高翔嵌入式系统工程师《权衡之境》作者