熵

熵（Entropy，符号 S） 核心是系统混乱度、无序性、不确定性的度量，跨物理、信息、社会多领域 。

一、热力学熵（物理）

• 提出：1865年克劳修斯，热力学第二定律核心。
• 宏观定义：可逆过程熵变  ΔS = Q(热量) / T(温度)  。
• 微观本质（玻尔兹曼）： S = k·lnΩ 
• Ω：微观状态数（粒子排列组合数）
• k：玻尔兹曼常数
• 含义：混乱度越高，熵越大 。
• 熵增原理（第二定律）
• 孤立系统（无物质/能量交换）：ΔS ≥ 0
• 自发过程：有序 → 无序，熵只增不减
• 例：冰融化、热传导、房间变乱、墨水分散。

二、信息熵（香农熵）

• 提出：1948年香农，度量信息不确定性。
• 公式： H = -Σ pᵢ·log₂pᵢ （单位：比特 bit）
• 含义
• 概率越均匀（越随机），熵越高
• 例：公平硬币（50%/50%）熵=1bit；确定事件熵=0。

三、通俗理解

• 低熵：有序、集中、确定、可用能量高（冰、整齐书架、已知答案）
• 高熵：混乱、分散、不确定、可用能量低（水蒸气、乱书、随机噪声）
• 宇宙宿命：总熵不断增加，最终达热寂（处处均匀、无能量差）。

四、关键要点

• 熵 ≠ 能量：总能量守恒，但可用能量随熵增而减少 。
• 局部可熵减：生命、冰箱、打扫房间（开放系统），但外界总熵增更大。
• 时间箭头：熵增方向定义时间单向性（破镜难圆） 。