1. 热力学中的 Entropy
Entropy（熵）一词由 Rudolf Clausius 于 1865 年提出，源自希腊文：
ἐν（en）：内部、其中
- τροπή（tropē）：变化、转变
在热力学中，
熵（Entropy，S）用来描述：
系统的无序程度（Disorder）或可能状态的数量。
热力学第二定律指出：
孤立系统的熵只会随时间增加。
例如：
- 冰块放入温水后会融化，熵增加。
- 水不会自行重新结冰，熵不会自发降低。
Boltzmann 著名公式（亦刻于其墓碑）：
S = k_B × ln(Ω)
HX = −Σ px × log₂ px
D_KL(P || Q)
=
Σ Px log(P(x)/Q(x))
用来衡量：
两个机率分布之间的差异。
6. Entropy 的四种主要意义
Entropy 在不同领域具有不同的含义：
- 热力学
衡量系统的无序程度。
在孤立系统中，熵依热力学第二定律持续增加。
- 资讯理论（Shannon）
衡量资讯量与不确定性，
表示讯息平均需要多少位元才能表示。
- 密码学
衡量乱数品质，
用于评估金钥、密码、Seed 与 CSPRNG 的安全性。
- 机器学习
Cross-Entropy 用于衡量模型预测与真实标签之间的差异，
是现代分类模型最重要的损失函数之一。