1. 熱力學中的 Entropy
Entropy（熵）一詞由 Rudolf Clausius 於 1865 年提出，源自希臘文：
ἐν（en）：內部、其中
- τροπή（tropē）：變化、轉變
在熱力學中，
熵（Entropy，S）用來描述：
系統的無序程度（Disorder）或可能狀態的數量。
熱力學第二定律指出：
孤立系統的熵只會隨時間增加。
例如：
- 冰塊放入溫水後會融化，熵增加。
- 水不會自行重新結冰，熵不會自發降低。
Boltzmann 著名公式（亦刻於其墓碑）：
S = k_B × ln(Ω)
HX = −Σ px × log₂ px
D_KL(P || Q)
=
Σ Px log(P(x)/Q(x))
用來衡量：
兩個機率分布之間的差異。
6. Entropy 的四種主要意義
Entropy 在不同領域具有不同的含義：
- 熱力學
衡量系統的無序程度。
在孤立系統中，熵依熱力學第二定律持續增加。
- 資訊理論（Shannon）
衡量資訊量與不確定性，
表示訊息平均需要多少位元才能表示。
- 密碼學
衡量亂數品質，
用於評估金鑰、密碼、Seed 與 CSPRNG 的安全性。
- 機器學習
Cross-Entropy 用於衡量模型預測與真實標籤之間的差異，
是現代分類模型最重要的損失函數之一。