Thuật ngữ 'entropy' (Ἐντροπία) được Rudolf Clausius đặt năm 1865, từ tiếng Hy Lạp ἐν (en = trong) + τροπή (tropē = biến đổi). Trong nhiệt động học:
\nEntropy (S) = Đo lường mức độ hỗn loạn (disorder) của hệ thống
\nĐịnh luật Nhiệt động II: Entropy của hệ cô lập luôn tăng theo thời gian. Đá tan trong nước ấm — entropy tăng. Không bao giờ tự đóng băng lại — entropy không tự giảm.
\nCông thức Boltzmann (khắc trên bia mộ ông):
\nS = k_B × ln(Ω)\n\nTrong đó:\n S = Entropy\n k_B = Hằng số Boltzmann (1.380649 × 10⁻²³ J/K)\n Ω = Số vi trạng thái (microstates) khả dĩ\n ln = Logarithm tự nhiênClaude Shannon (1948) 'A Mathematical Theory of Communication' — Shannon mượn thuật ngữ entropy từ vật lý để đo lường lượng thông tin (information content) trong một thông điệp.
\nShannon Entropy: H(X) = −Σ p(x) × log₂ p(x)
\nĐơn vị: bit (khi dùng log₂) hoặc nat (khi dùng ln).
\nimport math\n\ndef shannon_entropy(probabilities):\n """Tính Shannon entropy (bits)"""\n return -sum(p * math.log2(p) for p in probabilities if p > 0)\n\n# Đồng xu công bằng: H = 1 bit\nfair_coin = [0.5, 0.5]\nprint(f"Đồng xu công bằng: {shannon_entropy(fair_coin):.2f} bits") # 1.00\n\n# Đồng xu gian lận (90% head): H < 1 bit\nbiased = [0.9, 0.1]\nprint(f"Đồng xu gian lận: {shannon_entropy(biased):.2f} bits") # 0.47\n\n# Xúc xắc 6 mặt: H = log₂(6) ≈ 2.585 bits\ndice = [1/6] * 6\nprint(f"Xúc xắc 6 mặt: {shannon_entropy(dice):.2f} bits") # 2.58\n\n# 1 byte ngẫu nhiên: H = 8 bits (maximum)\nuniform_byte = [1/256] * 256\nprint(f"Byte ngẫu nhiên: {shannon_entropy(uniform_byte):.2f} bits") # 8.00Trong mật mã, entropy là thước đo sức mạnh của randomness. CSPRNG cần thu thập đủ entropy từ các nguồn vật lý trước khi sinh số:
\nLinux kernel entropy pool:
\n# Kiểm tra entropy hiện tại trong Linux\ncat /proc/sys/kernel/random/entropy_avail\n# Output: 256 (bits available — nếu > 256 thì getrandom() không block)\n\n# Xem thông tin chi tiết\ncat /proc/sys/kernel/random/poolsize\n# Output: 256 (bits — từ Linux 5.18, fixed at 256)\n\n# Thêm entropy từ hardware RNG\nrngd -r /dev/hwrng # rng-tools daemonEntropy đo sức mạnh mật khẩu: số bits cần thiết để brute-force.
\ndef password_entropy(length, charset_size):\n """Tính entropy của mật khẩu"""\n import math\n return length * math.log2(charset_size)\n\n# Ví dụ:\nprint(f"8 chữ thường: {password_entropy(8, 26):.1f} bits") # 37.6\nprint(f"8 chữ hoa+thường: {password_entropy(8, 52):.1f} bits") # 45.6\nprint(f"8 mixed+digits: {password_entropy(8, 62):.1f} bits") # 47.6\nprint(f"8 tất cả ký tự: {password_entropy(8, 95):.1f} bits") # 52.6\nprint(f"12 mixed+digits: {password_entropy(12, 62):.1f} bits") # 71.5\nprint(f"4 từ tiếng Anh: {password_entropy(4, 7776):.1f} bits") # 51.7 (diceware)\nprint(f"6 từ tiếng Anh: {password_entropy(6, 7776):.1f} bits") # 77.5 (diceware)\n\n# Khuyến nghị: >= 80 bits cho người dùng, >= 128 bits cho system keyShannon entropy có các ứng dụng quan trọng:
\n