{"slug":"unicode-cjk-lap-trinh-xu-ly-103000-ky-tu-han-nom","title":"Unicode CJK Cho Lập Trình Viên: Xử Lý 103,000+ Ký Tự Hán-Nôm","summary":"Hướng dẫn xử lý Unicode CJK cho lập trình viên: các block ký tự, surrogate pairs trong JavaScript, nhận dạng CJK, database collation, và chuyển đổi giản/phồn thể.","excerpt":"Hướng dẫn xử lý Unicode CJK cho lập trình viên: các block ký tự, surrogate pairs trong JavaScript, nhận dạng CJK, database collation, và chuyển đổi giản/phồn thể.","markdown":"# Unicode CJK Cho Lập Trình Viên\nChuyên mục: Lập trình × Ngôn ngữ\n\nXử lý ký tự CJK (Chinese-Japanese-Korean) trong lập trình đặt ra nhiều thách thức: từ encoding, surrogate pairs, đến normalization. Bài viết tổng hợp kiến thức cần thiết cho developer.\n\n## 1. CJK Trong Unicode: Các Block Chính\nUnicode phân bổ ký tự CJK vào nhiều block:\n\n// Block chính\nU+4E00–U+9FFF CJK Unified 20,992 chars\nU+3400–U+4DBF Extension A 6,592 chars\nU+20000–U+2A6DF Extension B 42,720 chars (surrogate pairs!)\nU+2A700–U+2B73F Extension C 4,149 chars\nU+2B740–U+2B81F Extension D 222 chars\nU+2B820–U+2CEAF Extension E 5,762 chars\nU+2CEB0–U+2EBEF Extension F 7,473 chars\nU+30000–U+3134F Extension G 4,939 chars\nU+31350–U+323AF Extension H 4,192 chars\n\n## 2. Surrogate Pairs — Bẫy Cho JavaScript/Java\nKý tự Extension B trở đi (U+20000+) nằm ngoài BMP (Basic Multilingual Plane), cần 2 UTF-16 code units:\n\nconst char = '𠀀'; // U+20000 Extension B\nconsole.log(char.length); // 2 (KHÔNG PHẢI 1!)\nconsole.log([...char].length); // 1 (spread operator xử lý đúng)\nconsole.log(char.codePointAt(0)); // 131072 = 0x20000\n\nLuôn dùng codePointAt() thay vì charCodeAt(), và [...str] thay vì str.split('') khi xử lý CJK.\n\n## 3. Nhận Dạng Ký Tự CJK\nfunction isCJK(codePoint) {\nreturn (\n(codePoint >= 0x4E00 && codePoint <= 0x9FFF) || // CJK Unified\n(codePoint >= 0x3400 && codePoint <= 0x4DBF) || // Ext A\n(codePoint >= 0x20000 && codePoint <= 0x2A6DF) || // Ext B\n(codePoint >= 0x2A700 && codePoint <= 0x2B73F) || // Ext C\n(codePoint >= 0x2B740 && codePoint <= 0x2B81F) || // Ext D\n(codePoint >= 0x2B820 && codePoint <= 0x2CEAF) || // Ext E\n(codePoint >= 0x2CEB0 && codePoint <= 0x2EBEF) || // Ext F\n(codePoint >= 0x30000 && codePoint <= 0x3134F) || // Ext G\n(codePoint >= 0x31350 && codePoint <= 0x323AF) || // Ext H\n(codePoint >= 0xF900 && codePoint <= 0xFAFF) // Compatibility\n);\n}\n\n## 4. CJK Trong Database: Collation & Indexing\nVấn đề thường gặp khi lưu CJK trong PostgreSQL/MySQL:\n\nCollation: Dùng 'und-x-icu' hoặc 'zh-x-icu' thay vì 'C' để sắp xếp đúng thứ tự Hán tự\nIndexing: pg_trgm hoạt động tốt cho CJK search trong PostgreSQL\nEncoding: Luôn dùng UTF-8, kiểm tra connection encoding\nFull-text search: CJK cần tokenizer đặc biệt (jieba, mecab, ICU)\n## 5. Giản Thể ↔ Phồn Thể Conversion\nChuyển đổi giản thể/phồn thể KHÔNG phải 1-1 mapping. Nhiều ký tự giản thể map đến nhiều ký tự phồn thể tùy context:\n\n// 发 (giản) có thể là:\n// 發 (phát - phát triển) hoặc 髮 (phát - tóc)\n// Cần context để phân biệt!\n// OpenCC library xử lý tốt vấn đề này\n","html":"

Chuyên mục: Lập trình × Ngôn ngữ

\n

Xử lý ký tự CJK (Chinese-Japanese-Korean) trong lập trình đặt ra nhiều thách thức: từ encoding, surrogate pairs, đến normalization. Bài viết tổng hợp kiến thức cần thiết cho developer.

\n

1. CJK Trong Unicode: Các Block Chính

\n

Unicode phân bổ ký tự CJK vào nhiều block:

\n
// Block chính\nU+4E00–U+9FFF    CJK Unified      20,992 chars\nU+3400–U+4DBF    Extension A        6,592 chars\nU+20000–U+2A6DF  Extension B       42,720 chars (surrogate pairs!)\nU+2A700–U+2B73F  Extension C        4,149 chars\nU+2B740–U+2B81F  Extension D          222 chars\nU+2B820–U+2CEAF  Extension E        5,762 chars\nU+2CEB0–U+2EBEF  Extension F        7,473 chars\nU+30000–U+3134F  Extension G        4,939 chars
\n

U+31350–U+323AF Extension H 4,192 chars

\n

2. Surrogate Pairs — Bẫy Cho JavaScript/Java

\n

Ký tự Extension B trở đi (U+20000+) nằm ngoài BMP (Basic Multilingual Plane), cần 2 UTF-16 code units:

\n
const char = '𠀀'; // U+20000 Extension B\nconsole.log(char.length);        // 2 (KHÔNG PHẢI 1!)\nconsole.log([...char].length);   // 1 (spread operator xử lý đúng)
\n

console.log(char.codePointAt(0)); // 131072 = 0x20000

\n

Luôn dùng codePointAt() thay vì charCodeAt(), và [...str] thay vì str.split('') khi xử lý CJK.

\n

3. Nhận Dạng Ký Tự CJK

\n
function isCJK(codePoint) {\n  return (\n    (codePoint >= 0x4E00 && codePoint <= 0x9FFF) ||   // CJK Unified\n    (codePoint >= 0x3400 && codePoint <= 0x4DBF) ||   // Ext A\n    (codePoint >= 0x20000 && codePoint <= 0x2A6DF) || // Ext B\n    (codePoint >= 0x2A700 && codePoint <= 0x2B73F) || // Ext C\n    (codePoint >= 0x2B740 && codePoint <= 0x2B81F) || // Ext D\n    (codePoint >= 0x2B820 && codePoint <= 0x2CEAF) || // Ext E\n    (codePoint >= 0x2CEB0 && codePoint <= 0x2EBEF) || // Ext F\n    (codePoint >= 0x30000 && codePoint <= 0x3134F) || // Ext G\n    (codePoint >= 0x31350 && codePoint <= 0x323AF) || // Ext H\n    (codePoint >= 0xF900 && codePoint <= 0xFAFF)      // Compatibility\n  );
\n

}

\n

4. CJK Trong Database: Collation & Indexing

\n

Vấn đề thường gặp khi lưu CJK trong PostgreSQL/MySQL:

\n\n

5. Giản Thể ↔ Phồn Thể Conversion

\n

Chuyển đổi giản thể/phồn thể KHÔNG phải 1-1 mapping. Nhiều ký tự giản thể map đến nhiều ký tự phồn thể tùy context:

\n
// 发 (giản) có thể là:\n// 發 (phát - phát triển) hoặc 髮 (phát - tóc)\n// Cần context để phân biệt!
\n

// OpenCC library xử lý tốt vấn đề này

","tags":["JCK Font","Lập trình","Ngôn ngữ"],"author":"System Legacy","publishedAt":"2026-04-04T07:37:28.917Z","updatedAt":"2026-07-17T02:34:51.886Z","published_at":"2026-04-04T07:37:28.917Z","updated_at":"2026-07-17T02:34:51.886Z","view_count":181,"canonical":"https://wiki.quizzman.com/wiki/unicode-cjk-lap-trinh-xu-ly-103000-ky-tu-han-nom","url":"https://wiki.quizzman.com/wiki/unicode-cjk-lap-trinh-xu-ly-103000-ky-tu-han-nom","markdownUrl":"https://wiki.quizzman.com/api/articles/unicode-cjk-lap-trinh-xu-ly-103000-ky-tu-han-nom.md","apiUrl":"https://wiki.quizzman.com/api/articles/unicode-cjk-lap-trinh-xu-ly-103000-ky-tu-han-nom"}