\nKhi nghe đến "parser", nhiều lập trình viên sẽ nghĩ ngay đến HTML, XML, JSON hay Markdown. Đây đều là những định dạng có cú pháp (grammar) được định nghĩa rất rõ ràng. Chỉ cần đọc tài liệu đặc tả là có thể xây dựng parser. Thế nhưng, Quizzman Fanqie Engine lại phải giải quyết một bài toán hoàn toàn khác: làm thế nào để máy tính hiểu được Khang Hy Tự Điển (康熙字典) – một bộ từ điển được biên soạn từ đầu thế kỷ XVIII bằng văn ngôn Hán cổ, không có grammar chính thức, không có tài liệu kỹ thuật và chứa vô số cách ghi chú ngữ âm khác nhau. Đây cũng là một trong những phần nghiên cứu tốn nhiều thời gian nhất trong quá trình phát triển Fanqie Engine.
Nếu cần xây dựng một HTML Parser, công việc tương đối rõ ràng.
\nHTML có:
\nVí dụ:
\n<div class="card">\n <h1>Hello</h1>\n</div>Parser biết rất rõ:
\nToàn bộ grammar đều được công bố công khai.
\nNhiệm vụ của lập trình viên chỉ là hiện thực lại grammar đó.
\nKhang Hy Tự Điển hoàn toàn khác.
\nKhông có bất kỳ tài liệu nào nói rằng:
\n\nNếu gặp chuỗi này thì hãy hiểu như thế này.
Không có BNF.
\nKhông có EBNF.
\nKhông có RFC.
\nKhông có chuẩn Unicode dành riêng cho phản thiết.
\nMỗi mục từ là kết quả của cách biên soạn học thuật cách đây hơn ba trăm năm.
\nMuốn parser được, trước hết phải trả lời một câu hỏi khó hơn nhiều:
\n\nNgười xưa đã viết theo những quy luật nào?
Một sai lầm rất dễ mắc phải là:
\nMở Khang Hy ra.
\nViết Regex.
\nVí dụ.
\n(.)(.)切Tưởng như vậy là đủ.
\nThực tế chỉ sau vài trăm mục từ đầu tiên, parser sẽ bắt đầu thất bại.
\nBởi vì dữ liệu không hề thống nhất.
\nVí dụ.
\nAB切AB切某聲AB切又音AB切讀若……讀若……叶某韻俗音……又作……古作……Nếu coi tất cả đều là phản thiết.
\nToàn bộ dữ liệu sẽ bị phân tích sai.
\nThay vì viết parser ngay.
\nQuizzman thực hiện một công việc giống nghiên cứu ngôn ngữ học hơn.
\nĐó là khảo sát hàng chục nghìn mục từ để tìm xem:
\nCó thể hình dung quy trình như sau.
\nKhang Hy\n\n↓\n\nQuan sát\n\n↓\n\nThống kê\n\n↓\n\nPattern\n\n↓\n\nGrammar\n\n↓\n\nParserParser chỉ xuất hiện ở bước cuối cùng.
\nMột mục trong Khang Hy thường không chỉ có một phản thiết.
\nNó còn trích dẫn rất nhiều vận thư.
\nVí dụ.
\n廣韻\n\n↓\n\n...\n\n集韻\n\n↓\n\n...\n\n唐韻\n\n↓\n\n...Đối với con người.
\nĐây chỉ là phần chú thích.
\nĐối với Quizzman.
\nĐây là metadata cực kỳ quan trọng.
\nParser phải biết:
\nNếu không nhận diện đúng nguồn.
\nCandidate Ranking sẽ mất toàn bộ cơ sở để đánh giá.
\nĐiểm khó tiếp theo nằm ở chính phản thiết.
\nNhiều người nghĩ chỉ cần gặp chữ:
\n切là có thể lấy hai chữ phía trước.
\nNhưng thực tế.
\nSau khi khảo sát Khang Hy, Quizzman phát hiện rất nhiều pattern khác nhau.
\nVí dụ.
\nAB切Đây là phản thiết chuẩn.
\nNhưng còn có:
\nAB切某聲AB切又音AB切音某AB切讀若……Mặc dù đều chứa chữ "切".
\nÝ nghĩa của chúng hoàn toàn khác nhau.
\nĐây là một trong những phát hiện quan trọng nhất khi xây dựng parser.
\nThoạt nhìn.
\nAB切某聲giống như:
\nAB切kèm thêm vài chữ giải thích.
\nNhưng sau khi khảo sát nhiều mục từ.
\nQuizzman nhận thấy điều đó không đúng.
\nTrong rất nhiều trường hợp.
\nPhần:
\n某聲không phải chú thích.
\nNó thay đổi chính hồ sơ ngữ âm.
\nNói cách khác.
\nParser phải hiểu rằng:
\nNếu parser bỏ qua chi tiết này.
\nMiddle Chinese Reconstruction sẽ sai ngay từ đầu.
\nMột nhóm khác cũng dễ gây nhầm lẫn là:
\n讀若……Nếu dịch sát.
\nĐây chỉ là:
\n\nđọc giống như...
Nó không mô tả đầy đủ:
\nDo đó.
\nĐây không phải dữ liệu thích hợp để phục dựng Middle Chinese.
\nParser phải nhận diện:
\n讀若\n\n↓\n\nPhonetic Hintchứ không phải:
\n讀若\n\n↓\n\nFanqieMột trường hợp khác là:
\n叶韻hay:
\n協韻Những ghi chú này xuất hiện chủ yếu trong thơ ca.
\nChúng mô tả:
\nNếu parser coi đây là phát âm chuẩn.
\nEngine sẽ đưa rất nhiều dữ liệu sai vào hệ thống.
\nDo đó.
\nQuizzman phân loại riêng:
\n叶韻\n\n↓\n\nRhyme Annotationkhông đi vào pipeline suy diễn Hán Việt.
\nSau nhiều lần điều chỉnh.
\nQuizzman không còn coi parser là một bộ Regex.
\nThay vào đó.
\nParser hoạt động giống một bộ phân loại ngữ pháp.
\nVí dụ.
\n| Pattern | Loại |
|---|---|
| AB切 | Fanqie |
| AB切某聲 | Fanqie + Tone Override |
| 讀若 | Phonetic Hint |
| 叶韻 | Rhyme Annotation |
| 又音 | Alternate Reading |
| 古音 | Historical Reading |
| 俗音 | Colloquial Reading |
Chỉ sau khi xác định đúng loại.
\nEngine mới quyết định cách xử lý.
\nĐiểm đặc biệt của Quizzman là:
\nNhóm phát triển không có grammar chính thức để tham khảo.
\nGrammar được xây dựng theo chiều ngược lại.
\nHàng chục nghìn mục từ\n\n↓\n\nQuan sát\n\n↓\n\nThống kê\n\n↓\n\nTìm quy luật\n\n↓\n\nMô hình hóa\n\n↓\n\nGrammar\n\n↓\n\nParserTrong khoa học máy tính.
\nQuá trình này thường được gọi là Reverse Engineering.
\nKhông phải hiện thực hóa một đặc tả đã có.
\nMà là khôi phục lại đặc tả từ chính dữ liệu.
\nRất nhiều người cho rằng phần khó nhất của Quizzman Fanqie Engine là thuật toán suy diễn Hán Việt.
\nThực tế, mọi thuật toán phía sau đều bắt đầu từ parser.
\nNếu parser hiểu sai một mục từ trong Khang Hy:
\nVì vậy, parser không đơn thuần là bước "đọc dữ liệu", mà là nền móng của toàn bộ hệ thống.
\nĐiều khiến Quizzman Fanqie Engine khác biệt không chỉ là khả năng xử lý phản thiết, mà còn là quá trình reverse engineering cách biên soạn của Khang Hy Tự Điển để biến những ghi chép học thuật hơn ba thế kỷ trước thành một hệ thống dữ liệu có cấu trúc, đủ chính xác để máy tính có thể tiếp tục suy luận và giải thích bằng các thuật toán âm vận học.
→ Series 2 · Bài 11: Vì sao Quizzman không dùng AI để tự học quy luật âm vận?
","tags":["Chữ Hán","Lập trình","Ngôn ngữ","Phiên thiết","Thuật toán"],"author":"System Legacy","publishedAt":"2026-07-15T09:02:17.560Z","updatedAt":"2026-07-17T02:28:40.088Z","published_at":"2026-07-15T09:02:17.560Z","updated_at":"2026-07-17T02:28:40.088Z","view_count":7,"canonical":"https://wiki.quizzman.com/wiki/vi-sao-parser-khang-hy-kho-hon-parser-html-reverse-engineering","url":"https://wiki.quizzman.com/wiki/vi-sao-parser-khang-hy-kho-hon-parser-html-reverse-engineering","markdownUrl":"https://wiki.quizzman.com/api/articles/vi-sao-parser-khang-hy-kho-hon-parser-html-reverse-engineering.md","apiUrl":"https://wiki.quizzman.com/api/articles/vi-sao-parser-khang-hy-kho-hon-parser-html-reverse-engineering"}