Candidate Ranking trong Quizzman Fanqie Engine: Khi một chữ Hán có hàng chục phản thiết

Series 2 · Nền tảng học thuật — Bài 8

• ← Bài 1: Quảng Vận → Nguyễn Tài Cẩn
• ← Bài 2: Phục dựng MC không phải đoán
• ← Bài 3: Vương Lực · Âm hệ
• ← Bài 4: Parser Khang Hy
• ← Bài 5: Không hardcode 50.000 chữ
• ← Bài 6: Hơn 200 quy luật
• ← Bài 7: Pure Projection & Lexical
• Chuyên mục: Phiên thiết

Một trong những thách thức lớn nhất của việc xây dựng Quizzman Fanqie Engine không nằm ở thuật toán suy diễn âm Hán Việt, mà nằm ở một câu hỏi tưởng chừng rất đơn giản: nên tin phản thiết nào? Trong các vận thư như Quảng Vận (廣韻), Tập Vận (集韻), Đường Vận (唐韻) hay Khang Hy Tự Điển (康熙字典), cùng một chữ Hán có thể xuất hiện với nhiều phản thiết khác nhau, nhiều lớp đọc khác nhau và nhiều ghi chú khác nhau. Nếu engine chọn ngẫu nhiên một phản thiết, kết quả sẽ không ổn định và khó kiểm chứng. Đó là lý do Quizzman Fanqie Engine xây dựng Candidate Ranking — một hệ thống đánh giá và xếp hạng các ứng viên trước khi đưa ra kết quả cuối cùng.

Một chữ Hán không chỉ có một phản thiết

Người mới học phản thiết thường có một suy nghĩ rất tự nhiên.

Một chữ Hán sẽ có:

一字

↓

一反切

Thực tế hoàn toàn khác.

Trong quá trình phát triển của tiếng Hán, nhiều bộ vận thư đã được biên soạn ở các thời kỳ khác nhau.

Ví dụ:

• 《切韻》
• 《唐韻》
• 《廣韻》
• 《集韻》
• 《韻會》
• 《康熙字典》

Mỗi bộ sách đều có thể ghi nhận cách đọc của cùng một chữ theo những nguồn tư liệu khác nhau.

Do đó, hoàn toàn bình thường khi một chữ Hán có nhiều phản thiết.

Ví dụ theo mô hình:

某字

↓

廣韻

↓

AB切

↓

集韻

↓

CD切

↓

唐韻

↓

EF切

Điều này không có nghĩa một trong các phản thiết là sai.

Chúng chỉ phản ánh những lớp tư liệu khác nhau.

Tại sao lại xuất hiện nhiều phản thiết?

Có nhiều nguyên nhân dẫn đến hiện tượng này.

1. Các vận thư được biên soạn ở những thời kỳ khác nhau

Âm đọc của tiếng Hán luôn thay đổi.

Một phản thiết được ghi trong thời Đường có thể không còn giống phản thiết được ghi vào thời Tống hoặc thời Thanh.

Do đó, nhiều vận thư cùng tồn tại nhiều cách ghi cho một chữ.

2. Nhiều nguồn tư liệu được kế thừa

Các bộ từ điển lớn như Khang Hy Tự Điển không tự xây dựng toàn bộ dữ liệu.

Chúng tổng hợp từ nhiều nguồn trước đó.

Một mục từ có thể đồng thời ghi:

• Quảng Vận
• Tập Vận
• Đường Vận
• Chính Vận
• Ngọc Thiên

Điều này làm số lượng phản thiết tăng lên đáng kể.

3. Một chữ có nhiều lớp đọc

Có những chữ:

• nhiều nghĩa;
• nhiều âm đọc;
• nhiều cách dùng.

Mỗi lớp đọc có thể đi kèm một phản thiết riêng.

Nếu parser chỉ giữ lại một phản thiết duy nhất, rất nhiều thông tin lịch sử sẽ bị mất.

Engine không chọn ngay một phản thiết

Một quyết định quan trọng của Quizzman Fanqie Engine là:

Không lựa chọn phản thiết ngay khi đọc dữ liệu.

Thay vào đó, engine giữ lại toàn bộ các ứng viên.

Có thể hình dung như sau.

Character

↓

Candidate A

Candidate B

Candidate C

Candidate D

Mỗi candidate đều mang theo đầy đủ thông tin:

• nguồn;
• phản thiết;
• hồ sơ Middle Chinese;
• metadata;
• mức độ tin cậy.

Chỉ sau đó hệ thống mới bắt đầu đánh giá.

Candidate là gì?

Trong Quizzman Fanqie Engine, một candidate không đơn thuần là một phản thiết.

Một candidate là toàn bộ một giả thuyết về cách đọc của chữ Hán.

Ví dụ.

Một candidate bao gồm:

• phản thiết;
• thanh mẫu;
• vận;
• nhiếp;
• đẳng;
• khai hợp;
• thanh điệu;
• Middle Chinese;
• Hán Việt dự đoán;
• Pinyin dự đoán;
• nguồn dữ liệu.

Nói cách khác.

Candidate chính là một hồ sơ ngữ âm hoàn chỉnh.

Không phải mọi nguồn đều có giá trị như nhau

Giả sử cùng một chữ có bốn phản thiết.

廣韻

↓

A

集韻

↓

B

唐韻

↓

C

康熙

↓

D

Nếu chọn ngẫu nhiên.

Kết quả của engine sẽ thay đổi theo từng lần chạy.

Điều này rõ ràng không thể chấp nhận.

Do đó.

Quizzman xây dựng cơ chế đánh giá nguồn dữ liệu.

Ví dụ.

Một nguồn có thể được ưu tiên hơn vì:

• gần với hệ thống phản thiết chuẩn;
• đầy đủ hơn;
• đáng tin cậy hơn;
• phù hợp với mục tiêu phục dựng Hán Việt.

Đây gọi là Source Ranking.

Candidate Ranking không chỉ dựa vào nguồn

Nguồn chỉ là một trong nhiều yếu tố.

Engine còn xem xét:

• hồ sơ Middle Chinese có hợp lệ hay không;
• kết quả suy diễn Hán Việt;
• mức độ khớp với lớp Hán Việt chuẩn;
• dữ liệu lexical;
• lớp đọc thủ công;
• các ngoại lệ lịch sử.

Do đó.

Hai candidate cùng đến từ Quảng Vận vẫn có thể có điểm số khác nhau.

Candidate Scoring hoạt động như thế nào?

Có thể hình dung quy trình như sau.

Character

↓

Candidate Generation

↓

Candidate Validation

↓

Source Score

↓

Phonological Score

↓

Lexical Score

↓

Final Score

↓

Best Candidate

Mỗi bước đều có nhiệm vụ riêng.

Candidate Generation tạo tất cả các khả năng.

Candidate Validation loại bỏ những ứng viên không hợp lệ.

Candidate Scoring đánh giá từng ứng viên.

Cuối cùng mới lựa chọn kết quả.

Không chỉ so sánh với từ điển

Một hiểu lầm phổ biến là:

Candidate Ranking chỉ kiểm tra xem ứng viên nào giống Thiều Chửu nhất.

Thực tế không phải vậy.

Nếu chỉ làm như vậy.

Engine sẽ trở thành một bộ tra cứu.

Thay vào đó.

Candidate Ranking kết hợp đồng thời:

• quy luật âm vận;
• dữ liệu lịch sử;
• nguồn phản thiết;
• lớp từ vựng.

Nhờ đó.

Một ứng viên chỉ được chọn khi vừa hợp lý về mặt ngữ âm, vừa phù hợp với dữ liệu thực tế.

Candidate Ranking giúp xử lý đa âm

Một chữ Hán có thể có nhiều cách đọc.

Ví dụ.

Character

↓

Reading A

Reading B

Reading C

Candidate Ranking không cố gắng loại bỏ các cách đọc còn lại.

Thay vào đó.

Engine giữ lại toàn bộ.

Sau đó đánh giá xem:

• cách đọc nào là chính;
• cách đọc nào là biến thể;
• cách đọc nào thuộc lớp đọc cổ;
• cách đọc nào chỉ xuất hiện trong một nguồn.

Điều này giúp hệ thống vừa bảo tồn dữ liệu lịch sử, vừa đưa ra kết quả phù hợp nhất cho người dùng.

Candidate Ranking và Explainable AI

Một ưu điểm quan trọng của Quizzman Fanqie Engine là:

Engine không chỉ trả về kết quả.

Engine còn có thể giải thích vì sao một candidate được chọn.

Ví dụ.

Candidate A

↓

Score

92

Candidate B

↓

Score

84

Người dùng có thể biết:

• candidate đến từ nguồn nào;
• điểm mạnh là gì;
• điểm yếu là gì;
• vì sao candidate khác bị loại.

Đây là điều mà nhiều hệ thống AI hiện đại khó thực hiện nếu chỉ dựa trên mô hình xác suất.

Candidate Ranking không loại bỏ dữ liệu, mà tổ chức dữ liệu

Triết lý của Quizzman Fanqie Engine không phải là tìm một phản thiết "đúng tuyệt đối".

Trong nhiều trường hợp, lịch sử ngôn ngữ không tồn tại một đáp án duy nhất.

Điều quan trọng hơn là:

• giữ lại toàn bộ các khả năng có giá trị học thuật;
• đánh giá chúng bằng cùng một hệ thống tiêu chí;
• và lựa chọn ứng viên phù hợp nhất cho từng mục đích sử dụng.

Nhờ vậy, Candidate Ranking không chỉ giúp engine tạo ra một kết quả ổn định, mà còn biến hàng nghìn ghi chép rời rạc trong Quảng Vận, Tập Vận, Đường Vận và Khang Hy Tự Điển thành một không gian dữ liệu ngữ âm có cấu trúc, nơi mọi ứng viên đều có thể được truy vết, kiểm chứng và giải thích bằng các quy luật âm vận học.

→ Series 2 · Bài 9: Vì sao một chữ Hán có nhiều phản thiết? Hiểu đúng về sự hình thành của các vận thư cổ