Vì sao thuật toán không thể suy ra 100% âm Hán Việt? Hiểu đúng về Pure Projection và Lexical Normalization

Series 2 · Nền tảng học thuật — Bài 7

• ← Bài 1: Quảng Vận → Nguyễn Tài Cẩn
• ← Bài 2: Phục dựng MC không phải đoán
• ← Bài 3: Vương Lực · Âm hệ
• ← Bài 4: Parser Khang Hy
• ← Bài 5: Không hardcode 50.000 chữ
• ← Bài 6: Hơn 200 quy luật
• Chuyên mục: Phiên thiết

Một trong những câu hỏi phổ biến nhất khi tìm hiểu Quizzman Fanqie Engine là: "Nếu các quy luật âm vận đã được nghiên cứu đầy đủ, tại sao engine không thể suy ra chính xác 100% âm Hán Việt chỉ từ phản thiết?" Đây là một câu hỏi rất thú vị, bởi nó chạm đến bản chất của ngôn ngữ học lịch sử. Câu trả lời ngắn gọn là: quy luật âm vị và lịch sử sử dụng ngôn ngữ không phải lúc nào cũng trùng khớp. Muốn hiểu điều này, trước hết cần phân biệt hai khái niệm rất quan trọng: Pure Projection và Lexical Normalization.

Hai câu hỏi hoàn toàn khác nhau

Trong nghiên cứu âm Hán Việt, chúng ta thường vô tình trộn lẫn hai câu hỏi.

Câu hỏi thứ nhất là:

Nếu một âm tiết tiếng Hán Trung Cổ phát triển hoàn toàn theo quy luật ngữ âm, kết quả sẽ là gì?

Đây là câu hỏi của âm vận học lịch sử.

Câu hỏi thứ hai là:

Người Việt ngày nay hoặc trong lịch sử thực sự đọc chữ đó như thế nào?

Đây lại là câu hỏi của từ vựng học và lịch sử vay mượn ngôn ngữ.

Hai câu hỏi này có liên quan chặt chẽ với nhau, nhưng không hoàn toàn giống nhau.

Quizzman Fanqie Engine xử lý chúng ở hai tầng riêng biệt.

Pure Projection trả lời điều gì?

Giả sử chúng ta đã biết đầy đủ hồ sơ Middle Chinese của một chữ Hán.

Ví dụ:

• thanh mẫu;
• vận;
• nhiếp;
• đẳng;
• khai khẩu hay hợp khẩu;
• thanh Bình, Thưởng, Khứ hay Nhập.

Nếu chỉ áp dụng các quy luật âm vận học, engine sẽ suy ra một âm Hán Việt.

Quá trình này được gọi là Pure Projection.

Điểm quan trọng là ở giai đoạn này, engine không quan tâm:

• từ điển ghi gì;
• người Việt hiện nay đọc thế nào;
• cách đọc nào phổ biến hơn.

Engine chỉ trả lời một câu hỏi duy nhất:

Nếu tuân theo các quy luật phát triển ngữ âm, âm Hán Việt sẽ có dạng gì?

Nhưng ngôn ngữ không chỉ có quy luật

Nếu mọi từ đều phát triển hoàn toàn theo quy luật, bài toán sẽ rất đơn giản.

Chỉ cần biết:

• thanh mẫu;
• vận mẫu;
• thanh điệu.

Sau đó áp dụng các quy luật tương ứng.

Thực tế, lịch sử ngôn ngữ phức tạp hơn nhiều.

Một từ có thể thay đổi vì:

• được vay mượn ở những thời kỳ khác nhau;
• chịu ảnh hưởng của nhiều phương ngữ;
• thay đổi do thói quen sử dụng;
• đồng hóa với những từ khác;
• hoặc đơn giản là giữ lại một dạng đọc cổ.

Nói cách khác, lịch sử của từ vựng không phải lúc nào cũng đi đúng theo lịch sử của âm vị.

Một ví dụ dễ hiểu

Hãy tưởng tượng có một con đường thẳng nối từ điểm A đến điểm B.

Nếu mọi người đều đi đúng con đường này, chúng ta rất dễ dự đoán vị trí của họ.

Đó chính là Pure Projection.

Nhưng trong thực tế, có người:

• rẽ sang đường khác;
• đi đường vòng;
• dừng lại giữa đường;
• hoặc quay trở lại.

Đó chính là lịch sử của từ vựng.

Quy luật vẫn đúng.

Chỉ có hành trình của từng từ là khác nhau.

Vì sao Hán Việt có nhiều ngoại lệ?

Âm Hán Việt không hình thành trong một ngày.

Đây là kết quả của nhiều thế kỷ tiếp xúc giữa tiếng Việt và tiếng Hán.

Trong khoảng thời gian đó:

• có nhiều đợt vay mượn;
• có nhiều trung tâm phát âm khác nhau;
• tiếng Hán cũng liên tục thay đổi;
• tiếng Việt cũng không ngừng biến đổi.

Do đó, cùng một quy luật âm vị có thể tạo ra nhiều kết quả khác nhau tùy theo thời điểm và hoàn cảnh vay mượn.

Đây là lý do chúng ta gặp những trường hợp:

• nhiều cách đọc cho cùng một chữ;
• cách đọc văn và cách đọc khẩu ngữ;
• lớp Hán Việt cổ và Hán Việt chuẩn cùng tồn tại.

Thuật toán không nên "học thuộc" ngoại lệ

Một cách đơn giản để đạt độ chính xác rất cao là:

Mỗi khi gặp một ngoại lệ, thêm một dòng dữ liệu.

Sau vài năm, engine sẽ chứa hàng chục nghìn ngoại lệ.

Độ chính xác có thể tăng lên.

Nhưng điều gì xảy ra với các quy luật?

Chúng sẽ dần bị che khuất bởi dữ liệu.

Cuối cùng, engine không còn là một hệ thống suy luận nữa.

Nó chỉ còn là một cơ sở dữ liệu rất lớn.

Quizzman không lựa chọn con đường đó.

Lexical Normalization ra đời để giải quyết vấn đề

Sau khi hoàn thành Pure Projection, engine mới bước sang tầng thứ hai.

Đó là Lexical Normalization.

Nếu Pure Projection trả lời:

Âm này nên phát triển như thế nào?

Thì Lexical Normalization trả lời:

Trong lịch sử, người ta đã đọc như thế nào?

Đây là nơi các nguồn tư liệu như:

• Thiều Chửu;
• các từ điển Hán Việt;
• dữ liệu đã được kiểm chứng;

được đưa vào để lựa chọn cách đọc phù hợp nhất.

Hai tầng bổ sung cho nhau

Có thể hình dung như sau.

Middle Chinese

↓

Pure Projection

↓

Âm Hán Việt theo quy luật

Sau đó:

Âm Hán Việt theo quy luật

↓

Lexical Normalization

↓

Âm Hán Việt được sử dụng trong thực tế

Hai tầng này không cạnh tranh với nhau.

Chúng bổ sung cho nhau.

Nếu bỏ Pure Projection, engine chỉ còn là một từ điển.

Nếu bỏ Lexical Normalization, engine sẽ không phản ánh đầy đủ lịch sử sử dụng của ngôn ngữ.

Khoa học không phải lúc nào cũng cho một đáp án duy nhất

Trong khoa học, đặc biệt là ngôn ngữ học lịch sử, mục tiêu không phải là tạo ra một kết quả "đúng tuyệt đối".

Mục tiêu là xây dựng một mô hình có khả năng giải thích dữ liệu tốt nhất.

Khi xuất hiện thêm tư liệu mới hoặc một giả thuyết mới được chấp nhận, mô hình có thể được điều chỉnh.

Đó là điều hoàn toàn bình thường.

Quizzman Fanqie Engine cũng được xây dựng theo tinh thần đó.

Engine không cố chứng minh rằng mọi cách đọc khác đều sai.

Engine cũng không cố biến mọi ngoại lệ thành quy luật.

Thay vào đó, hệ thống cố gắng tách biệt rõ:

• đâu là quy luật âm vị;
• đâu là kết quả của lịch sử sử dụng ngôn ngữ.

Chính sự tách biệt này giúp Quizzman vừa giữ được tính nhất quán của thuật toán, vừa phản ánh được sự phong phú của âm Hán Việt trong lịch sử.

Kết luận

Một thuật toán không đạt 100% chỉ từ quy luật không phải vì thuật toán yếu, mà vì ngôn ngữ chưa bao giờ chỉ là tập hợp của các quy luật. Mỗi từ đều mang theo lịch sử riêng của nó: thời điểm được vay mượn, môi trường sử dụng, sự biến đổi qua nhiều thế hệ và ảnh hưởng của các phương ngữ.

Đó cũng là lý do Quizzman Fanqie Engine được thiết kế theo hai tầng: Pure Projection để mô hình hóa quy luật âm vận học, và Lexical Normalization để phản ánh lịch sử sử dụng thực tế của âm Hán Việt. Hai tầng này kết hợp với nhau tạo nên một hệ thống vừa có khả năng suy luận, vừa có khả năng giải thích và kiểm chứng — điều mà một bảng tra cứu đơn thuần khó có thể đạt được.

→ Series 2 · Bài 8: Candidate Ranking trong Quizzman Fanqie Engine: Khi một chữ Hán có hàng chục phản thiết