Từ quy luật đến thực tế: Vì sao Quizzman Fanqie Engine vẫn cần tầng Lexical Normalization?

Chuỗi Quizzman Fanqie Engine — Phần 8

• ← Phần 1: Quizzman Fanqie Engine là gì?
• ← Phần 2: Lịch sử phản thiết
• ← Phần 3: Âm Hán Việt hình thành
• ← Phần 4: Tái dựng Middle Chinese
• ← Phần 5: Thuật toán suy diễn Hán Việt
• ← Phần 6: Eight Tone Slot
• ← Phần 7: Hệ thống vận mẫu · 16 nhiếp
• Chuyên mục: Phiên thiết

Nếu mọi âm Hán Việt đều tuân thủ hoàn toàn các quy luật âm vận học, việc xây dựng một engine Hán Việt sẽ khá đơn giản. Chỉ cần phục dựng chính xác tiếng Hán Trung Cổ rồi áp dụng các quy luật biến đổi là đủ. Nhưng ngôn ngữ tự nhiên chưa bao giờ vận hành lý tưởng như vậy. Hơn một nghìn năm lịch sử đã để lại vô số lớp vay mượn, biến đổi ngữ nghĩa, đa âm, dị đọc và ngoại lệ. Vì thế, sau khi hoàn thành toàn bộ quá trình suy diễn âm vị, Quizzman Fanqie Engine còn thực hiện thêm một bước quan trọng: Lexical Normalization. Đây là tầng kết nối giữa quy luật ngữ âm và lịch sử phát triển thực tế của tiếng Việt.

Vì sao quy luật vẫn chưa đủ?

Ở các bài trước, chúng ta đã thấy engine có thể suy diễn một âm Hán Việt thông qua:

• thanh mẫu;
• vận mẫu;
• nhiếp;
• đẳng;
• khai khẩu và hợp khẩu;
• Bình thanh, Thưởng thanh, Khứ thanh, Nhập thanh;
• các quy luật phát triển lịch sử.

Nếu mọi chữ Hán đều tuân thủ tuyệt đối những quy luật này thì kết quả sẽ rất đẹp.

Phản thiết

↓

Middle Chinese

↓

Quy luật âm vị

↓

Âm Hán Việt

Nhưng thực tế lịch sử không diễn ra như vậy.

Trong hơn một nghìn năm sử dụng chữ Hán, tiếng Việt đã liên tục tiếp nhận, điều chỉnh và chuẩn hóa cách đọc.

Có những quy luật được bảo tồn rất tốt.

Cũng có những quy luật bị phá vỡ bởi chính quá trình sử dụng ngôn ngữ.

Đó là lý do Pure Projection chưa thể trở thành kết quả cuối cùng.

Hán Việt là một hệ thống sống

Một sai lầm thường gặp là xem âm Hán Việt như một "ảnh chụp" của tiếng Hán đời Đường.

Điều này chỉ đúng một phần.

Âm Hán Việt đúng là phản ánh rất nhiều đặc điểm của tiếng Hán Trung Cổ.

Nhưng sau khi được tiếp nhận vào tiếng Việt, hệ thống này vẫn tiếp tục phát triển.

Trong hàng trăm năm tiếp theo đã xuất hiện:

• cách đọc mới;
• cách đọc cổ còn sót lại;
• cách đọc địa phương;
• nhiều lớp vay mượn khác nhau;
• hiện tượng đồng hóa với tiếng Việt bản địa.

Điều đó có nghĩa là:

Không phải mọi cách đọc hiện nay đều phản ánh trực tiếp quy luật âm vị ban đầu.

Ví dụ đơn giản nhất

Giả sử engine chỉ làm việc bằng quy luật.

Nó sẽ tạo ra một kết quả lý tưởng.

Middle Chinese

↓

Pure Projection

↓

A

Nhưng trong lịch sử, người Việt lại sử dụng:

B

và chính cách đọc này mới được ghi nhận trong từ điển.

Lúc này có hai khả năng.

Khả năng thứ nhất:

Engine suy diễn sai.

Khả năng thứ hai:

Engine suy diễn đúng, nhưng ngôn ngữ đã phát triển theo một hướng khác.

Đây là hai trường hợp hoàn toàn khác nhau.

Nếu không phân biệt được chúng, việc sửa engine sẽ rất nguy hiểm.

Pure Projection không phải kết quả cuối cùng

Trong Quizzman Fanqie Engine, kết quả đầu tiên luôn được gọi là:

Pure Projection

Đây là kết quả thuần túy của các quy luật âm vị.

Nó không sử dụng:

• từ điển;
• dữ liệu Hán Việt;
• cách đọc phổ biến;
• thống kê tần suất.

Pure Projection trả lời đúng một câu hỏi:

Nếu chỉ xét các quy luật âm vận học thì âm Hán Việt sẽ phát triển thành dạng nào?

Đây là chuẩn tham chiếu để đánh giá toàn bộ hệ thống.

Khi lịch sử không còn đi theo quy luật

Sau khi Pure Projection được tạo ra, engine bắt đầu đối chiếu với dữ liệu lịch sử.

Ví dụ:

Pure Projection

↓

quốc

Từ điển cũng ghi:

quốc

Khi đó gần như không có vấn đề gì.

Nhưng cũng có những trường hợp:

Pure Projection

↓

A

Trong khi lớp Hán Việt chuẩn lại ghi:

B

Lúc này engine không vội sửa kết quả.

Điều đầu tiên cần xác định là:

• quy luật sai;
• hay lịch sử phát triển khác đi.

Đây chính là nhiệm vụ của Lexical Normalization.

Không phải mọi khác biệt đều là lỗi

Một nguyên tắc rất quan trọng của Quizzman Fanqie Engine là:

Khác từ điển không đồng nghĩa với sai quy luật.

Ví dụ, cùng một chữ Hán có thể tồn tại:

• văn đọc;
• khẩu ngữ;
• cách đọc cổ;
• cách đọc mới;
• nhiều lớp vay mượn.

Nếu engine luôn ép mọi trường hợp về đúng từ điển hiện đại thì toàn bộ giá trị nghiên cứu âm vận sẽ biến mất.

Do đó, hệ thống luôn tách biệt:

Sai quy luật

≠

Khác lớp từ vựng

Đây là một trong những nguyên tắc quan trọng nhất của toàn bộ kiến trúc.

Lexical Normalization làm gì?

Sau khi có Pure Projection, engine bắt đầu đối chiếu với các nguồn tư liệu.

Ví dụ:

Pure Projection

↓

Đối chiếu dữ liệu

↓

Đánh giá

↓

Hybrid Result

Các nguồn dữ liệu bao gồm:

• Thiều Chửu;
• các lớp Hán Việt chuẩn;
• dữ liệu hiệu đính thủ công;
• các lớp đọc đã được xác minh.

Điều quan trọng là:

Các nguồn này không sửa quy luật âm vị.

Chúng chỉ giúp engine lựa chọn cách biểu hiện phù hợp nhất trong lớp từ vựng hiện nay.

Candidate Ranking

Một chữ Hán đôi khi không chỉ có một phản thiết.

Các vận thư khác nhau có thể ghi nhận:

• phản thiết khác nhau;
• vận khác nhau;
• hoặc lớp đọc khác nhau.

Nếu engine lấy kết quả đầu tiên xuất hiện thì độ chính xác sẽ giảm đáng kể.

Do đó, Quizzman Fanqie Engine xây dựng cơ chế Candidate Ranking.

Mỗi ứng viên được đánh giá dựa trên nhiều yếu tố.

Ví dụ:

• nguồn phản thiết;
• mức độ phù hợp với quy luật;
• mức độ khớp với lớp Hán Việt chuẩn;
• lớp đọc cổ hay hiện đại;
• độ tin cậy của nguồn.

Ứng viên có điểm cao nhất sẽ trở thành kết quả cuối cùng.

Hybrid không có nghĩa là "vá lỗi"

Có người cho rằng Hybrid đơn giản là:

Engine đoán sai rồi dùng từ điển sửa lại.

Đây là cách hiểu hoàn toàn không chính xác.

Trong Quizzman Fanqie Engine:

Pure Projection

↓

mô hình lịch sử

Lexical Layer

↓

mô hình sử dụng thực tế

Hybrid là sự kết hợp giữa hai tầng này.

Nó không phải một cơ chế "chữa cháy".

Ngược lại, đây chính là cách mô hình hóa sự khác biệt giữa:

• ngôn ngữ lý tưởng;
• và ngôn ngữ thực tế.

Vì sao Hybrid có độ chính xác cao hơn?

Các bài kiểm thử nội bộ cho thấy:

Pure Projection có thể mô tả rất tốt các quy luật âm vị.

Tuy nhiên, khi so sánh trực tiếp với lớp Hán Việt chuẩn hiện nay, vẫn tồn tại những khác biệt do lịch sử sử dụng ngôn ngữ.

Sau khi bổ sung tầng Lexical Normalization, độ khớp với các kho từ điển Hán Việt tăng lên đáng kể mà vẫn giữ nguyên các quy luật âm vị bên dưới.

Điều này phản ánh đúng bản chất của âm Hán Việt:

Đây không chỉ là kết quả của các quy luật phát âm, mà còn là kết quả của hơn một nghìn năm sử dụng và chuẩn hóa trong đời sống ngôn ngữ.

Bốn mức độ tin cậy

Một điểm đặc biệt của Quizzman Fanqie Engine là mỗi kết quả đều đi kèm nhiều chỉ số đánh giá.

Thay vì chỉ trả về một cách đọc duy nhất, engine còn cho biết mức độ tin cậy của từng tầng xử lý.

Ví dụ:

• Source Confidence đánh giá độ tin cậy của phản thiết và nguồn dữ liệu.
• Phonological Confidence đánh giá mức độ phù hợp với các quy luật âm vận học.
• Lexical Confidence phản ánh mức độ khớp với lớp từ vựng Hán Việt đã được kiểm chứng.
• Final Confidence là đánh giá tổng hợp sau khi kết hợp cả hai tầng.

Nhờ đó, người dùng không chỉ biết engine đọc như thế nào mà còn hiểu vì sao engine lựa chọn cách đọc đó.

Không phải một từ điển, mà là một hệ thống suy luận

Điểm khác biệt lớn nhất của Quizzman Fanqie Engine không nằm ở số lượng chữ Hán được hỗ trợ.

Điểm khác biệt nằm ở triết lý thiết kế.

Một từ điển truyền thống chỉ lưu kết quả.

Quizzman Fanqie Engine lưu cả quá trình tạo ra kết quả.

Điều đó giúp hệ thống phân biệt được đâu là:

• quy luật ngữ âm;
• lớp từ vựng;
• ngoại lệ lịch sử;
• biến thể văn đọc;
• hay sai lệch của dữ liệu.

Chính khả năng phân tích này khiến engine không chỉ phục vụ việc tra cứu Hán Việt mà còn trở thành một công cụ nghiên cứu âm vận học có thể giải thích và kiểm chứng từng quyết định mà nó đưa ra.

Bài tiếp theo

Đến đây, chúng ta đã hiểu toàn bộ quy trình từ phản thiết, phục dựng Middle Chinese, suy diễn Hán Việt cho đến chuẩn hóa lớp từ vựng. Trong bài tiếp theo, chúng ta sẽ đi vào độ chính xác của Quizzman Fanqie Engine: cách hệ thống được kiểm thử, benchmark trên hàng nghìn chữ Hán, đánh giá Pure Projection và Hybrid, cũng như vì sao việc đo lường một engine âm vận học không thể chỉ dựa trên tỷ lệ "đúng/sai" như các mô hình từ điển thông thường.

→ Phần 9: Độ chính xác của Quizzman Fanqie Engine: Đánh giá một engine âm vận học như thế nào?