Độ chính xác của Quizzman Fanqie Engine: Đánh giá một engine âm vận học như thế nào?

Chuỗi Quizzman Fanqie Engine — Phần 9

• ← Phần 1: Quizzman Fanqie Engine là gì?
• ← Phần 2: Lịch sử phản thiết
• ← Phần 3: Âm Hán Việt hình thành
• ← Phần 4: Tái dựng Middle Chinese
• ← Phần 5: Thuật toán suy diễn Hán Việt
• ← Phần 6: Eight Tone Slot
• ← Phần 7: Hệ thống vận mẫu · 16 nhiếp
• ← Phần 8: Lexical Normalization
• Chuyên mục: Phiên thiết

Một trong những câu hỏi được đặt ra nhiều nhất khi giới thiệu Quizzman Fanqie Engine là: độ chính xác của engine đạt bao nhiêu phần trăm? Đây là một câu hỏi hợp lý nhưng cũng khá khó trả lời. Không giống một mô hình OCR, dịch máy hay nhận dạng hình ảnh, một engine âm vận học không chỉ tạo ra một đáp án duy nhất. Nó phải đồng thời tái hiện quy luật lịch sử, xử lý nhiều lớp đọc khác nhau và phân biệt giữa quy luật âm vị với ngoại lệ từ vựng. Vì vậy, đánh giá một Fanqie Engine không đơn giản là đếm số chữ đúng hay sai, mà cần một hệ thống kiểm thử nhiều tầng với các tiêu chí hoàn toàn khác.

Vì sao không thể chỉ nói "đúng 95%"?

Khi đánh giá một từ điển điện tử, việc đo độ chính xác khá đơn giản.

Ví dụ:

國

↓

quốc

Nếu chương trình trả về "quốc" thì được tính là đúng.

Nếu trả về "quấc" thì sai.

Đối với một engine âm vận học, bài toán hoàn toàn khác.

Ví dụ cùng một chữ Hán có thể tồn tại:

• nhiều phản thiết;
• nhiều cách đọc lịch sử;
• nhiều lớp Hán Việt;
• nhiều nguồn ghi chép khác nhau.

Nếu engine tạo ra một cách đọc khác với từ điển hiện đại, chưa chắc engine đã sai.

Có thể:

• quy luật âm vị hoàn toàn đúng;
• nhưng lớp từ vựng hiện đại đã thay đổi.

Đó là lý do Quizzman Fanqie Engine không đánh giá bằng một con số duy nhất.

Hai mục tiêu hoàn toàn khác nhau

Trong Quizzman Fanqie Engine tồn tại hai mục tiêu độc lập.

Mục tiêu thứ nhất

Quy luật âm vị có đúng hay không?

Đây là tầng Pure Projection.

Engine chỉ áp dụng:

• phản thiết;
• Middle Chinese;
• quy luật âm vận.

Không sử dụng bất kỳ từ điển nào.

Mục tiêu thứ hai

Cách đọc cuối cùng có khớp với Hán Việt chuẩn ngày nay không?

Đây là tầng Hybrid.

Ngoài quy luật âm vị, engine còn sử dụng:

• dữ liệu Hán Việt;
• lớp đọc lịch sử;
• nguồn Thiều Chửu;
• Candidate Ranking.

Hai mục tiêu này khác nhau.

Một kết quả có thể hoàn toàn đúng về mặt âm vị nhưng khác lớp từ vựng.

Pure Projection đo điều gì?

Pure Projection trả lời đúng một câu hỏi.

Nếu chỉ xét các quy luật phát triển của âm Hán Việt thì kết quả sẽ là gì?

Ở tầng này, engine không quan tâm:

• người Việt hiện nay đọc như thế nào;
• từ điển ghi gì;
• cách đọc phổ biến là gì.

Điều duy nhất được đánh giá là:

Quy luật âm vận học có đúng không?

Đây là bài kiểm tra khó nhất.

Bởi vì toàn bộ trách nhiệm đều nằm ở các thuật toán.

Hybrid đo điều gì?

Hybrid phản ánh một bài toán khác.

Sau khi có kết quả thuần âm vị, engine tiếp tục đối chiếu với lớp Hán Việt đã được ghi nhận trong lịch sử.

Nếu xuất hiện nhiều khả năng, hệ thống sẽ đánh giá:

• nguồn phản thiết;
• mức độ phù hợp với quy luật;
• lớp đọc;
• dữ liệu từ điển;
• độ tin cậy của từng ứng viên.

Kết quả cuối cùng chính là Hybrid.

Đây cũng là chế độ mặc định của Quizzman Fanqie Engine khi phục vụ người dùng.

Benchmark được xây dựng như thế nào?

Để đánh giá engine một cách khách quan, Quizzman Fanqie Engine sử dụng nhiều bộ dữ liệu khác nhau thay vì chỉ một tập kiểm thử.

Các nhóm kiểm thử bao gồm:

• Golden Fixture
• Random Corpus
• Thiều Chửu Benchmark
• Batch Regression
• Audit Corpus
• Stress Test

Mỗi bộ dữ liệu được thiết kế để trả lời một câu hỏi khác nhau.

Golden Fixture

Đây là tập dữ liệu quan trọng nhất.

Golden Fixture gồm những chữ Hán đã được kiểm chứng thủ công.

Trong tập này có đầy đủ:

• Bình thanh;
• Thưởng thanh;
• Khứ thanh;
• Nhập thanh;
• thanh mẫu thanh;
• thanh mẫu trọc;
• các trường hợp ngoại lệ lịch sử.

Mục tiêu của Golden Fixture không phải để tăng điểm benchmark.

Nó được dùng để phát hiện các lỗi hồi quy (Regression).

Nếu một thay đổi trong engine làm sai một quy luật cũ, Golden Fixture sẽ phát hiện ngay lập tức.

Random Corpus

Golden Fixture thường khá nhỏ.

Do đó cần thêm các bộ dữ liệu lớn hơn.

Random Corpus được sinh ngẫu nhiên từ kho dữ liệu Hán Việt.

Các bộ kiểm thử nội bộ như:

• Random 300
• Random 300B

được sử dụng để đánh giá hiệu năng của toàn bộ pipeline trong điều kiện gần với thực tế.

Đây cũng là nơi Hybrid đạt khoảng 89% độ khớp với lớp Hán Việt chuẩn trên tập dữ liệu được sử dụng để đánh giá.

Điều đáng chú ý là Pure Projection thấp hơn khá nhiều.

Điều này không phải vì thuật toán âm vị kém.

Ngược lại, nó phản ánh rằng hệ thống Hán Việt hiện nay đã trải qua quá trình lexical hóa rất mạnh.

Benchmark với Thiều Chửu

Một trong những phép thử quan trọng nhất là so sánh với kho dữ liệu Thiều Chửu.

Đây là nguồn từ vựng Hán Việt có ảnh hưởng rất lớn tại Việt Nam.

Trong benchmark nội bộ khoảng 1.000 chữ, Hybrid đạt tỷ lệ khớp khoảng 94,5% với cách đọc chính được ghi nhận trong dữ liệu đối chiếu.

Con số này cho thấy tầng Lexical Normalization hoạt động hiệu quả trong việc lựa chọn biến thể Hán Việt phù hợp.

Tuy nhiên, mục tiêu của benchmark này không phải chứng minh Thiều Chửu là "chân lý", mà nhằm đo mức độ tương thích của engine với một nguồn tư liệu phổ biến.

Audit trên hàng nghìn chữ Hán

Ngoài các tập benchmark nhỏ, Quizzman Fanqie Engine còn được đánh giá trên tập dữ liệu lớn gồm hàng nghìn chữ Hán.

Thay vì chỉ ghi nhận đúng hoặc sai, hệ thống phân loại từng trường hợp thành nhiều nhóm.

Ví dụ:

• đúng hoàn toàn;
• khác lớp từ vựng;
• đa âm;
• khác chính tả;
• ngoại lệ lịch sử;
• lỗi quy luật thực sự.

Cách đánh giá này giúp nhóm phát triển biết chính xác vấn đề nằm ở đâu.

Nếu tất cả các trường hợp đều được gộp thành "sai", gần như không thể cải thiện engine một cách có hệ thống.

Điều quan trọng nhất: True Rule Error

Trong quá trình phát triển Quizzman Fanqie Engine, nhóm phát triển không xem mọi sai khác là lỗi.

Điều được quan tâm nhiều nhất là:

True Rule Error

Đây là những trường hợp:

• quy luật âm vị được áp dụng sai;
• engine suy diễn sai ngay từ tầng Middle Chinese hoặc Projection;
• không thể giải thích bằng lịch sử ngôn ngữ.

Đây mới là loại lỗi cần sửa.

Trong khi đó, các trường hợp như:

• khác lớp đọc;
• đa âm;
• văn đọc;
• khẩu ngữ;

thường được xử lý ở tầng Lexical Normalization thay vì sửa thuật toán.

Regression Test

Một trong những rủi ro lớn nhất khi phát triển engine âm vận học là:

Sửa một quy luật có thể làm hỏng hàng trăm quy luật khác.

Do đó, sau mỗi thay đổi lớn, toàn bộ benchmark đều được chạy lại.

Nếu:

• tỷ lệ Hybrid giảm;
• số lượng True Rule Error tăng;
• hoặc Golden Fixture xuất hiện lỗi mới;

thay đổi sẽ bị xem xét lại.

Nhờ quy trình này, các bản cập nhật của Quizzman Fanqie Engine không chỉ bổ sung tính năng mà còn duy trì tính ổn định của toàn bộ hệ thống.

Độ chính xác không chỉ là một con số

Có thể thấy rằng việc đánh giá Quizzman Fanqie Engine khác rất nhiều so với đánh giá một công cụ tra cứu thông thường.

Thay vì chỉ hỏi:

"Engine đúng bao nhiêu phần trăm?"

Quizzman Fanqie Engine đặt ra nhiều câu hỏi cụ thể hơn:

• Quy luật âm vị có chính xác không?
• Hồ sơ Middle Chinese có được tái dựng đúng không?
• Kết quả có phù hợp với lớp Hán Việt lịch sử không?
• Có đang nhầm ngoại lệ thành quy luật không?
• Có làm hỏng các quy luật cũ không?

Chính cách đánh giá nhiều tầng này giúp engine phát triển ổn định trong thời gian dài và hạn chế tối đa việc "vá lỗi" bằng các ngoại lệ cục bộ.

Điều quan trọng hơn cả benchmark

Một benchmark cao luôn là mục tiêu đáng hướng tới.

Tuy nhiên, đối với một hệ thống nghiên cứu âm vận học, điều quan trọng hơn là khả năng giải thích.

Mỗi kết quả của Quizzman Fanqie Engine đều có thể truy ngược về:

• phản thiết được sử dụng;
• hồ sơ Middle Chinese;
• quy luật âm vị;
• lớp từ vựng;
• mức độ tin cậy của từng bước.

Nhờ đó, người dùng không chỉ biết engine đọc như thế nào, mà còn hiểu vì sao engine lại đọc như vậy.

Đó cũng là triết lý xuyên suốt của Quizzman Fanqie Engine: không chỉ xây dựng một công cụ cho ra đáp án, mà xây dựng một hệ thống có khả năng giải thích và kiểm chứng toàn bộ quá trình hình thành của đáp án đó.

Bài tiếp theo

Ở bài tiếp theo, chúng ta sẽ quay lại một câu hỏi tưởng chừng rất đơn giản nhưng lại phản ánh rõ nhất triết lý thiết kế của Quizzman Fanqie Engine:

Vì sao Quizzman Fanqie Engine không phải là một từ điển Hán Việt?

Qua đó, chúng ta sẽ thấy sự khác biệt giữa một Dictionary Lookup và một Historical Phonology Inference Engine, cũng như lý do Quizzman lựa chọn con đường mô hình hóa quy luật thay vì lưu trữ hàng chục nghìn cách đọc dưới dạng dữ liệu tĩnh.

→ Phần 10: Vì sao Quizzman Fanqie Engine không phải là một từ điển Hán Việt?