Vì sao Quizzman Fanqie Engine không phải là một từ điển Hán Việt?

Chuỗi Quizzman Fanqie Engine — Phần 10

• ← Phần 1: Quizzman Fanqie Engine là gì?
• ← Phần 2: Lịch sử phản thiết
• ← Phần 3: Âm Hán Việt hình thành
• ← Phần 4: Tái dựng Middle Chinese
• ← Phần 5: Thuật toán suy diễn Hán Việt
• ← Phần 6: Eight Tone Slot
• ← Phần 7: Hệ thống vận mẫu · 16 nhiếp
• ← Phần 8: Lexical Normalization
• ← Phần 9: Độ chính xác · Benchmark
• Chuyên mục: Phiên thiết

Khi nhìn thấy Quizzman Fanqie Engine lần đầu tiên, nhiều người nghĩ đây đơn giản là một công cụ tra cứu Hán Việt. Điều đó đúng, nhưng chưa đủ. Engine có thể trả về cách đọc Hán Việt, Pinyin và nhiều thông tin âm vận khác, nên rất dễ bị nhầm với một từ điển điện tử. Tuy nhiên, nếu nhìn vào cách hệ thống hoạt động, sẽ thấy đây là hai bài toán hoàn toàn khác nhau. Một từ điển lưu trữ kết quả; Quizzman Fanqie Engine tái tạo quá trình hình thành kết quả. Đó là khác biệt cốt lõi giữa Dictionary Lookup và Historical Phonology Inference Engine.

Một từ điển Hán Việt hoạt động như thế nào?

Hầu hết các từ điển điện tử hiện nay đều làm việc theo cùng một nguyên tắc.

Người dùng nhập:

國

Hệ thống tra bảng dữ liệu.

國

↓

quốc

Nếu nhập:

德

Hệ thống lại tra tiếp.

德

↓

đức

Mỗi chữ Hán là một bản ghi độc lập.

Nếu muốn bổ sung thêm một chữ mới, chỉ cần thêm một dòng dữ liệu.

Đây là kiến trúc rất phổ biến vì:

• dễ xây dựng;
• dễ hiểu;
• tốc độ rất nhanh;
• phù hợp cho việc tra cứu.

Đối với nhu cầu sử dụng thông thường, cách tiếp cận này hoàn toàn hợp lý.

Vấn đề của phương pháp tra cứu

Tuy nhiên, kiến trúc này có một hạn chế rất lớn.

Từ điển chỉ biết:

國

↓

quốc

Nhưng không biết:

• vì sao là "quốc";
• tại sao không phải "cuốc";
• vì sao thanh là sắc;
• vì sao âm cuối là "-c";
• vì sao phụ âm đầu là "qu".

Nói cách khác:

Từ điển chỉ lưu kết quả.

Nó không lưu quá trình tạo ra kết quả.

Điều gì xảy ra khi gặp một chữ chưa có trong từ điển?

Đây là phép thử đơn giản nhất.

Nếu một chữ Hán không tồn tại trong cơ sở dữ liệu, từ điển sẽ trả lời:

Không tìm thấy.

Hoặc:

Không có dữ liệu.

Đó là hành vi hoàn toàn bình thường.

Vì từ điển không biết cách đọc được hình thành như thế nào.

Nó chỉ biết những gì đã được lưu sẵn.

Một Fanqie Engine nhìn vấn đề khác hoàn toàn

Đối với Quizzman Fanqie Engine, câu hỏi không phải là:

Chữ này đọc là gì?

Mà là:

Chữ này được tạo ra cách đọc như thế nào?

Hai câu hỏi tưởng giống nhau nhưng thực chất khác hoàn toàn.

Ví dụ.

Nếu engine biết:

• phản thiết;
• thanh mẫu;
• vận;
• nhiếp;
• đẳng;
• khai hợp;
• Bình thanh;
• lịch sử phát triển Hán Việt;

thì ngay cả khi chưa từng gặp chữ đó, hệ thống vẫn có thể suy diễn một cách đọc hợp lý.

Đó là điểm khác biệt căn bản.

Engine không bắt đầu từ chữ Hán

Một từ điển luôn bắt đầu bằng:

Chữ Hán

↓

Cách đọc

Trong khi Quizzman Fanqie Engine bắt đầu từ:

Chữ Hán

↓

Phản thiết

↓

Middle Chinese

↓

Quy luật

↓

Hán Việt

Hay nói cách khác:

Điều engine lưu giữ không phải hàng chục nghìn cách đọc.

Điều engine lưu giữ là những quy luật đã tạo ra các cách đọc đó.

Quy luật có giá trị hơn dữ liệu

Giả sử có một nghìn chữ thuộc cùng một nhóm âm.

Một từ điển sẽ phải lưu:

1000

bản ghi

Trong khi Quizzman Fanqie Engine chỉ cần:

1

quy luật

Sau đó áp dụng quy luật ấy cho toàn bộ nhóm.

Ví dụ:

Thông nhiếp

↓

quy luật A

Cảnh nhiếp

↓

quy luật B

Lưu nhiếp

↓

quy luật C

Mỗi quy luật có thể tạo ra hàng trăm hoặc hàng nghìn kết quả khác nhau.

Đó là tư duy của một Rule Engine.

Không phải "AI đoán"

Ngày nay, nhiều người khi thấy một hệ thống có khả năng suy diễn thường nghĩ ngay đến trí tuệ nhân tạo.

Quizzman Fanqie Engine không hoạt động theo cách đó.

Engine không "đoán".

Nó cũng không dự đoán xác suất theo thống kê.

Mỗi quyết định đều dựa trên các quy luật cụ thể của âm vận học.

Ví dụ:

Thanh mẫu

↓

ảnh hưởng phụ âm đầu

Nhiếp

↓

ảnh hưởng vận

Đẳng

↓

ảnh hưởng nguyên âm

Thanh mẫu thanh/trọc

↓

ảnh hưởng thanh điệu

Mỗi bước đều có thể giải thích.

Không có bước nào dựa trên "linh cảm" của mô hình.

Explainable by Design

Một trong những mục tiêu quan trọng nhất của Quizzman Fanqie Engine là:

Mọi kết quả đều phải giải thích được.

Ví dụ.

Engine không chỉ trả về:

國

↓

quốc

Nó còn có thể giải thích:

• phản thiết nào được sử dụng;
• thanh mẫu nào được chọn;
• vận thuộc nhiếp nào;
• vì sao có âm đệm "u";
• vì sao âm cuối là "-c";
• vì sao thuộc thanh sắc;
• vì sao kết quả này được ưu tiên hơn các ứng viên khác.

Đây là điều mà phần lớn từ điển điện tử không làm được.

Từ điển và Engine không loại trừ nhau

Điều thú vị là Quizzman Fanqie Engine vẫn sử dụng từ điển.

Nhưng vị trí của từ điển đã thay đổi.

Trong kiến trúc truyền thống:

Dictionary

↓

Answer

Trong Quizzman Fanqie Engine:

Rule Engine

↓

Pure Projection

↓

Dictionary

↓

Lexical Normalization

↓

Final Result

Từ điển không còn quyết định kết quả ngay từ đầu.

Nó trở thành một tầng kiểm chứng ở cuối pipeline.

Đây là một thay đổi rất lớn trong tư duy thiết kế.

Điều gì xảy ra khi quy luật và từ điển khác nhau?

Đây là câu hỏi rất quan trọng.

Giả sử Pure Projection tạo ra:

A

Trong khi lớp Hán Việt chuẩn ghi:

B

Nếu đây là một từ điển thông thường, hệ thống sẽ trả luôn:

B

Quizzman Fanqie Engine không làm vậy.

Trước tiên, engine sẽ hỏi:

• Quy luật sai?
• Hay đây là lớp đọc cổ?
• Hay là ngoại lệ?
• Hay là biến thể văn đọc?
• Hay là dữ liệu từ điển chưa đầy đủ?

Chỉ sau khi trả lời được các câu hỏi này, engine mới quyết định kết quả cuối cùng.

Nhờ vậy, hệ thống không biến mọi khác biệt thành "lỗi".

Vì sao điều này quan trọng?

Nếu mục tiêu chỉ là tra cứu vài chục nghìn chữ Hán, một từ điển là đủ.

Nhưng nếu muốn:

• nghiên cứu lịch sử âm Hán Việt;
• phục dựng cách đọc từ phản thiết;
• xây dựng Pinyin từ Middle Chinese;
• phân tích vận thư;
• kiểm chứng quy luật âm vị;
• phát triển các công cụ ngôn ngữ học;

thì chỉ có dữ liệu là không đủ.

Điều cần thiết là một hệ thống biết suy luận.

Một nền tảng thay vì một ứng dụng

Chính vì vậy, Quizzman Fanqie Engine không được thiết kế như một ứng dụng tra cứu.

Nó được xây dựng như một nền tảng tính toán âm vận học.

Từ cùng một hồ sơ Middle Chinese, engine có thể sinh ra:

• âm Hán Việt;
• Pinyin;
• các lớp đọc lịch sử;
• dữ liệu phục vụ NLP;
• các công cụ nghiên cứu phản thiết;
• và nhiều hệ thống khác trong tương lai.

Điều này chỉ có thể thực hiện được khi quy luật được đặt ở trung tâm của kiến trúc.

Từ "lookup" đến "inference"

Khác biệt lớn nhất giữa Quizzman Fanqie Engine và một từ điển Hán Việt có thể tóm tắt bằng hai từ.

Dictionary

↓

Lookup

và

Fanqie Engine

↓

Inference

Một bên lưu câu trả lời.

Một bên tái hiện quá trình tạo ra câu trả lời.

Một bên biết đọc là gì.

Bên còn lại biết vì sao lại đọc như vậy.

Đó cũng là triết lý mà Quizzman Fanqie Engine theo đuổi ngay từ những dòng mã đầu tiên: không xây dựng một kho dữ liệu lớn hơn, mà xây dựng một hệ thống có khả năng hiểu và mô hình hóa chính các quy luật đã tạo nên âm Hán Việt trong suốt hơn một nghìn năm lịch sử.

Bài tiếp theo

Trong bài tiếp theo, chúng ta sẽ rời khỏi phần lý thuyết để nhìn vào quá trình phát triển thực tế của Quizzman Fanqie Engine: từ những phiên bản đầu tiên chỉ xử lý phản thiết cơ bản đến kiến trúc V6 hiện nay với Middle Chinese Reconstruction, Eight Tone Slot, Lexical Normalization, Candidate Ranking và hệ thống đánh giá độ tin cậy nhiều tầng.

→ Phần 11: Hành trình phát triển Quizzman Fanqie Engine: Từ một công cụ tra cứu đến nền tảng tính toán âm vận học