"Model đạt 98% accuracy" — nhưng đạt với độ tin cậy nào?
🎯 Mục tiêu học (LO AI-6.1.3 · mức K2 – Hiểu): giải thích cách thực hiện test hiệu năng chức năng ML cho hệ ML mang tính xác suất.
💡 Ý cốt lõi: với MLS xác suất, test hiệu năng không dừng ở pass/fail đơn giản — mà đo hiệu năng bằng thống kê so với tiêu chí chấp nhận, để xử lý tính không xác định vốn có (xem 4.1.2).
Tiêu chí chấp nhận kiểu thống kê
ML functional performance testing đo các thước đo như accuracy, recall, precision, F1-score (xem 3.3) rồi so với tiêu chí chấp nhận. Thay vì một mục tiêu đơn giản, yêu cầu nên gồm: một thước đo hiệu năng, một margin of error (MoE — biên độ sai số), và một confidence level (CL — mức độ tin cậy). Yêu cầu kiểu này dùng để tính số lượng test case tối thiểu cần chạy. Khi tăng số test:
- Giữ cố định CL → MoE giảm: kết quả test chính xác hơn.
- Giữ cố định MoE → CL tăng: kết quả test chắc chắn hơn.
🔢 Ví dụ minh họa (theo syllabus — chỉ để hiểu ý tưởng, đề thi không yêu cầu tự tính công thức thống kê):
Tiêu chí: "98% accuracy với MoE ±4% ở CL 95%". Để xác nhận điều này, cần 601 test case — trong đó ít nhất 589 ca phải pass để đạt mục tiêu 98%. Nếu chạy đủ 601 ca và accuracy đo được đúng 98%, MoE thực tế sẽ hẹp hơn nhiều (khoảng ±1.1%) vì phương sai thấp hơn ở mức accuracy cao. Với hệ an toàn - tới hạn, yêu cầu có thể chặt hơn, ví dụ "99% reliability với 95% confidence" cần 299 test case, tất cả đều phải pass.
Sequential testing (test tuần tự) cho phép dừng sớm hơn: nếu accuracy quan sát được luôn cao (ví dụ không dưới 98%), độ chắc chắn thống kê tăng nhanh hơn khi chạy thêm test — trong ví dụ trên, MoE ±4% ở CL 95% có thể đạt được chỉ sau khoảng 170 test case thay vì đủ 601.
Điều kiện & cách báo cáo
Để xác nhận các tiêu chí này, cần một tập test lớn, hoàn toàn độc lập với tập huấn luyện và validation — và phải là mẫu đại diện cho miền dữ liệu vận hành (xem 5.1.4). Test case được chạy trên model trong một framework phát triển ML có khả năng phân tích thống kê. Cuối cùng, kết quả tổng hợp được diễn giải & báo cáo kèm độ tin cậy thống kê, không phải tỉ lệ pass/fail đơn giản — ví dụ: "Model đạt accuracy 94% ±4% ở CL 95%", giúp các bên liên quan hiểu khoảng hiệu năng kỳ vọng khi vận hành thực tế và ra quyết định có chấp nhận model để triển khai hay không.
📝 Bẫy hay gặp
Đề hay cho một phát biểu nghe hợp lý nhưng sai — nhớ mấy chỗ gài sau:
- "Tăng số test case luôn làm cả MoE giảm và CL tăng cùng lúc" → SAI: phải chọn một trong hai để giữ cố định — giữ CL thì MoE giảm, giữ MoE thì CL tăng.
- "Kết quả cuối nên báo cáo dạng pass/fail đơn giản" → SAI: nên báo cáo kèm độ tin cậy thống kê (vd "94% ±4% ở CL 95%").
- "Có thể dùng lại tập validation để làm tập test hiệu năng" → SAI: tập test phải hoàn toàn độc lập với tập huấn luyện và validation.
📌 Ghi nhớ
Tiêu chí thống kê = thước đo + MoE + CL → cố định 1, cái còn lại tự đổi khi tăng số test
Với tester: khi nhận yêu cầu kiểu "model phải đạt 95% accuracy", hãy hỏi ngược lại: với MoE và CL bao nhiêu? Thiếu hai con số này, tiêu chí chấp nhận chưa đủ rõ để tính được cần chạy bao nhiêu test case.
📖 Thuật ngữ Anh–Việt (mục này)
Đề thi dùng thuật ngữ tiếng Anh — nhớ đúng cụm bên trái. Bấm 🔊 để nghe từng từ, hoặc "Đọc tất cả" để nghe lần lượt Anh → (vài giây) → Việt.
| Thuật ngữ (EN) | Nghĩa & ghi nhớ nhanh |
|---|---|
| ML functional performance testing | Kiểm thử hiệu năng chức năng ML |
| Margin of error (MoE) | Biên độ sai số |
| Confidence level (CL) | Mức độ tin cậy |
| Acceptance criteria | Tiêu chí chấp nhận |
| Sequential testing | Kiểm thử tuần tự — cho phép dừng sớm khi đủ bằng chứng thống kê |
| Sample size | Cỡ mẫu |
| Reliability | Độ tin cậy |
🎯 Câu hỏi minh họa (phong cách đề CT-AI · K2)
A team runs more test cases than the fixed sample size required and keeps the confidence level fixed at 95%. What happens to the margin of error?
- a) It increases, making the result less precise.
- b) It decreases, making the result more precise.
- c) It stays exactly the same regardless of sample size.
- d) It becomes irrelevant once testing starts.
Xem bản dịch tiếng Việt
Một nhóm chạy nhiều test case hơn cỡ mẫu cố định yêu cầu, và giữ cố định mức độ tin cậy ở 95%. Điều gì xảy ra với biên độ sai số?
a) Tăng lên, kết quả kém chính xác hơn.
b) Giảm xuống, kết quả chính xác hơn.
c) Giữ nguyên bất kể cỡ mẫu.
d) Không còn liên quan khi đã bắt đầu test.
Xem đáp án & giải thích
✅ Đáp án đúng: b — khi giữ cố định CL và tăng số test, MoE giảm, kết quả chính xác hơn.
a sai — ngược lại với quan hệ đúng giữa số test, CL và MoE.
c sai — MoE thay đổi theo số test khi CL giữ cố định.
d sai — MoE vẫn là một phần cốt lõi của cách báo cáo kết quả.
Đề để tiếng Anh cho sát đề thi thật; phần giải thích để tiếng Việt cho dễ hiểu. Câu hỏi do maiqai.com tự soạn theo phong cách đề.
📎 Nguồn: Chương 6 – Kiểm thử mô hình cho hệ thống ML, mục 6.1.3 "ML Functional Performance Testing of Probabilistic Machine Learning Systems", trang 57–58 — ISTQB® Certified Tester AI Testing Syllabus v2.0 (© International Software Testing Qualifications Board). Nội dung biên soạn/dịch ý lại bằng tiếng Việt, không sao chép nguyên văn.