Bản đồ rủi ro của mô hình ML — và bộ kỹ thuật test tương ứng
🎯 Mục tiêu học (LO AI-6.1.1 · mức K2 – Hiểu): nêu ví dụ các cách tiếp cận test dùng để giảm thiểu rủi ro của model ML.
💡 Ý cốt lõi: model testing giải quyết cả rủi ro chức năng (bias, overfitting, dễ bị tấn công adversarial) lẫn rủi ro phi chức năng (thiếu AI robustness, hiệu năng) và rủi ro triển khai.
Rủi ro model thường gặp
| Rủi ro tiềm ẩn | Cách giảm thiểu (test) |
|---|---|
| Model thiên lệch/bất công | Kiểm thử thiên lệch (5.1.2) |
| Model phi đạo đức | Ethical system testing (kiểm thử đạo đức hệ thống) |
| Adversarial example | Adversarial testing (6.1.4) |
| Model overfit | Test overfitting (6.1.8) |
| Model underfit | Test underfitting (6.1.8) |
| Data drift / concept drift không chấp nhận được | Drift testing (6.1.7) |
| Model gây tác dụng phụ (side-effects) | Side-effects testing |
| Model bị "reward hacking" | Reward hacking testing |
| Lỗi API của model | API testing (7.1.2) |
| Không đạt thước đo hiệu năng ML yêu cầu (vd thiếu accuracy, recall) | ML functional performance testing (6.1.3) |
| Sai chức năng / lỗi phi chức năng / test oracle problem | Metamorphic testing (6.1.5) · Back-to-back testing (6.1.10) · A/B testing (6.1.9) |
| Yêu cầu hệ thống kém | Requirements review · Red teaming (4.2.2) · Exploratory testing |
| Thiếu AI robustness do input bất ngờ | Adversarial testing (6.1.4) · Fuzz testing |
| Hiệu năng model chưa đạt | Performance testing |
| Tài liệu model kém (chức năng, độ chính xác, giao diện) | Review tài liệu model (6.1.2) |
| Cập nhật model gây lỗi | Back-to-back testing (6.1.10) |
| Cập nhật model làm giảm hiệu năng chức năng ML | A/B testing (6.1.9) |
| Triển khai model mới gây lỗi ngay lập tức | Smoke testing |
| Triển khai model mới gây hồi quy (regression) | Regression testing |
| Lỗ hổng bảo mật/an toàn, vi phạm riêng tư, output có hại | Red teaming (4.2.2) |
Đây là bản đồ tổng quan Chương 6 — các mục 6.1.2 đến 6.1.10 sẽ đào sâu từng kỹ thuật riêng lẻ trong bảng trên.
📝 Bẫy hay gặp
Đề hay cho một phát biểu nghe hợp lý nhưng sai — nhớ mấy chỗ gài sau:
- "Test oracle problem chỉ giải quyết được bằng metamorphic testing" → SAI: còn có thể dùng back-to-back testing và A/B testing.
- "Rủi ro model chỉ gồm rủi ro chức năng" → SAI: còn có rủi ro phi chức năng (AI robustness, hiệu năng) và rủi ro triển khai.
- "Cập nhật model gây lỗi và cập nhật model làm giảm hiệu năng dùng chung một kỹ thuật test" → SAI: gây lỗi dùng back-to-back testing; giảm hiệu năng dùng A/B testing — hai kỹ thuật khác nhau.
📌 Ghi nhớ
3 nhóm rủi ro model: chức năng (bias, overfitting, adversarial) · phi chức năng (robustness, hiệu năng) · triển khai
Với tester: dùng bảng này như checklist khi lập kế hoạch test cho một model — mỗi rủi ro có một (hoặc vài) kỹ thuật tương ứng, không có kỹ thuật nào "phủ hết" mọi rủi ro.
📖 Thuật ngữ Anh–Việt (mục này)
Đề thi dùng thuật ngữ tiếng Anh — nhớ đúng cụm bên trái. Bấm 🔊 để nghe từng từ, hoặc "Đọc tất cả" để nghe lần lượt Anh → (vài giây) → Việt.
| Thuật ngữ (EN) | Nghĩa & ghi nhớ nhanh |
|---|---|
| ML model testing | Kiểm thử mô hình ML |
| Ethical system testing | Kiểm thử đạo đức hệ thống |
| Side-effects testing | Kiểm thử tác dụng phụ |
| Reward hacking | Model "lách luật" hàm thưởng để đạt điểm cao mà không đạt mục tiêu thật |
| AI robustness | Độ bền vững của AI trước input bất thường |
| Fuzz testing | Kiểm thử bằng dữ liệu ngẫu nhiên/bất thường |
| Smoke testing | Kiểm thử khói — kiểm tra chức năng cơ bản trước |
| Regression testing | Kiểm thử hồi quy — đảm bảo thay đổi không phá vỡ chức năng cũ |
🎯 Câu hỏi minh họa (phong cách đề CT-AI · K2)
A model consistently games its reward function to maximize its score without actually achieving the intended goal. Which risk mitigation technique specifically targets this risk?
- a) Reward hacking testing.
- b) Drift testing.
- c) Smoke testing.
- d) API testing.
Xem bản dịch tiếng Việt
Một model liên tục "lách" hàm thưởng để tối đa điểm số mà không thực sự đạt mục tiêu đề ra. Kỹ thuật giảm thiểu rủi ro nào nhắm đúng vào rủi ro này?
a) Reward hacking testing.
b) Drift testing.
c) Smoke testing.
d) API testing.
Xem đáp án & giải thích
✅ Đáp án đúng: a — reward hacking testing đúng là kỹ thuật nhắm vào rủi ro model "lách" hàm thưởng.
b sai — drift testing nhắm vào thay đổi phân phối dữ liệu/khái niệm theo thời gian.
c sai — smoke testing kiểm tra lỗi ngay sau triển khai, không liên quan hàm thưởng.
d sai — API testing nhắm vào lỗi giao diện lập trình, không liên quan hành vi học của model.
Đề để tiếng Anh cho sát đề thi thật; phần giải thích để tiếng Việt cho dễ hiểu. Câu hỏi do maiqai.com tự soạn theo phong cách đề.
📎 Nguồn: Chương 6 – Kiểm thử mô hình cho hệ thống ML, mục 6.1.1 "Machine Learning Model Risks and Mitigations", trang 55–56 — ISTQB® Certified Tester AI Testing Syllabus v2.0 (© International Software Testing Qualifications Board). Nội dung biên soạn/dịch ý lại bằng tiếng Việt, không sao chép nguyên văn.