Không chỉ model mới có lỗi — công cụ & framework phát triển ML cũng vậy
🎯 Mục tiêu học (LO AI-7.1.1 · mức K2 – Hiểu): nêu ví dụ các cách tiếp cận test dùng để giảm thiểu rủi ro trong phát triển ML.
💡 Ý cốt lõi: chương này nhắm vào rủi ro từ công cụ phát triển ML, lựa chọn cấu hình, và cơ chế triển khai — chứ không phải từ chính bản thân model ML.
Rủi ro phát triển ML thường gặp
| Rủi ro tiềm ẩn | Cách giảm thiểu (test) |
|---|---|
| Dùng sai/không đúng ý API của thư viện hay framework (vd TensorFlow, PyTorch) | API testing (7.1.2) |
| Chọn framework chưa tối ưu | Framework suitability review |
| Lỗi thuật toán/model/framework gây bất công hệ thống | Kiểm thử thiên lệch (5.1.2) |
| Cài đặt/build framework bị lỗi | Smoke testing |
| Cài đặt sai phần đánh giá (evaluation) của framework | Review code đánh giá của framework · Đối chiếu chéo kết quả đánh giá (vd với benchmark thủ công) |
| Hiệu năng kém (vd framework phản hồi chậm) | Performance testing |
| Framework khó dùng | Usability testing |
| Lỗi trong thư viện được framework dùng (vd lỗi trong PyTorch); lỗi cài đặt thuật toán | ML functional performance testing (6.1.3) · Back-to-back testing (6.1.10) |
| Lỗ hổng bảo mật trong framework | Security testing |
| Tài liệu người dùng của framework kém | Review tài liệu framework |
| Chọn thuật toán chưa tối ưu | Algorithm suitability review · A/B testing (6.1.9) |
| Chọn hyperparameter chưa tối ưu (vd cấu trúc mạng, learning rate) | ML functional performance testing (6.1.3) · A/B testing (6.1.9) |
| Phân bổ dữ liệu sai vào tập huấn luyện/validation/test | Review phân bổ dữ liệu |
| Chọn cách đánh giá kém (vd k-fold cross-validation) | ML functional performance testing (6.1.3) |
| Diễn giải sai kết quả test do bản chất ngẫu nhiên của quá trình học | ML functional performance testing (6.1.3) |
| Lỗi triển khai (vd khi tạo bản chỉnh sửa cho nền tảng đích) | Smoke testing · ML functional performance testing (6.1.3) · A/B testing (6.1.9) |
| Model triển khai không tương thích môi trường vận hành | Smoke testing · MLS deployment testing (7.1.2) |
| Model triển khai không cải thiện so với model hiện tại | Shadow testing (7.1.2) |
📝 Bẫy hay gặp
Đề hay cho một phát biểu nghe hợp lý nhưng sai — nhớ mấy chỗ gài sau:
- "Chương 7 nói về rủi ro của chính model ML" → SAI: Chương 7 nói về rủi ro từ công cụ, cấu hình, và cơ chế triển khai — rủi ro model đã nói ở Chương 6.
- "Model không cải thiện so với hiện tại thì chỉ có thể phát hiện bằng A/B testing" → SAI: có thể phát hiện bằng Shadow testing (xem 7.1.2).
- "Diễn giải sai kết quả test do tính ngẫu nhiên của việc học không phải rủi ro cần test" → SAI: đây là một rủi ro thật, giảm thiểu bằng ML functional performance testing.
📌 Ghi nhớ
Chương 7 = rủi ro từ công cụ/framework · lựa chọn cấu hình · triển khai
Với tester: đừng chỉ nghi ngờ dữ liệu hoặc model khi hệ AI có vấn đề — hãy hỏi thêm: framework chọn có phù hợp không? hyperparameter có tối ưu không? cách đánh giá (evaluation) có đúng không?
📖 Thuật ngữ Anh–Việt (mục này)
Đề thi dùng thuật ngữ tiếng Anh — nhớ đúng cụm bên trái. Bấm 🔊 để nghe từng từ, hoặc "Đọc tất cả" để nghe lần lượt Anh → (vài giây) → Việt.
| Thuật ngữ (EN) | Nghĩa & ghi nhớ nhanh |
|---|---|
| ML development testing | Kiểm thử phát triển ML |
| Framework suitability review | Review sự phù hợp của framework |
| Algorithm suitability review | Review sự phù hợp của thuật toán |
| Hyperparameter | Siêu tham số — cấu hình đặt trước khi huấn luyện (vd learning rate) |
| k-fold cross-validation | Kiểm định chéo k-lần |
| Data allocation review | Review phân bổ dữ liệu |
| Usability testing | Kiểm thử tính khả dụng/dễ dùng |
🎯 Câu hỏi minh họa (phong cách đề CT-AI · K2)
A team selects a network structure and learning rate that turn out to be sub-optimal for their model. Which test approaches could help mitigate this risk?
- a) Smoke testing and installability testing.
- b) ML functional performance testing and A/B testing.
- c) Canary testing and rollback testing.
- d) Cross-device testing only.
Xem bản dịch tiếng Việt
Một nhóm chọn cấu trúc mạng và learning rate hóa ra chưa tối ưu cho model của họ. Cách tiếp cận test nào có thể giúp giảm thiểu rủi ro này?
a) Smoke testing và installability testing.
b) ML functional performance testing và A/B testing.
c) Canary testing và rollback testing.
d) Chỉ cross-device testing.
Xem đáp án & giải thích
✅ Đáp án đúng: b — chọn hyperparameter chưa tối ưu được giảm thiểu bằng ML functional performance testing và A/B testing theo syllabus.
a sai — smoke/installability testing nhắm vào lỗi cài đặt/triển khai, không phải chọn hyperparameter.
c sai — canary/rollback testing thuộc rủi ro triển khai (7.1.2), không phải chọn hyperparameter.
d sai — cross-device testing nhắm vào tương thích thiết bị, không liên quan hyperparameter.
Đề để tiếng Anh cho sát đề thi thật; phần giải thích để tiếng Việt cho dễ hiểu. Câu hỏi do maiqai.com tự soạn theo phong cách đề.
📎 Nguồn: Chương 7 – Kiểm thử trong phát triển ML, mục 7.1.1 "Machine Learning Development Risks and Mitigations", trang 64–65 — ISTQB® Certified Tester AI Testing Syllabus v2.0 (© International Software Testing Qualifications Board). Nội dung biên soạn/dịch ý lại bằng tiếng Việt, không sao chép nguyên văn.