7 kiểu test khi đưa một model ML lên production
🎯 Mục tiêu học (LO AI-7.1.2 · mức K2 – Hiểu): giải thích các hình thức kiểm thử triển khai hệ thống ML.
💡 Ý cốt lõi: triển khai MLS gồm nhiều hoạt động test nhằm xác nhận hệ AI hoạt động đúng, đáng tin cậy trong môi trường đích (cloud, thiết bị biên, di động...) — mỗi kỹ thuật nhắm vào một rủi ro triển khai cụ thể.
7 kỹ thuật kiểm thử triển khai
| Kỹ thuật | Mục đích |
|---|---|
| Installability testing | Xác nhận MLS có thể cài đặt, cấu hình, và gỡ cài đặt thành công trên mọi môi trường được hỗ trợ. Gồm test các phụ thuộc hệ thống (vd driver GPU), tương thích framework, và chạy đúng script cài đặt. |
| Rollback testing | Xác nhận hệ có thể quay lại trạng thái ổn định trước đó sau một lần triển khai bị lỗi/suy giảm. Có thể chỉ áp dụng cho model hoặc cả hệ (kể cả data pipeline). Lưu ý: phải thực hiện TRƯỚC khi triển khai để xác nhận sẵn sàng rollback. |
| Canary testing | Xác nhận bản triển khai mới bằng cách phát hành model cập nhật cho một phần nhỏ traffic thật (vd 5% người dùng). Theo dõi các chỉ số thời gian thực (độ trễ, độ chính xác, tỉ lệ lỗi) để phát hiện hồi quy trước khi rollout toàn bộ. |
| Shadow testing | Chạy model mới song song với model production hiện tại theo thời gian thực, định tuyến cùng request đến cả hai mà không ảnh hưởng phản hồi thực tế cho người dùng. Cho phép so sánh model mới và cũ trên dữ liệu sống trong môi trường ít rủi ro, có kiểm soát — có thể phát hiện lỗi như suy giảm hiệu năng hay data drift trước khi triển khai đầy đủ. |
| Model conversion testing | Xác nhận model vẫn giữ độ chính xác dự đoán chấp nhận được, hành vi nhất quán, và hiệu quả vận hành (vd tốc độ suy luận, dung lượng bộ nhớ) sau khi được chuyển từ định dạng huấn luyện gốc sang định dạng triển khai phù hợp môi trường production đích. |
| Cross-device testing | Xác nhận MLS hoạt động đúng trên toàn dải mục tiêu triển khai dự kiến — từ thiết bị di động, thiết bị biên (edge), đến máy chủ cloud. |
| API testing | Xác nhận MLS cung cấp giao diện rõ ràng, tuân chuẩn. Kiểm tra xử lý đúng input/output, thông báo lỗi, và luồng tích hợp với hệ thống ngoài như nguồn dữ liệu, client, và pipeline. |
📝 Bẫy hay gặp
Đề hay cho một phát biểu nghe hợp lý nhưng sai — nhớ mấy chỗ gài sau:
- "Rollback testing có thể thực hiện sau khi triển khai xong cũng được" → SAI: phải thực hiện trước khi triển khai để xác nhận sẵn sàng rollback.
- "Canary testing và Shadow testing giống nhau — đều gửi cùng request đến model mới" → SAI: Canary định tuyến traffic thật (ảnh hưởng người dùng thật) đến một phần nhỏ; Shadow chạy song song, không ảnh hưởng phản hồi thực tế cho người dùng.
- "Model conversion testing chỉ quan tâm độ chính xác dự đoán" → SAI: còn quan tâm hành vi nhất quán và hiệu quả vận hành (tốc độ, bộ nhớ).
📌 Ghi nhớ
7 kỹ thuật: Installability · Rollback · Canary · Shadow · Model conversion · Cross-device · API testing
Với tester: phân biệt rõ Canary (traffic thật, rủi ro thấp nhưng có) và Shadow (song song, không ảnh hưởng người dùng, rủi ro thấp hơn) — đây là cặp dễ gây nhầm nhất trong Chương 7.
📖 Thuật ngữ Anh–Việt (mục này)
Đề thi dùng thuật ngữ tiếng Anh — nhớ đúng cụm bên trái. Bấm 🔊 để nghe từng từ, hoặc "Đọc tất cả" để nghe lần lượt Anh → (vài giây) → Việt.
| Thuật ngữ (EN) | Nghĩa & ghi nhớ nhanh |
|---|---|
| MLS deployment testing | Kiểm thử triển khai hệ thống ML |
| Installability testing | Kiểm thử khả năng cài đặt |
| Rollback testing | Kiểm thử khả năng quay lại trạng thái ổn định trước đó |
| Canary testing | Kiểm thử canary — phát hành cho một phần nhỏ traffic thật |
| Shadow testing | Kiểm thử bóng — chạy song song với hệ production, không ảnh hưởng người dùng |
| Model conversion testing | Kiểm thử chuyển đổi định dạng model |
| Cross-device testing | Kiểm thử đa thiết bị |
| API testing | Kiểm thử giao diện lập trình ứng dụng |
| Edge device | Thiết bị biên |
🎯 Câu hỏi minh họa (phong cách đề CT-AI · K2)
A team routes the same live requests to both the current production model and a new candidate model in real time, without letting the new model's output affect what users actually see. Which technique is this?
- a) Canary testing.
- b) Shadow testing.
- c) Rollback testing.
- d) Model conversion testing.
Xem bản dịch tiếng Việt
Một nhóm định tuyến cùng request thực tế đến cả model production hiện tại và một model ứng viên mới theo thời gian thực, mà không để output của model mới ảnh hưởng đến những gì người dùng thực sự thấy. Đây là kỹ thuật nào?
a) Canary testing.
b) Shadow testing.
c) Rollback testing.
d) Model conversion testing.
Xem đáp án & giải thích
✅ Đáp án đúng: b — chạy song song, không ảnh hưởng phản hồi thực tế cho người dùng chính là định nghĩa của Shadow testing.
a sai — Canary testing thực sự định tuyến traffic thật (ảnh hưởng một phần người dùng) đến model mới.
c sai — Rollback testing xác nhận khả năng quay lại trạng thái cũ, không liên quan chạy song song.
d sai — Model conversion testing liên quan chuyển đổi định dạng model, không liên quan chạy song song.
Đề để tiếng Anh cho sát đề thi thật; phần giải thích để tiếng Việt cho dễ hiểu. Câu hỏi do maiqai.com tự soạn theo phong cách đề.
📎 Nguồn: Chương 7 – Kiểm thử trong phát triển ML, mục 7.1.2 "Machine Learning System Deployment Testing", trang 65–66 — ISTQB® Certified Tester AI Testing Syllabus v2.0 (© International Software Testing Qualifications Board). Nội dung biên soạn/dịch ý lại bằng tiếng Việt, không sao chép nguyên văn.