Hệ AI "khóa" và hệ AI "thích ứng" — vì sao độ khó test khác hẳn nhau
🎯 Mục tiêu học (LO AI-4.1.1 · mức K2 – Hiểu): so sánh khả năng kiểm thử (testability) của hệ AI locked và hệ AI adaptive.
💡 Ý cốt lõi: hệ locked không đổi hành vi sau triển khai → dễ test hơn nhiều so với hệ adaptive — hệ tự thay đổi hành vi khi đang chạy.
Locked vs Adaptive
| Locked AI-based system | Adaptive AI-based system | |
|---|---|---|
| Hành vi sau triển khai | Cố định — trọng số (weights/biases) của mô hình chỉ đổi nếu retrain rồi triển khai lại. | Có thể tự thay đổi — ví dụ hệ reinforcement learning cập nhật theo hàm thưởng hoặc theo môi trường mới. |
| Ví dụ | Mô hình DNN nhận diện biển báo/làn đường trong xe tự lái (tác vụ an toàn thường dùng hệ locked). | Hệ gợi ý sản phẩm thương mại điện tử, tự điều chỉnh theo hành vi & sở thích đang thay đổi của người dùng. |
| Độ khó kiểm thử | Dễ hơn — về cơ bản gần như deterministic nên kết quả mong đợi không đổi. | Khó hơn nhiều — hành vi mới không đoán trước được, thậm chí có thể đổi ngay trong lúc đang test hoặc do chính việc test gây ra. |
| Khi cập nhật/thay đổi | Bản cập nhật được xem là một hệ thống MỚI → phải test lại từ đầu. | Test trước triển khai bằng cách mô phỏng thay đổi môi trường, test cơ chế học, test khả năng thích ứng trong kịch bản có kiểm soát. |
Nhiều hệ GenAI (như chatbot dựa trên LLM) nằm ở giữa hai thái cực: hành vi cố định trong lúc chạy (locked tại runtime) nhưng được cập nhật định kỳ. Nói chung, hệ AI trải dài trên một continuum — từ deterministic hoàn toàn đến tự học/tự đổi hoàn toàn.
Với hệ adaptive, vì không đoán trước được mọi hành vi mới nên không thể chuẩn bị sẵn test case cho chúng. Cách làm thực tế: xây bộ test tự động tập trung vào chức năng cốt lõi, chạy lại mỗi khi hệ có thay đổi lớn để xác nhận việc thích ứng vẫn an toàn; đồng thời theo dõi để phát hiện hiệu năng suy giảm quá một ngưỡng nhất định — việc này có thể làm sau một thay đổi lớn hoặc như một phần của giám sát liên tục (monitoring).
📝 Bẫy hay gặp
Đề hay cho một phát biểu nghe hợp lý nhưng sai — nhớ mấy chỗ gài sau:
- "Hệ locked luôn 100% deterministic" → SAI: mạng nơ-ron lớn vẫn có thể cho kết quả khác nhau do giới hạn dấu phẩy động và cách phần cứng thực thi song song (GPU).
- "Cập nhật một hệ locked thì không cần test lại toàn bộ" → SAI: hệ sau cập nhật được coi là một hệ thống mới, cần vòng test mới.
- "Chatbot LLM luôn là hệ adaptive vì nó 'học' trong lúc trò chuyện" → SAI: phần lớn chatbot GenAI locked khi đang chạy, chỉ được cập nhật theo đợt — nằm giữa hai thái cực.
📌 Ghi nhớ
Locked = hành vi cố định sau triển khai → dễ test hơn
Adaptive = tự thay đổi hành vi khi đang chạy → khó test hơn, cần giám sát liên tục
Với tester: gặp hệ locked, cứ test như phần mềm gần-deterministic bình thường; gặp hệ adaptive, không cố viết hết test case cho "mọi hành vi tương lai" — thay vào đó dựng bộ test tự động cho chức năng cốt lõi và theo dõi ngưỡng suy giảm hiệu năng sau mỗi lần hệ thích ứng.
📖 Thuật ngữ Anh–Việt (mục này)
Đề thi dùng thuật ngữ tiếng Anh — nhớ đúng cụm bên trái. Bấm 🔊 để nghe từng từ, hoặc "Đọc tất cả" để nghe lần lượt Anh → (vài giây) → Việt.
| Thuật ngữ (EN) | Nghĩa & ghi nhớ nhanh |
|---|---|
| Locked AI-based system | Hệ AI khóa — hành vi cố định sau triển khai |
| Adaptive AI-based system | Hệ AI thích ứng — tự thay đổi hành vi sau triển khai |
| Deterministic | Xác định — cùng đầu vào luôn ra cùng đầu ra |
| Non-deterministic | Không xác định — cùng đầu vào có thể ra đầu ra khác nhau |
| Reward function | Hàm thưởng — quy tắc chấm điểm hành động trong reinforcement learning |
| Reinforcement learning | Học tăng cường — agent tự thích ứng qua thưởng/phạt |
| Retrain | Huấn luyện lại mô hình |
| Continuum | Dải liên tục (từ locked hoàn toàn đến adaptive hoàn toàn) |
| Monitoring | Giám sát liên tục hệ thống sau triển khai |
🎯 Câu hỏi minh họa (phong cách đề CT-AI · K2)
A deployed DNN model for traffic-sign recognition in a self-driving car keeps fixed weights until it is retrained and redeployed. How should this system be classified, and why is it easier to test than a reinforcement-learning recommender?
- a) Adaptive — because DNNs always learn during inference.
- b) Locked — its behavior is fixed post-deployment, so expected results stay stable, unlike a system that keeps changing based on a reward function.
- c) Locked — because it never produces non-deterministic output under any condition.
- d) Adaptive — because GPUs process it in parallel.
Xem bản dịch tiếng Việt
Một mô hình DNN nhận diện biển báo giao thông trong xe tự lái giữ nguyên trọng số cho đến khi được huấn luyện lại và triển khai lại. Hệ này nên được xếp loại thế nào, và vì sao nó dễ test hơn một hệ gợi ý dùng reinforcement learning?
a) Adaptive — vì DNN luôn học trong lúc suy luận.
b) Locked — hành vi cố định sau triển khai nên kết quả mong đợi ổn định, khác với hệ liên tục thay đổi theo hàm thưởng.
c) Locked — vì nó không bao giờ cho kết quả non-deterministic trong bất kỳ điều kiện nào.
d) Adaptive — vì GPU xử lý song song.
Xem đáp án & giải thích
✅ Đáp án đúng: b — locked vì trọng số cố định sau triển khai, nên dễ test hơn hệ adaptive vốn tự đổi theo hàm thưởng.
a sai — DNN đã triển khai không tự học trong lúc suy luận trừ khi được retrain.
c sai — mạng lớn vẫn có thể non-deterministic do dấu phẩy động/song song hóa, dù về cơ bản coi là locked.
d sai — chạy trên GPU không quyết định hệ là adaptive hay không; yếu tố quyết định là hệ có tự thay đổi hành vi sau triển khai hay không.
Đề để tiếng Anh cho sát đề thi thật; phần giải thích để tiếng Việt cho dễ hiểu. Câu hỏi do maiqai.com tự soạn theo phong cách đề.
📎 Nguồn: Chương 4 – Kiểm thử hệ thống dựa trên AI, mục 4.1.1 "Locked and Adaptive AI-Based Systems", trang 39–40 — ISTQB® Certified Tester AI Testing Syllabus v2.0 (© International Software Testing Qualifications Board). Nội dung biên soạn/dịch ý lại bằng tiếng Việt, không sao chép nguyên văn.