Luyện đề: Kiểm thử mô hình cho ML
9 câu hỏi trắc nghiệm bám sát đề thi thật CT-AI. Trả lời hết rồi bấm "Nộp bài" để xem điểm và giải thích từng câu.
Tác giả bộ đề: Klaudia Dussa-Zieger, Stuart Reid, Vipul Koch, Kyle Siemens, Qin Liu, Werner Henschelchen, Jarosław Hryszko (theo mục Acknowledgements của tài liệu gốc).
Given the following test techniques and test types: 1. ML functional performance testing 2. Testing for bias 3. Adversarial testing 4. Drift testing And the following risks: A. The ML model might perform differently for different demographic groups B. Slightly modified inputs to the ML model might cause quite different and unexpected responses C. Predictions made by the ML model might be inaccurate in some cases D. ML model accuracy might have significantly decreased since it was deployed Which of the following options BEST matches the test techniques and test types with the risks?
🇻🇳 Xem bản dịch tiếng Việt
Cho các kỹ thuật test và loại test sau đây: 1. ML functional performance testing (test hiệu năng chức năng của ML) 2. Testing for bias (test bias) 3. Adversarial testing 4. Drift testing Và các rủi ro sau đây: A. Mô hình ML có thể hoạt động khác nhau đối với các nhóm nhân khẩu học (demographic group) khác nhau B. Đầu vào bị thay đổi nhẹ cho mô hình ML có thể gây ra những phản hồi khác biệt đáng kể và ngoài dự kiến C. Các dự đoán do mô hình ML đưa ra có thể không chính xác trong một số trường hợp D. Độ chính xác của mô hình ML có thể đã suy giảm đáng kể kể từ khi triển khai Phương án nào sau đây khớp TỐT NHẤT các kỹ thuật/loại test với các rủi ro?
- a) 1A – 2D – 3C – 4B
- b) 1C – 2A – 3B – 4D
- c) 1B – 2A – 3C – 4D
- d) 1A – 2C – 3D – 4B
Which of the following statements about the documentation of ML models is CORRECT?
🇻🇳 Xem bản dịch tiếng Việt
Phát biểu nào sau đây về tài liệu (documentation) của mô hình ML là ĐÚNG?
- a) Thông tin liên quan đến tốc độ dự đoán của mô hình là một phần của tài liệu cho một thành phần AI
- b) Sự tương tác giữa các thành phần AI và không-AI nằm trong phạm vi của tài liệu mô hình
- c) Các đặc điểm liên quan đến bias của dữ liệu đầu vào khó đánh giá vì tài liệu mô hình không chứa nguồn gốc của dữ liệu huấn luyện
- d) Các thay đổi do hệ thống ML tự học thực hiện được ghi lại đầy đủ ngay tại thời điểm cập nhật để đảm bảo tài liệu luôn cập nhật
Upon release, an ML model provided correct predictions fewer times than expected. Additional tests have been conducted, and the level of accuracy for these tests was measured at 83%. Previously, the ML model had achieved an accuracy of 83% ± 4% at a confidence level of 94%. Which of the following options is MOST likely to represent the current situation?
🇻🇳 Xem bản dịch tiếng Việt
Khi mới ra mắt, mô hình ML đưa ra dự đoán đúng ít lần hơn kỳ vọng. Các bài test bổ sung đã được thực hiện, và mức độ chính xác đo được cho các bài test này là 83%. Trước đó, mô hình ML đã đạt độ chính xác 83% ± 4% ở mức độ tin cậy (confidence level) 94%. Phương án nào sau đây CÓ KHẢ NĂNG NHẤT phản ánh tình huống hiện tại?
- a) độ chính xác 83% ± 2% ở mức độ tin cậy 94%
- b) độ chính xác 83% ± 4% ở mức độ tin cậy 92%
- c) độ chính xác 83% ± 6% ở mức độ tin cậy 94%
- d) độ chính xác 85% ± 4% ở mức độ tin cậy 94%
Which of the following statements BEST summarizes adversarial testing of machine learning systems?
🇻🇳 Xem bản dịch tiếng Việt
Phát biểu nào sau đây tóm tắt TỐT NHẤT về adversarial testing đối với các hệ thống machine learning?
- a) Đây là một dạng black-box testing, bỏ qua kiến thức về nội bộ của hệ thống machine learning khi tạo ra các adversarial example
- b) Nó tập trung vào việc tạo thủ công các adversarial example, không có tự động hóa, để test lỗ hổng của hệ thống machine learning
- c) Nó xác định các lỗ hổng của mô hình thông qua adversarial example, tức các đầu vào bị nhiễu loạn (perturb) ở mức tối thiểu nhằm gây ra phân loại sai
- d) Nó xác minh chức năng của hệ thống machine learning bằng cách sử dụng lại các test đã hoạt động tốt trước đó nhằm tránh các lỗi mô hình ML trong quá trình đánh giá và tinh chỉnh
An AI-based mobile phone search system provides a list of phones that it believes are most suitable for the user based on its knowledge of the user's previous mobile phone usage and their specified preferences. Metamorphic testing is being used with the following source test case: Inputs Selected price range: $200-$300 3D camera: Don't care Screen size: mid to large OS: Android or iOS Battery Life: Don't care Outputs Recommended Phones: SnapHappy_X1 SnapHappy_M2 SnapHappy_M3 ClickNow_1000x ClickNow_1000xs And this test data for two corresponding follow-up test cases: Input T1 Selected price range: $200-$300 3D camera: yes Screen size: mid to large OS: Android or iOS Battery Life: Don't care Input T2 Selected price range: $200-$300 3D camera: no Screen size: mid to large OS: Android or iOS Battery Life: Don't care Which of the following options is MOST likely to be a valid list of recommended phones for the follow-up test cases?
🇻🇳 Xem bản dịch tiếng Việt
Một hệ thống tìm kiếm điện thoại di động dựa trên AI cung cấp danh sách các điện thoại mà nó cho là phù hợp nhất với người dùng, dựa trên hiểu biết về lịch sử sử dụng điện thoại trước đây và các sở thích đã khai báo của người dùng. Metamorphic testing đang được áp dụng với test case nguồn (source test case) sau đây: Đầu vào Khoảng giá đã chọn: $200-$300 Camera 3D: Không quan trọng Kích thước màn hình: trung bình đến lớn Hệ điều hành: Android hoặc iOS Thời lượng pin: Không quan trọng Đầu ra Điện thoại được gợi ý: SnapHappy_X1 SnapHappy_M2 SnapHappy_M3 ClickNow_1000x ClickNow_1000xs Và dữ liệu test sau đây cho hai test case theo sau (follow-up test case) tương ứng: Đầu vào T1 Khoảng giá đã chọn: $200-$300 Camera 3D: có Kích thước màn hình: trung bình đến lớn Hệ điều hành: Android hoặc iOS Thời lượng pin: Không quan trọng Đầu vào T2 Khoảng giá đã chọn: $200-$300 Camera 3D: không Kích thước màn hình: trung bình đến lớn Hệ điều hành: Android hoặc iOS Thời lượng pin: Không quan trọng Phương án nào sau đây CÓ KHẢ NĂNG NHẤT là danh sách điện thoại gợi ý hợp lệ cho các test case theo sau?
- a) T1: SnapHappy_X1, SnapHappy_M2 T2: ClickNow_1000x, ClickNow_1000xs
- b) T1: SnapHappy_M2, SnapHappy_M3, ClickNow_1000xs T2: SnapHappy_X1, ClickNow_1000x
- c) T1: SnapHappy_X1, SnapHappy_M2, SnapHappy_M3, ClickNow_1000x, ClickNow_1000xs T2: SnapHappy_X1, SnapHappy_M2, SnapHappy_M3
- d) T1: SnapHappy_X1, SnapHappy_M2, SnapHappy_M3, ClickNow_1000x, ClickNow_1000xs T2: SnapHappy_X1, SnapHappy_M2, SnapHappy_M3, ClickNow_1000x, ClickNow_1000xs
An organization uses an ML model to predict customer churn but has no mechanism to get direct user feedback or track when customers leave. They want to test for drift by analyzing the data being fed into the live ML model. Which test type would be MOST appropriate in this situation and why?
🇻🇳 Xem bản dịch tiếng Việt
Một tổ chức sử dụng mô hình ML để dự đoán khách hàng rời bỏ (churn) nhưng không có cơ chế nào để nhận phản hồi trực tiếp từ người dùng hay theo dõi khi nào khách hàng thực sự rời đi. Họ muốn test drift bằng cách phân tích dữ liệu đang được đưa vào mô hình ML đang vận hành thực tế. Loại test nào sau đây PHÙ HỢP NHẤT trong tình huống này, và vì sao?
- a) Dynamic drift testing, vì nó có thể suy ra ground truth hiện tại bằng cách phân tích các tính chất thống kê của dữ liệu đầu vào
- b) Static drift testing, vì nó xác định drift bằng cách phát hiện thay đổi trong phân phối dữ liệu mà không cần ground truth
- c) Dynamic drift testing, vì việc so sánh dự đoán của mô hình ML với kết quả thực tế là cách trực tiếp nhất để đo mức độ suy giảm hiệu năng
- d) Static drift testing, vì nó so sánh các chỉ số hiệu năng (performance metric) thực tế của mô hình ML với một ngưỡng chấp nhận định trước
When testing a trained ML model, the development team found that the model was highly accurate when evaluated using validation data but performed poorly with independent test data. Which of the following options is MOST likely to cause this situation?
🇻🇳 Xem bản dịch tiếng Việt
Khi test một mô hình ML đã được huấn luyện, đội phát triển nhận thấy mô hình có độ chính xác rất cao khi đánh giá bằng dữ liệu validation nhưng lại hoạt động kém khi dùng dữ liệu test độc lập. Phương án nào sau đây CÓ KHẢ NĂNG NHẤT là nguyên nhân của tình huống này?
- a) Underfitting (chưa khớp)
- b) Concept drift
- c) Overfitting (quá khớp)
- d) Tiêu chí chấp nhận (acceptance criteria) thấp
Which of the following statements BEST describes how A/B testing is used in the context of a machine learning system (MLS)?
🇻🇳 Xem bản dịch tiếng Việt
Phát biểu nào sau đây mô tả TỐT NHẤT cách A/B testing được sử dụng trong bối cảnh của một hệ thống machine learning (MLS)?
- a) A/B testing chủ yếu được dùng để tạo ra các test case đa dạng, bao phủ mọi đầu vào có thể có cho một MLS
- b) A/B testing được dùng để xác minh rằng tất cả các thành phần trong một MLS tương tác đúng với nhau
- c) A/B testing xác định liệu một phiên bản MLS đã cập nhật có hoạt động tốt hơn phiên bản trước đó hay không
- d) A/B testing tập trung phân tích cấu trúc thuật toán nội bộ của một MLS để xác định các lỗi tiềm ẩn
Which of the following descriptions of the creation of a pseudo-oracle used to support the back-to-back testing of an ML model is MOST likely to be CORRECT?
🇻🇳 Xem bản dịch tiếng Việt
Mô tả nào sau đây về việc tạo ra một pseudo-oracle dùng để hỗ trợ back-to-back testing cho một mô hình ML CÓ KHẢ NĂNG NHẤT là ĐÚNG?
- a) Bằng cách thay đổi các hyperparameter dùng để huấn luyện mô hình ML đang được test
- b) Bằng cách fine-tune mô hình ML đang được test
- c) Bằng cách bổ sung retrieval-augmented generation cho mô hình ML đang được test
- d) Bằng cách sử dụng một ML development framework khác với framework của mô hình ML đang được test