Luyện đề: Kiểm thử hệ thống AI
7 câu hỏi trắc nghiệm bám sát đề thi thật CT-AI. Trả lời hết rồi bấm "Nộp bài" để xem điểm và giải thích từng câu.
Tác giả bộ đề: Klaudia Dussa-Zieger, Stuart Reid, Vipul Koch, Kyle Siemens, Qin Liu, Werner Henschelchen, Jarosław Hryszko (theo mục Acknowledgements của tài liệu gốc).
Given the following examples of AI-based systems: i. A system that learns from real-time data to improve its failure predictions and automatically updates maintenance schedules ii. A spam filter for an email app, which identifies spam based on predefined rules iii. A recommendation engine on a streaming service that updates its suggestions based on a user's changing viewing habits and preferences iv. A personal assistant that learns continuously from its user v. A rule-based system for medical diagnosis Which of the following BEST describes the systems which can be considered to be locked AI-based systems?
🇻🇳 Xem bản dịch tiếng Việt
Cho các ví dụ hệ thống dựa trên AI sau đây: i. Một hệ thống học từ dữ liệu thời gian thực để cải thiện dự đoán hỏng hóc và tự động cập nhật lịch bảo trì ii. Một bộ lọc thư rác cho ứng dụng email, xác định thư rác dựa trên các quy tắc định trước iii. Một hệ gợi ý trên dịch vụ streaming, cập nhật đề xuất dựa trên thói quen và sở thích xem đang thay đổi của người dùng iv. Một trợ lý cá nhân liên tục học từ người dùng của nó v. Một hệ thống dựa trên luật (rule-based) cho chẩn đoán y khoa Phương án nào sau đây mô tả TỐT NHẤT các hệ thống có thể được coi là hệ AI khóa (locked AI-based system)?
- a) ii và v
- b) i, iii và iv
- c) i và iii
- d) ii, iv và v
Which of the following options BEST explains why a statistical approach is necessary when testing an AI-based system?
🇻🇳 Xem bản dịch tiếng Việt
Phương án nào sau đây giải thích TỐT NHẤT vì sao cần một cách tiếp cận thống kê (statistical approach) khi test một hệ thống dựa trên AI?
- a) Hệ thống thường lớn và phức tạp, khiến việc tự động hóa test trở nên bất khả thi nếu không dùng phương pháp lấy mẫu thống kê (statistical sampling)
- b) Hệ thống thể hiện hành vi không xác định, đòi hỏi tập dữ liệu test lớn và có tính đại diện để rút ra kết luận có ý nghĩa
- c) Một test case duy nhất là đủ để xác định liệu mô hình có được hiệu chỉnh (calibrated) tốt hay không, nhưng chỉ có phương pháp thống kê mới có thể xác minh độ chính xác
- d) Hệ thống được huấn luyện trên dữ liệu thực tế nên không cần tập dữ liệu test riêng; thay vào đó, nó chỉ cần thẩm định thống kê (statistical validation)
Why is setting a 'seed' only a LIMITED solution for addressing the test oracle problem in AI systems?
🇻🇳 Xem bản dịch tiếng Việt
Vì sao việc thiết lập một "seed" chỉ là một giải pháp GIỚI HẠN để giải quyết vấn đề test oracle trong các hệ thống AI?
- a) Đây là một phương pháp chỉ hoạt động với các hệ thống AI được xây dựng từ đặc tả kỹ thuật đầy đủ và chi tiết
- b) Nó đảm bảo khả năng tái lập (reproducibility) cho từng lượt chạy test riêng lẻ nhưng không thể thay đổi bản chất xác suất vốn có của mô hình khi vận hành trong môi trường production
- c) Sự thành công của nó phụ thuộc vào việc tham vấn sâu rộng với chuyên gia lĩnh vực để chọn ra giá trị seed phù hợp nhất cho các bài test
- d) Nó đưa vào một mức độ chủ quan cao trong hành vi của mô hình, làm phức tạp thêm quá trình đánh giá test.
Which of the following statements BEST describes a common approach to testing GenAI models?
🇻🇳 Xem bản dịch tiếng Việt
Phát biểu nào sau đây mô tả TỐT NHẤT một cách tiếp cận phổ biến để test các mô hình GenAI?
- a) Mô hình GenAI được test bằng cách xác minh đầu ra khớp chính xác với kết quả mong đợi đã định trước
- b) Nó bao gồm việc thay đổi đa dạng đầu vào và tham số, sau đó đánh giá mức độ đầu ra tuân thủ các quy tắc, vì việc khớp trực tiếp đầu vào-đầu ra là không khả thi
- c) Vì mô hình GenAI mang tính xác suất, việc test một cách bài bản là không cần thiết bởi đầu ra sẽ luôn thay đổi và không thể đánh giá hiệu quả
- d) Mô hình GenAI chủ yếu được test qua rà soát thủ công (manual review), vì test tự động không áp dụng được cho các đầu ra AI mang tính sáng tạo
Your organization plans to deploy a GenAI-powered legal document generator. During implementation planning, the security team argues for focusing red teaming efforts on preventing prompt injection attacks, while the compliance team wants to prioritize bias detection in legal advice generation. The development team suggests running red teaming after the system goes live to save time. Which of the following is the MOST effective red teaming implementation strategy for this scenario?
🇻🇳 Xem bản dịch tiếng Việt
Tổ chức của bạn dự định triển khai một công cụ sinh tài liệu pháp lý dựa trên GenAI. Trong giai đoạn lập kế hoạch triển khai, đội bảo mật lập luận nên tập trung nỗ lực red teaming vào việc ngăn chặn tấn công prompt injection, trong khi đội tuân thủ (compliance) muốn ưu tiên phát hiện bias trong nội dung tư vấn pháp lý được sinh ra. Đội phát triển đề xuất chạy red teaming sau khi hệ thống lên production để tiết kiệm thời gian. Chiến lược triển khai red teaming nào sau đây là HIỆU QUẢ NHẤT cho tình huống này?
- a) Ưu tiên xử lý các lỗ hổng bảo mật trước, sau đó xử lý các vấn đề về bias trong một giai đoạn riêng sau khi triển khai
- b) Tập trung vào phát hiện bias vì độ chính xác của tư vấn pháp lý quan trọng hơn các vấn đề bảo mật
- c) Triển khai ngay lập tức và thực hiện red teaming một cách bị động, dựa trên sự cố và phản hồi của người dùng
- d) Sử dụng các kịch bản tấn công bao phủ cả lỗ hổng bảo mật lẫn lỗ hổng về bias trước khi triển khai
An ML-based weather prediction system provides excellent results for most locations; however, it has been noticed that the predictions for areas in the UK with an altitude greater than 1250 meters are regularly inaccurate. Which of the following test levels should have been performed MORE thoroughly?
🇻🇳 Xem bản dịch tiếng Việt
Một hệ thống dự báo thời tiết dựa trên ML cho kết quả rất tốt ở hầu hết các địa điểm; tuy nhiên, người ta nhận thấy các dự đoán cho những khu vực ở Anh có độ cao trên 1250 mét thường xuyên không chính xác. Cấp độ test nào sau đây lẽ ra cần được thực hiện KỸ LƯỠNG HƠN?
- a) Test hệ thống (system testing)
- b) Test dữ liệu đầu vào (input data testing)
- c) Test tích hợp thành phần (component integration testing)
- d) Test mô hình ML (ML model testing)
Which of the following statements about applying risk-based testing to ML systems is CORRECT?
🇻🇳 Xem bản dịch tiếng Việt
Phát biểu nào sau đây về việc áp dụng risk-based testing (test dựa trên rủi ro) cho hệ thống ML là ĐÚNG?
- a) Rủi ro về bảo mật và tính khả dụng (usability) có thể áp dụng cho bất kỳ hệ thống nào, trong khi các rủi ro liên quan đến bias dữ liệu và hiệu năng mô hình ML là đặc thù riêng của hệ thống ML
- b) Hệ thống truyền thống xử lý các rủi ro liên quan đến bias dữ liệu, trong khi hệ thống ML tập trung vào các rủi ro liên quan đến bias thuật toán
- c) Quản lý rủi ro trong hệ thống truyền thống là một cách tiếp cận tĩnh, trong khi ở hệ thống tự học, rủi ro cần được điều chỉnh một cách động
- d) Trong hệ thống truyền thống, tính đúng đắn chức năng (functional correctness) là yếu tố rủi ro chính, còn khả năng thích ứng chức năng (functional adaptability) là yếu tố rủi ro chính đối với hệ thống ML