📥 Chương 5 · Luyện đề

Luyện đề: Kiểm thử dữ liệu đầu vào cho ML

6 câu hỏi trắc nghiệm bám sát đề thi thật CT-AI. Trả lời hết rồi bấm "Nộp bài" để xem điểm và giải thích từng câu.

📎 Nguồn: 6 câu hỏi dưới đây trích nguyên văn từ bộ đề mẫu chính thức ISTQB® Certified Tester AI Testing — Sample Exam Set A v2.1 (© International Software Testing Qualifications Board), dùng cho mục đích học tập/luyện tập phi thương mại, có ghi rõ nguồn. Đề & đáp án giữ nguyên tiếng Anh như bản gốc để sát với đề thi thật.
Tác giả bộ đề: Klaudia Dussa-Zieger, Stuart Reid, Vipul Koch, Kyle Siemens, Qin Liu, Werner Henschelchen, Jarosław Hryszko (theo mục Acknowledgements của tài liệu gốc).

Câu 1/6 (#24)· 1 điểm· LO AI-5.1.1· mức K2

The team developing a new machine learning model has received a dataset from a new, unverified third-party vendor. They are uncertain about the origin of this dataset and concerned that the raw data may have been tampered with. Which of the following test approaches is MOST suitable for addressing this specific risk?

🇻🇳 Xem bản dịch tiếng Việt

Đội phát triển một mô hình machine learning mới đã nhận được một tập dữ liệu từ một nhà cung cấp bên thứ ba mới, chưa được xác minh. Họ không chắc chắn về nguồn gốc của tập dữ liệu này và lo ngại rằng dữ liệu thô có thể đã bị can thiệp. Cách tiếp cận test nào sau đây PHÙ HỢP NHẤT để giải quyết rủi ro cụ thể này?

a) Test nguồn gốc dữ liệu (data provenance testing)
b) Test tính đại diện của dữ liệu (data representativeness testing)
c) Test đặc trưng (feature testing)
d) Test ràng buộc tập dữ liệu (dataset constraint testing)

a) Data provenance testing
b) Data representativeness testing
c) Feature testing
d) Dataset constraint testing

Câu 2/6 (#25)· 1 điểm· LO AI-5.1.2· mức K2

A financial services company has developed an ML system for loan approval. A tester responsible for testing this system wants to determine if there is potential bias in the system related to factors such as gender and age attributes. Which of the following approaches would be MOST suitable for detecting bias in the training data early?

🇻🇳 Xem bản dịch tiếng Việt

Một công ty dịch vụ tài chính đã phát triển một hệ thống ML để phê duyệt khoản vay. Một tester chịu trách nhiệm test hệ thống này muốn xác định liệu có tồn tại bias tiềm ẩn trong hệ thống liên quan đến các yếu tố như giới tính và độ tuổi hay không. Cách tiếp cận nào sau đây PHÙ HỢP NHẤT để phát hiện sớm bias trong dữ liệu huấn luyện?

a) Thực hiện static analysis (phân tích tĩnh) trên mã nguồn của mô hình để xác định cách các phép toán trên thuộc tính độ tuổi và giới tính có thể dẫn đến bias
b) Test bằng một tập dữ liệu có tính đại diện và phân tích các dự đoán để tìm sự khác biệt có ý nghĩa thống kê trong kết quả theo độ tuổi và giới tính
c) Rà soát toàn bộ quy trình ML và quy trình chuẩn bị dữ liệu để xác định các nguồn tiềm ẩn có thể đưa bias vào
d) Thực hiện phân tích tác động khác biệt (disparate impact analysis) bằng cách sử dụng các kịch bản phản thực (counterfactual) dựa trên giới tính, độ tuổi hoặc cả hai

a) Conducting static analysis of the model's source code to identify how its operations on the age and gender related attributes could lead to bias
b) Testing using a dataset that is representative and analyzing the predictions for statistically significant differences in outcomes across age and gender
c) Reviewing the overall ML workflow and data preparation processes to identify potential sources of bias introduction
d) Performing disparate impact analysis using counterfactuals based on gender, age or both

Câu 3/6 (#26)· 1 điểm· LO AI-5.1.3· mức K2

What is a KEY difference in the test strategy for a data pipeline built for training versus one designed for an operational system?

🇻🇳 Xem bản dịch tiếng Việt

Đâu là sự khác biệt THEN CHỐT trong chiến lược test giữa một data pipeline được xây dựng cho việc huấn luyện so với một pipeline được thiết kế cho hệ thống đang vận hành (operational)?

a) Test một operational pipeline sẽ chủ yếu tập trung vào việc thẩm định từng script biến đổi (transformation script) riêng lẻ, trong khi test một training pipeline sẽ ưu tiên test hệ thống đầu-cuối (end-to-end)
b) Một training pipeline sẽ gần như chỉ dựa vào fault injection và back-to-back test, trong khi một operational pipeline sẽ chỉ giới hạn ở unit test và component integration test
c) Rà soát quản lý cấu hình (configuration management) sẽ rất quan trọng đối với operational pipeline nhưng được coi là không cần thiết với bản chất ít bài bản hơn của training pipeline mang tính khám phá
d) Test một training pipeline sẽ chủ yếu tập trung xác định dữ liệu được xử lý đúng, trong khi test một operational pipeline sẽ nhấn mạnh hiệu năng cao và độ tin cậy dưới tải

a) Testing an operational pipeline would focus mainly on validating individual transformation scripts, whereas a training pipeline's testing would prioritize end-to-end system testing
b) A training pipeline would rely almost exclusively on fault injection and back-to-back tests, while an operational pipeline would be limited to unit and component integration testing
c) Configuration management reviews would be critical for operational pipelines but are considered unnecessary for the less formal nature of exploratory training pipelines
d) Testing a training pipeline would primarily focus on determining that data is handled correctly, while an operational pipeline's testing would emphasize high performance and reliability under load

Câu 4/6 (#27)· 1 điểm· LO AI-5.1.4· mức K2

What is the purpose of creating a 'reference dataset' during data representativeness testing?

🇻🇳 Xem bản dịch tiếng Việt

Mục đích của việc tạo ra một "tập dữ liệu tham chiếu" (reference dataset) trong quá trình data representativeness testing là gì?

a) Nó đóng vai trò như một tập dữ liệu có thể áp dụng phổ quát, được xây dựng từ các benchmark đáng tin cậy của ngành
b) Nó đóng vai trò như một đường cơ sở định lượng (quantitative baseline) để so sánh một cách bài bản các tính chất thống kê của dữ liệu huấn luyện
c) Nó được dùng để áp dụng stratified sampling (lấy mẫu phân tầng) trực tiếp lên dữ liệu huấn luyện nhằm xác minh rằng mọi nhóm con đều được bao phủ
d) Nó đóng vai trò là tập dữ liệu chính để thực hiện thẩm định và test mô hình lần cuối với tính độc lập cao

a) It serves as a universally applicable dataset derived from trusted industry benchmarks
b) It functions as a quantitative baseline for formally comparing the statistical properties of the training data
c) It is used to apply stratified sampling directly to the training data to verify that all subgroups are covered
d) It serves as the primary dataset for performing the final model validation and testing with high independence

Câu 5/6 (#28)· 2 điểm· LO AI-5.1.5· mức K3

You are testing an ML dataset for a banking loan approval system. The dataset contains the following attributes: • applicant_id (integer, unique) • annual_income (decimal, in USD) • loan_amount (decimal, in USD) • credit_score (integer, 300-850) • employment_years (integer, 0-50) • monthly_payment (decimal, in USD) The following business rules apply: • Loan amount cannot exceed 5 times annual income • Monthly payment = loan_amount / 324 (for 30-year loans) • Credit scores must be within the standard range • All monetary values must be positive When applying dataset constraint testing to validate the 'monthly_payment' for 30-year loans, which type of constraint would be MOST appropriate?

🇻🇳 Xem bản dịch tiếng Việt

Bạn đang test một tập dữ liệu ML cho hệ thống phê duyệt khoản vay ngân hàng. Tập dữ liệu chứa các thuộc tính sau: • applicant_id (số nguyên, duy nhất) • annual_income (số thập phân, đơn vị USD) • loan_amount (số thập phân, đơn vị USD) • credit_score (số nguyên, 300-850) • employment_years (số nguyên, 0-50) • monthly_payment (số thập phân, đơn vị USD) Các quy tắc nghiệp vụ sau đây được áp dụng: • Số tiền vay không được vượt quá 5 lần thu nhập hàng năm • Khoản trả hàng tháng = loan_amount / 324 (đối với khoản vay 30 năm) • Điểm tín dụng phải nằm trong phạm vi chuẩn • Mọi giá trị tiền tệ phải là số dương Khi áp dụng dataset constraint testing để thẩm định "monthly_payment" cho các khoản vay 30 năm, loại constraint (ràng buộc) nào sau đây là PHÙ HỢP NHẤT?

a) Ràng buộc phạm vi một giá trị (single-value range constraint)
b) Ràng buộc đếm nhiều giá trị (multi-value count constraint)
c) Ràng buộc tương quan so sánh (comparison correlate constraint)
d) Ràng buộc trùng lặp nhiều giá trị (multi-value duplicate constraint)

a) Single-value range constraint
b) Multi-value count constraint
c) Comparison correlate constraint,
d) Multi-value duplicate constraint

Câu 6/6 (#29)· 1 điểm· LO AI-5.1.6· mức K2

Which of the following BEST explains the role of multiple annotations in data label correctness testing?

🇻🇳 Xem bản dịch tiếng Việt

Phương án nào sau đây giải thích TỐT NHẤT vai trò của multiple annotations (gán nhãn nhiều lần) trong data label correctness testing?

a) Multiple annotations có thể được dùng để tự động hóa việc xác minh nhãn nhằm đảm bảo tính nhất quán
b) Multiple annotations có thể chỉ ra các lỗi nhãn dựa trên việc so sánh các lần gán nhãn
c) Multiple annotations so sánh phân phối nhãn (label distribution) giữa các tập dữ liệu để phát hiện lỗi tiềm ẩn
d) Multiple annotations chỉ ra lỗi ở những điểm dữ liệu có giá trị model loss cao

a) Multiple annotations can be used to automate label verification to ensure consistency
b) Multiple annotations can point to label defects based on the comparison of annotations
c) Multiple annotations compare label distributions across datasets to detect potential defects
d) Multiple annotations point to defects in data points with high model loss