Hôm nay tôi nhận được thư của một đồng nghiệp trẻ (vốn là học trò cũ
của tôi) về một tình huống thường gặp liên quan đến
việc thí sinh đoán mò khi làm bài trắc nghiệm. Nguyên văn thư như sau:
--------
Hi cô PA. Hôm nay em chấm thi [...] bên trường [...], và gặp tình huống này. Trong phần trả lời True False, thí sinh đánh true hoặc false hết tất cả các số câu, và trúng được hơn 50%. Vậy trong testing, xử lý trường hợp này thế nào? [Những người có trách nhiệm] lúng túng, và cho qua. Quan điểm cô PA thế nào ạ?
--------
Đây là một tình huống có thể xem là kinh điển đối với những người làm trong nghề "khảo thí" (tức tổ chức thi cử, chấm điểm, quyết định mức đậu rớt vv) giống như tôi. Vì là kinh điển nên cách xử lý cũng đã có sẵn, chỉ việc áp dụng. Nhưng rất lạ là hình như ở VN vẫn có rất nhiều người không biết, bằng chứng là tình huống mà tôi nêu ở trên. Vì vậy, bài viết này của tôi nhằm giới thiệu vắn tắt những cách xử lý đối với tình huống tương tự như trên - gọi chung là cách loại trừ (= làm giảm tầm ảnh hưởng của) khả năng đoán mò.
1. Chấm theo công thức (formula scoring, viết tắt là FS, tức là điểm đã điều chỉnh để loại trừ đoán mò)
FS = R - (W/C-1)
(Công thức này có thể tìm thấy ở nhiều nơi, ví dụ ở đây: www.personal.psu.edu/users/d/m/dmr/papers/CORR4GUS.pdf hoặc ở đây: http://ncme.org/linkservid/65C63B8F-1320-5CAE-6EFB0D72A6C55DD8/showMeta/0/.
Giải thích công thức:
FS là formula scoring (điểm điều chỉnh đoán mò)
R là số câu đúng
W là số câu sai
C là số các lựa chọn
Diễn lại công thức trên bằng lời: "Điểm điểu chỉnh đoán mò được tính bằng [số câu đúng] trừ cho [số câu đúng do đoán mò]. [Số câu đúng do đoán mò] được tính bằng cách lấy [số câu sai] chia cho [số lựa chọn trừ đi 1]."
Để hiểu công thức này xin xem ví dụ sau đây, viết lại từ tài liệu của Dennis Roberts (link đầu tiên ở trên).
Có một thí sinh làm bài trắc nghiệm có 50 câu, đạt 38 điểm (đúng 38 câu) và sai 12 câu. Bài trắc nghiệm này có 5 lựa chọn, trong đó có 1 đáp án (câu đúng) và 4 lựa chọn sai.
Giả định rằng khi thí sinh biết câu trả lời thì đương nhiên sẽ có chọn lựa đúng. Khi không biết thì thí sinh sẽ chọn đại, và xác xuất chọn đúng do đoán mò là 1/C (C là số các lựa chọn - công thức ở trên). Khi có 5 lựa chọn thì cơ hội chọn đúng là 1/5, tức cứ 5 lần đoán mò thì có 4 lần chọn sai và 1 lần chọn đúng.
Từ đó có thể suy ra [số câu đúng do đoán mò] bằng với [số câu sai] chia cho [số lựa chọn trừ đi 1]. Áp dụng cho ví dụ trên thì thí sinh đã làm sai 12 câu, cũng có nghĩa số câu đúng do đoán mò là 12/4 = 3 (áp dụng công thức: W/C-1). Như vậy điểm điều chỉnh đoán mò (FR) của thí sinh này là 38-(12/4) = 35 điểm.
Trong trường hợp chỉ có hai lựa chọn thì C-1 = 2-1 = 1, nên công thức trên trở thành: "Điểm điểu chỉnh đoán mò được tính bằng [số câu đúng] trừ cho [số câu sai]. Nếu trong ví dụ nêu trên bài thi chỉ có 2 lựa chọn (T/F) thì thí sinh sẽ đạt 38-12 = 26 điểm.
Như vậy, quay lại tình huống đã nêu, thí sinh chỉ đạt trên 50%, giả sử 55/100, tức đúng 55 câu và sai 45 câu, thì áp dụng công thức điều chỉnh đoán mò, thí sinh chỉ còn đạt được 55-45= 10 điểm, tức hoàn toàn không thể đậu được!!!! Vậy mà trong một kỳ thi quan trọng như tình huống nêu trên, mặc dù giảng viên chấm thi đã có đầy đủ lý do để kết luận thí sinh đoán mò (chọn "một bề" tức là từ trên xuống dưới chỉ một lựa chọn) nhưng vẫn phải chấp nhận cho thí sinh đậu vì không biết xử lý ra sao!!!
Nói thêm: Việc áp dụng điều chỉnh đoán mò cũng còn nhiều tranh cãi, vì ở đây giả định chỉ có hai tình huống: một là thí sinh biết chắc chắn câu đúng, hai là thí sinh hoàn toàn không biết câu trả lời. Trên thực tế thường không phải thế, mà thí sinh có thể có nhiều mức độ của sự không biết -từ không biết một chút nào đến biết gần đầy đủ nhưng vẫn còn chút nhầm lẫn .... Tuy nhiên, trong tình huống nêu trên thì áp dụng công thức điều chỉnh là hợp lý. Ngoài ra, nhiều nơi áp dụng công thức này (dù không hoàn hảo) trong những kỳ thi quan trọng khi tỷ lệ chọi rất cao, vì nó cho phép dễ dàng loại ra những thí sinh trung bình để chỉ còn lại những thí sinh xuất sắc.
(còn tiếp)
--------
Hi cô PA. Hôm nay em chấm thi [...] bên trường [...], và gặp tình huống này. Trong phần trả lời True False, thí sinh đánh true hoặc false hết tất cả các số câu, và trúng được hơn 50%. Vậy trong testing, xử lý trường hợp này thế nào? [Những người có trách nhiệm] lúng túng, và cho qua. Quan điểm cô PA thế nào ạ?
--------
Đây là một tình huống có thể xem là kinh điển đối với những người làm trong nghề "khảo thí" (tức tổ chức thi cử, chấm điểm, quyết định mức đậu rớt vv) giống như tôi. Vì là kinh điển nên cách xử lý cũng đã có sẵn, chỉ việc áp dụng. Nhưng rất lạ là hình như ở VN vẫn có rất nhiều người không biết, bằng chứng là tình huống mà tôi nêu ở trên. Vì vậy, bài viết này của tôi nhằm giới thiệu vắn tắt những cách xử lý đối với tình huống tương tự như trên - gọi chung là cách loại trừ (= làm giảm tầm ảnh hưởng của) khả năng đoán mò.
1. Chấm theo công thức (formula scoring, viết tắt là FS, tức là điểm đã điều chỉnh để loại trừ đoán mò)
FS = R - (W/C-1)
(Công thức này có thể tìm thấy ở nhiều nơi, ví dụ ở đây: www.personal.psu.edu/users/d/m/dmr/papers/CORR4GUS.pdf hoặc ở đây: http://ncme.org/linkservid/65C63B8F-1320-5CAE-6EFB0D72A6C55DD8/showMeta/0/.
Giải thích công thức:
FS là formula scoring (điểm điều chỉnh đoán mò)
R là số câu đúng
W là số câu sai
C là số các lựa chọn
Diễn lại công thức trên bằng lời: "Điểm điểu chỉnh đoán mò được tính bằng [số câu đúng] trừ cho [số câu đúng do đoán mò]. [Số câu đúng do đoán mò] được tính bằng cách lấy [số câu sai] chia cho [số lựa chọn trừ đi 1]."
Để hiểu công thức này xin xem ví dụ sau đây, viết lại từ tài liệu của Dennis Roberts (link đầu tiên ở trên).
Có một thí sinh làm bài trắc nghiệm có 50 câu, đạt 38 điểm (đúng 38 câu) và sai 12 câu. Bài trắc nghiệm này có 5 lựa chọn, trong đó có 1 đáp án (câu đúng) và 4 lựa chọn sai.
Giả định rằng khi thí sinh biết câu trả lời thì đương nhiên sẽ có chọn lựa đúng. Khi không biết thì thí sinh sẽ chọn đại, và xác xuất chọn đúng do đoán mò là 1/C (C là số các lựa chọn - công thức ở trên). Khi có 5 lựa chọn thì cơ hội chọn đúng là 1/5, tức cứ 5 lần đoán mò thì có 4 lần chọn sai và 1 lần chọn đúng.
Từ đó có thể suy ra [số câu đúng do đoán mò] bằng với [số câu sai] chia cho [số lựa chọn trừ đi 1]. Áp dụng cho ví dụ trên thì thí sinh đã làm sai 12 câu, cũng có nghĩa số câu đúng do đoán mò là 12/4 = 3 (áp dụng công thức: W/C-1). Như vậy điểm điều chỉnh đoán mò (FR) của thí sinh này là 38-(12/4) = 35 điểm.
Trong trường hợp chỉ có hai lựa chọn thì C-1 = 2-1 = 1, nên công thức trên trở thành: "Điểm điểu chỉnh đoán mò được tính bằng [số câu đúng] trừ cho [số câu sai]. Nếu trong ví dụ nêu trên bài thi chỉ có 2 lựa chọn (T/F) thì thí sinh sẽ đạt 38-12 = 26 điểm.
Như vậy, quay lại tình huống đã nêu, thí sinh chỉ đạt trên 50%, giả sử 55/100, tức đúng 55 câu và sai 45 câu, thì áp dụng công thức điều chỉnh đoán mò, thí sinh chỉ còn đạt được 55-45= 10 điểm, tức hoàn toàn không thể đậu được!!!! Vậy mà trong một kỳ thi quan trọng như tình huống nêu trên, mặc dù giảng viên chấm thi đã có đầy đủ lý do để kết luận thí sinh đoán mò (chọn "một bề" tức là từ trên xuống dưới chỉ một lựa chọn) nhưng vẫn phải chấp nhận cho thí sinh đậu vì không biết xử lý ra sao!!!
Nói thêm: Việc áp dụng điều chỉnh đoán mò cũng còn nhiều tranh cãi, vì ở đây giả định chỉ có hai tình huống: một là thí sinh biết chắc chắn câu đúng, hai là thí sinh hoàn toàn không biết câu trả lời. Trên thực tế thường không phải thế, mà thí sinh có thể có nhiều mức độ của sự không biết -từ không biết một chút nào đến biết gần đầy đủ nhưng vẫn còn chút nhầm lẫn .... Tuy nhiên, trong tình huống nêu trên thì áp dụng công thức điều chỉnh là hợp lý. Ngoài ra, nhiều nơi áp dụng công thức này (dù không hoàn hảo) trong những kỳ thi quan trọng khi tỷ lệ chọi rất cao, vì nó cho phép dễ dàng loại ra những thí sinh trung bình để chỉ còn lại những thí sinh xuất sắc.
(còn tiếp)
