Monday, May 26, 2014

Các công thức chấm bài trắc nghiệm (nhằm loại trừ khả năng đoán mò) - Phần 1

Hôm nay tôi nhận được thư của một đồng nghiệp trẻ (vốn là học trò cũ của tôi) về một tình huống thường gặp liên quan đến việc thí sinh đoán mò khi làm bài trắc nghiệm. Nguyên văn thư như sau:
--------
Hi cô PA. Hôm nay em chấm thi [...] bên trường [...], và gặp tình huống này. Trong phần trả lời True False, thí sinh đánh true hoặc false hết tất cả các số câu, và trúng được hơn 50%. Vậy trong testing, xử lý trường hợp này thế nào? [Những người có trách nhiệm] lúng túng, và cho qua. Quan điểm cô PA thế nào ạ?
--------
Đây là một tình huống có thể xem là kinh điển đối với những người làm trong nghề "khảo thí" (tức tổ chức thi cử, chấm điểm, quyết định mức đậu rớt vv) giống như tôi. Vì là kinh điển nên cách xử lý cũng đã có sẵn, chỉ việc áp dụng. Nhưng rất lạ là hình như ở VN vẫn có rất nhiều người không biết, bằng chứng là tình huống mà tôi nêu ở trên. Vì vậy, bài viết này của tôi nhằm giới thiệu vắn tắt những cách xử lý đối với tình huống tương tự như trên - gọi chung là cách loại trừ (= làm giảm tầm ảnh hưởng của) khả năng đoán mò.

1. Chấm theo công thức (formula scoring, viết tắt là FS, tức là điểm đã điều chỉnh để loại trừ đoán mò)

FS = R - (W/C-1)

(Công thức này có thể tìm thấy ở nhiều nơi, ví dụ ở đây: www.personal.psu.edu/users/d/m/dmr/papers/CORR4GUS.pdf hoặc ở đây: http://ncme.org/linkservid/65C63B8F-1320-5CAE-6EFB0D72A6C55DD8/showMeta/0/.

Giải thích công thức:

FS là formula scoring (điểm điều chỉnh đoán mò)
R là số câu đúng
W là số câu sai
C là số các lựa chọn

Diễn lại công thức trên bằng lời: "Điểm điểu chỉnh đoán mò được tính bằng [số câu đúng] trừ cho [số câu đúng do đoán mò]. [Số câu đúng do đoán mò] được tính bằng cách lấy [số câu sai] chia cho [số lựa chọn trừ đi 1]."

Để hiểu công thức này xin xem ví dụ sau đây, viết lại từ tài liệu của Dennis Roberts (link đầu tiên ở trên).

Có một thí sinh làm bài trắc nghiệm có 50 câu, đạt 38 điểm (đúng 38 câu) và sai 12 câu. Bài trắc nghiệm này có 5 lựa chọn, trong đó có 1 đáp án (câu đúng) và 4 lựa chọn sai.

Giả định rằng khi thí sinh biết câu trả lời thì đương nhiên sẽ có chọn lựa đúng. Khi không biết thì thí sinh sẽ chọn đại, và xác xuất chọn đúng do đoán mò là 1/C (C là số các lựa chọn - công thức ở trên). Khi có 5 lựa chọn thì cơ hội chọn đúng là 1/5, tức cứ 5 lần đoán mò thì có 4 lần chọn sai và 1 lần chọn đúng.

Từ đó có thể suy ra [số câu đúng do đoán mò] bằng với [số câu sai] chia cho [số lựa chọn trừ đi 1]. Áp dụng cho ví dụ trên thì thí sinh đã làm sai 12 câu, cũng có nghĩa số câu đúng do đoán mò là 12/4 = 3 (áp dụng công thức: W/C-1). Như vậy điểm điều chỉnh đoán mò (FR) của thí sinh này là 38-(12/4) = 35 điểm.

Trong trường hợp chỉ có hai lựa chọn thì C-1 = 2-1 = 1, nên công thức trên trở thành: "Điểm điểu chỉnh đoán mò được tính bằng [số câu đúng] trừ cho [số câu sai]. Nếu trong ví dụ nêu trên bài thi chỉ có 2 lựa chọn (T/F) thì thí sinh sẽ đạt 38-12 = 26 điểm.

Như vậy, quay lại tình huống đã nêu, thí sinh chỉ đạt trên 50%, giả sử 55/100, tức đúng 55 câu và sai 45 câu, thì áp dụng công thức điều chỉnh đoán mò, thí sinh chỉ còn đạt được 55-45= 10 điểm, tức hoàn toàn không thể đậu được!!!! Vậy mà trong một kỳ thi quan trọng như tình huống nêu trên, mặc dù giảng viên chấm thi đã có đầy đủ lý do để kết luận thí sinh đoán mò (chọn "một bề" tức là từ trên xuống dưới chỉ một lựa chọn) nhưng vẫn phải chấp nhận cho thí sinh đậu vì không biết xử lý ra sao!!!

Nói thêm: Việc áp dụng điều chỉnh đoán mò cũng còn nhiều tranh cãi, vì ở đây giả định chỉ có hai tình huống: một là thí sinh biết chắc chắn câu đúng, hai là thí sinh hoàn toàn không biết câu trả lời. Trên thực tế thường không phải thế, mà thí sinh có thể có nhiều mức độ của sự không biết -từ không biết một chút nào đến biết gần đầy đủ nhưng vẫn còn chút nhầm lẫn .... Tuy nhiên, trong tình huống nêu trên thì áp dụng công thức điều chỉnh là hợp lý. Ngoài ra, nhiều nơi áp dụng công thức này (dù không hoàn hảo) trong những kỳ thi quan trọng khi tỷ lệ chọi rất cao, vì nó cho phép dễ dàng loại ra những thí sinh trung bình để chỉ còn lại những thí sinh xuất sắc.

(còn tiếp)

Saturday, May 3, 2014

Tin nóng: Thư phản đối của các nhà khoa học quốc tế gửi Trường ĐHSP Hà Nội và Bộ Giáo dục (vụ Nhã Thuyên)

Một người bạn vừa gửi cho tôi thông tin không thể nóng hơn này. Như vậy, vụ NT đã hoàn toàn vượt ra khỏi phạm vi trường ĐHSP Hà Nội, vượt ra luôn cả phạm vi quốc gia, để trở thành một vấn đề quốc tế. 

Tin gì nóng thế? À, đó là bức thư gửi đến ĐH SP HN và Bộ Giáo dục của CCS, tức Committee of Concerned Scientists, một tổ chức độc lập quốc tế chuyên đấu tranh cho quyền lợi học thuật và nhân quyền của các học giả trên toàn thế giới. Một tên gọi khó dịch ra tiếng Việt, nhưng nếu dịch chính xác thì nó là Ủy ban các nhà khoa học có quan tâm (hoặc đúng hơn là các nhà khoa học có QUAN NGẠI).

Bản gốc của bức thư ở đây, có vài lỗi vì nhóm này không nắm rõ hệ thống của VN: http://concernedscientists.org/2014/05/revocation-of-degree-four-years-later-leads-to-protest-by-vietnamese-academics/

Bản dịch tiếng Việt do tôi thực hiện (đã sửa lại vài chi tiết chưa chính xác) để cung cấp thông tin đến cho cộng đồng học giả trong nước. Và mong có ai đó làm việc trong hệ thống đọc kỹ và có ứng xử phù hợp, để không làm xấu hình ảnh của giới nghiên cứu và giáo dục VN trước cộng đồng quốc tế.
------------

PSG, TS Nguyễn Văn Minh
Hiệu trưởng

Trường Đại học Sư phạm Hà Nội
136 Xuân Thủy, Quận Cầu Giấy
Hà Nội, Việt Nam

 Ngày  02 Tháng 5, 2014

Thưa Ông Hiệu trưởng,

Chúng tôi viết thư này để bày tỏ mối quan tâm đối với bà Đỗ Thị Thoan (bút danh Nhã Thuyên), người đã được trao bằng thạc sĩ từ trường đại học của ông trong năm 2010, sau khi nhận được điểm tối đa từ Hội đồng đánh giá .

Rõ ràng là luận văn thạc sĩ của bà Thoan sau đó lại được xem xét bởi một hội đồng khác mà trên cơ sở đó bà Thoan đã bị thu hồi văn bằng của mình trong Quyết định số 667/QD-DHSPHN và Quyết định số 708/QD-DHSPHN, cả hai đều được ban hành vào tháng 3 năm 2014. Những hành động này xảy ra mà không thông báo cho bà Thoan và người hướng dẫn về việc đánh giá lại luận văn và cả hai người này đều không được cung cấp chứng cứ về những sai sót nghiêm trọng về mặt học thuật của luận văn. Nhà trường đã lờ đi trước yêu cầu của bà Thoan và người hướng dẫn về việc tạo cho họ một cơ hội để giải thích và bày tỏ sự không đồng ý.

Chúng tôi tin tưởng mạnh mẽ rằng những hành động nói trên sẽ làm tổn hại nghiêm trọng uy tín Nhà trường với tư cách một tổ chức học thuật. Thu hồi một bằng thạc sỹ đã được cấp trước đó mà không tuân theo các nguyên tắc cơ bản về quá trình thu hồi bằng cấp chỉ có thể có nghĩa là các quyết định trên xuất phát từ chính trị chứ không phải vì lý do liên quan đến việc quản lý bằng cấp.

Chúng tôi ủng hộ 166 học giả tại Việt Nam và 100 học giả Việt kiều là những người đã ký tên trên các bức thư ngỏ gửi đến trường Đại học Sư phạm Hà Nội để yêu cầu rút lại quyết định thu hồi bằng thạc sỹ của bà Thoan. Chúng tôi đề nghị Ông đáp ứng yêu cầu của họ để bảo vệ tự do học thuật và lẽ công bằng. Chúng tôi cũng mong Ông khôi phục lại vị trí công việc cho PGS Nguyễn Thị Bình, người dường như đã bị trừng phạt vì đã hướng dẫn luận văn của bà Thoan, và đã không hề có bất kỳ cáo buộc về hành vi sai trái nào.

Trân trọng,

Ký tên:

Joel L. Lebowitz
Paul H. Plotz
Walter Reich
Eugene M. Chudnovsky
Alexander Greer

Đồng chủ tịch, "Ủy ban các nhà khoa học có quan tâm"


Đồng kính gửi:
PGS, TS Phạm Vũ Luận,
Bộ trưởng Bộ Giáo dục và Đào tạo
49 Đại Cồ Việt
Hà Nội, Việt Nam