Độ khó của văn bản và việc kiểm tra ngôn ngữ

Hôm nay nhân nói chuyện qua skype với cậu em, cũng là người cộng tác với tôi trong mấy đề tài trắc nghiệm mà tôi đã làm trước đây khi còn trẻ (hơn bây giờ một chút, hic), và còn hăng, tôi bỗng thấy hứng thú trở lại với những gì đã làm. Và cũng thấy tiêng tiếc là nhiều ý tưởng của tôi đưa ra đến giờ vẫn chưa áp dụng được, chẳng lẽ lại bỏ thì phí quá.

Thế là tôi cố gắng đi tìm lại những gì mình đã làm, đã viết, và tìm thấy bản mềm của Báo cáo nghiệm thu đề tài “Tiến đến tự động hóa quy trình soạn đề thi TN tiếng Anh” (2006) đã nghiệm thu thành công (đạt loại xuất sắc, hic). Để làm đề tài này tôi có đặt viết phần mềm, gọi là phần mềm ETGA (EnglishTest Generating Assistant), có lẽ bây giờ đã cũ về công nghệ (thì nghiệm thu đã 5 năm rồi, mà bắt đầu làm thì trước đó đến 2, 3 nên tổng cộng cũng phải gần chục năm rồi). Nhưng những ý tưởng của đề tài thì vẫn còn mới, và cho đến nay cũng chưa thấy áp dụng ở VN (buồn thật). Hình như ngành học của tôi không có cơ hội sống sót ở VN hay sao ấy nhỉ, ngày xưa thì có cụ Dương Thiệu Tống theo đuổi mãi, giờ hình như chỉ còn một mình tôi hay sao ấy, độc cô cầu bại (!). Chán thế.

Thôi thì đằng nào đề tài cũng xong rồi, nay đưa dần một số ý tưởng dễ hiểu, dễ nuốt trôi lên đây để chia sẻ với những người có quan tâm vậy. Hy vọng cũng có lúc có nhiều người hiểu và ứng dụng khoa học trắc nghiệm vào trong giáo dục, để mong rằng có thể góp tay nâng cao chất lượng của giáo dục VN lên đôi chút.

Entry này xin trích phần dễ hiểu và dễ áp dụng nhất đối với các giáo viên tiếng Anh và giáo viên ngoại ngữ nói chung, là phần nói về Readability mà tôi đã tạm dịch là “độ khó của văn bản” trong một bài viết từ năm 2002 ở trường ĐH KHXH-NV hồi ấy (đúng một chục năm rồi đó, mà ý tưởng này vẫn chưa được áp dụng, dù nó thật dễ làm sao!).

Thế này mà ở VN đòi tất cả mọi giảng viên phải làm nghiên cứu khoa học và ứng dụng được, thu tiền được, thì ở đâu ra? Hãy cứ dùng cái có sẵn cho đến nơi đến chốn, cũng đã mệt mỏi lắm rồi. Ví dụ như khoa học trắc nghiệm, ở nước người ta đã hơn 100 năm tuổi rồi, còn mình thì bây giờ vẫn còn cãi nhau về điểm sàn, thi cử vẫn cứ điểm thô mà phang, mà đưa ra mọi loại quyết định quan trọng đến vận mệnh học sinh, thì ôi thôi…

Biết rồi, khổ lắm, nói mãi!

Chú thích: Tựa nhỏ trong entry là những đề mục trong đề tài, bị cắt đứt đoạn nên có thể hơi khó đọc một chút. Ai có thắc mắc hoặc hứng thú xin gửi thư hỏi tác giả vtpanh@gmail.com.

-------
Xác định độ khó của văn bản và việc lựa chọn ngữ liệu cho các cho các bài kiểm tra ngôn ngữ

[...] Cho đến nay, việc chọn ngữ liệu để soạn thảo câu hỏi nghiệm hoàn toàn phụ thuộc vào người viết câu trắc nghiệm mà không có những tiêu chí thống nhất để đảm bảo rằng độ khó giữa các ngữ liệu nền được cung cấp trong các bài trắc nghiệm ở trình độ tương đương là thực sự tương đương. Tất nhiên, việc đưa ra một công thức chung để áp dụng cho mọi đối tượng ở mọi trình độ là điều không khả thi mà cũng không cần thiết vì mục tiêu kiểm tra đánh giá, trình độ và đặc điểm của đối tượng thí sinh của mỗi kỳ thi là khác nhau. Vì thế, vai trò của người làm đề thi với những kinh nghiệm và phán đoán của họ trong việc lựa chọn ngữ liệu phù hợp vẫn luôn luôn cần thiết và không thể thay thế. Tuy nhiên, thay vì hoàn toàn phụ thuộc vào phán đoán của từng người ra đề theo sử dụng phương pháp thủ công (tức mỗi người ra đề sẽ phải vừa đọc tư liệu và phán đoán sự phù hợp của từng đoạn ngữ liệu đối với mục đích kiểm tra), rất cần có những tiêu chí khách quan, đơn giản dễ sử dụng để hỗ trợ người viết câu trắc nghiệm trong việc lựa chọn ngữ liệu, vừa tăng hiệu quả sử dụng thời gian lại vừa đảm bảo giá trị của các câu trắc nghiệm do nhiều tác giả khác nhau biên soạn.

Một trong những yêu cầu hàng đầu của việc chọn ngữ liệu nền phục vụ biên soạn câu hỏi trắc nghiệm cho mọi môn học là ngôn ngữ phải rõ ràng, dễ hiểu và phù hợp với mức trình độ của thí sinh. Đối với môn ngoại ngữ, yêu cầu này lại càng quan trọng, nhưng chưa được chú ý đầy đủ trong các bài trắc nghiệm tiếng Anh được các chuyên gia trong nước soạn ra. Trong một nghiên cứu vào năm 2002 , chúng tôi đã nêu ra khá nhiều ví dụ về những câu trắc nghiệm có ngữ liệu nền quá khó đối với thí sinh khiến thí sinh không trả lời được câu hỏi, mặc dù vấn đề đang được kiểm tra hoàn toàn nằm trong nội dung chương trình cũng như năng lực của thí sinh. Vì vậy, để tăng tính khách quan của việc phán đoán sự phù hợp của ngữ liệu nền, chúng tôi đề nghị áp dụng công thức tính độ khó của văn bản tiếng Anh theo công thức Flesch (được tích hợp sẵn trong phần mềm MS-Word trên Windows) để giải quyết vấn đề này. [...].

Khái niệm độ khó của văn bản và việc lựa chọn ngữ liệu phù hợp với người đọc

Độ khó của văn bản là một khái niệm đã được đưa ra tại Mỹ từ những thập niên 30-40 của thế kỷ trước để giải quyết một vấn đề thực tiễn trong giáo dục là lựa chọn các loại sách đọc thêm phù hợp với trình độ ngôn ngữ của trẻ em, khuyến khích trẻ em yêu thích việc đọc sách và thúc đẩy phát triển khả năng ngôn ngữ. Bất cứ ai cũng có thể dễ dàng nhận ra rằng có những cuốn sách viết dễ đọc và có cuốn khác viết khó đọc hơn rất nhiều.

Điều gì đã tạo nên sự dễ đọc trong phong cách viết của các tác giả khác nhau? Từ lâu, các nhà nghiên cứu ngôn ngữ đã xác định được hai yếu tố chính có ảnh hưởng đến độ khó của văn bản là ý nghĩa và kết cấu ngữ pháp, được thể hiện qua hai đơn vị ngôn ngữ là từ (đơn vị chuyên chở nghĩa) và câu (đơn vị thể hiện kết cấu ngữ pháp), và đưa ra những phương pháp để lượng hóa 2 yếu tố này để làm cơ sở quyết định sự phù hợp của ngữ liệu đối với người đọc. Kết quả của việc lượng hóa hai yếu tố của độ khó của văn bản đã cho ra đời khái niệm “readability” mà chúng tôi tạm dịch là độ khó của văn bản (dịch sát nghĩa tiếng Anh là “tính dễ đọc” của văn bản).

Độ khó của văn bản được lượng hóa bằng một công thức tính khá đơn giản. Như đã nói ở trên, độ khó của văn bản phụ thuộc chủ yếu vào ý nghĩa của từ và cấu trúc của câu trong văn bản. Từ ngữ nào càng được sử dụng phổ biến thì càng nhiều người biết, tức càng dễ hiểu; và cấu trúc câu càng đơn giản, ít phức tạp, rối rắm thì càng rõ ràng, dễ đọc. Dựa trên những quan sát trên, các nhà giáo dục đã đưa ra phương pháp lượng hóa độ phức tạp của kết cấu ngữ pháp của văn bản bằng cách đo độ dài trung bình của câu theo đơn vị từ; cũng vậy, tính phổ biến của từ được lượng hóa bằng độ dài của từ tính theo âm tiết, vì trong tiếng Anh các từ nhiều âm tiết thường là các từ phái sinh (derivative) có cấu trúc phức tạp và chứa các phụ tố có nguồn gốc vay mượn, ít phổ biến.

Từ cách lượng hóa nói trên, các nhà giáo dục đã đưa ra khá nhiều công thức tính ‘readability’ như công thức của Fry, Gunning Fox, vv; tuy nhiên cách tính “readability” phổ biến nhất hiện nay sử dụng bộ công thức của Flesch, cũng là bộ công thức có cài đặt sẵn trong phần mềm MS-Word (trong bộ Microsoft Office) có thể sẵn sàng sử dụng. [...]

Bộ công thức Flesch gồm 2 công thức: công thức tính chỉ số Flesch Reading Ease (từ đây sẽ gọi là FRE, tạm dịch ‘chỉ số độ khó của văn bản’) và công thức tính chỉ số Flesch–Kincaid Grade Level Index (còn gọi là Flesch – Kincaid Index; từ đây sẽ gọi là ‘FKI’, tạm dịch là ‘chỉ số Flesch-Kincaid’).

Chỉ số FRE hiện đang được sử dụng rất phổ biến vì nó mô tả khá chính xác đặc điểm tổng quát về ngôn ngữ của một văn bản . FRE đã được chấp nhận như một chuẩn mực quy định văn phong hành chính của văn bản tiếng Anh. Ví dụ, tiểu bang Indiana (Mỹ) có quy định là các chính sách bảo hiểm phải có giá trị tối thiểu là 40, và bộ luật năm 1981 của tiểu bang này còn có hướng dẫn cụ thể cách tính giá trị FRE .

Bên cạnh việc mô tả độ khó của văn bản, bộ công thức Flesch có thể giúp ta tính được trình độ học vấn tương đương của văn bản (tức trình độ tối thiểu mà người đọc cần có để hiểu văn bản) bằng công thức FKI . Từ công thức này, ta có thể chuyển đổi từ chỉ số FRE ra cấp lớp tương đương, thấp nhất là lớp 4 và cao nhất là sau đại học [...].

Sự phổ biến của khái niệm “readability” và ứng dụng của nó trong việc hỗ trợ các giáo viên lựa chọn tài liệu đọc phù hợp cho học sinh bản ngữ (tiếng Anh), cũng như trong việc hướng dẫn các tác giả điều chỉnh văn phong của mình cho phù hợp với độc giả đã gợi ý cho chúng tôi một hướng giải quyết đối với việc đưa ra những tiêu chí khách quan lựa chọn ngữ liệu nền phục vụ viết câu trắc nghiệm phù hợp với các mức trình độ ngôn ngữ khác nhau. Vấn đề còn lại cần giải quyết là xác định các chỉ số độ khó văn bản phù hợp cho từng trình độ.

Để làm điều này, chúng tôi đã kết hợp tìm hiểu những chỉ số đã được sử dụng cho những đối tượng khác nhau, đồng thời thực hiện kiểm tra thực nghiệm một số văn bản đã thu thập được trước khi đưa ra những gợi ý về các chỉ số nói trên. Quá trình và kết quả thực nghiệm độ khó của văn bản sẽ được trình bày [...] dưới đây.

Xác định các chỉ số phù hợp cho các trình độ và thực nghiệm các chỉ số đã xác định trên một số văn bản mẫu để kiểm chứng

[...]Như đã nêu [...], khái niệm “readability” và chỉ số FRE đã được sử dụng rộng rãi đối với các văn bản tiếng Anh nhằm hướng dẫn các tác giả viết các văn bản phù hợp với đối tượng độc giả mà mình nhắm đến. Ngoài quy định của tiểu bang Indiana với FRE tối thiểu là 40 (trình độ đại học) như đã được nêu ở trên, từ điển bách khoa mở Wikipedia còn nêu một số kết quả thực nghiệm các chỉ số Flesch trên các loại văn bản viết cho những đối tượng độc giả khác nhau như sau:

- Tạp chí Reader’s Digest: chỉ số FRE trung bình là 65; đây là một tạp chí phổ biến các kiến thức phổ thông nhằm phục vụ đối tượng độc giả đại trà. Do tính phổ thông và đa dạng về nội dung cũng như tính dễ đọc của văn phong ngôn ngữ, tạp chí này cũng rất thường được sử dụng làm tư liệu phục vụ việc giảng dạy ngoại ngữ ở trình độ cơ bản trở lên.

- Tạp chí Time: chỉ số FRE trung bình là 52; đây là một tạp chí được viết cho đối tượng độc giả bản ngữ nghiêm túc và có trình độ. Để đọc được tạp chí này, người đọc không phải là người bản ngữ phải có trình độ ngoại ngữ tối thiểu ở mức trung cấp.

- Tạp chí Havard Law Review: chỉ số FRE trung bình khoảng từ 30 đến dưới 35. Đây là tạp chí chuyên ngành phục vụ chủ yếu cho những người hoạt động trong ngành luật. Để đọc tạp chí này, người đọc không phải là người bản ngữ phải có kiến thức về chuyên ngành và trình độ ngoại ngữ tối thiểu ở mức nâng cao.

Cũng theo Wikipedia, đa số các bang yêu cầu các hợp đồng bảo hiểm phải được viết với chỉ số FRE trong khoảng từ 40-50 để đảm bảo sự dễ đọc cho các khách hàng mua bảo hiểm khi ký hợp đồng. Khi quan sát những chỉ số thực tế này, ta sẽ thấy khoảng cách giữa các trình độ có giá trị khoảng trên dưới 15 điểm FRE, trong đó mức 65 điểm FRE là mức thấp nhất đối với một độc giả bản ngữ trưởng thành (vd: mức FRE 65 của Reader’s Digest, mức FRE 52 của Time, và mức FRE ngoài 30 của Havard Law Review).

Dựa trên quan sát đó, và chiếu theo bản mô tả 6 mức trình độ ngoại ngữ của Khung trình độ chung châu Âu (Common European Framework, viết tắt là CEF) là A1 (tiền sơ cấp), A2 (sơ cấp), B1 (sơ trung cấp), B2 (trung cấp), C1 (cao trung cấp), và C2 (cao cấp), chúng tôi đã xây dựng hệ tiêu chí về độ khó của ngữ liệu nền cho các mức trình độ tiếng Anh như sau:

0-20 Cao cấp, (C2) tương đương IELTS 8.0 trở lên (Sau đại học)

21-35 Nâng cao (C1), tương đương IELTS 7.0 trở lên (Đại học)

36-50 Trung cấp (B2), tương đương IELTS 6.0 trở lên (Trung học phổ thông)

51-65 Sơ trung cấp (B1), trình độ bắt đầu sử dụng độc lập của người học tiếng Anh, tương đương IELTS 5.0 trở lên (Lớp 8 – 9)

66-80 Sơ cấp (A2), tương đương IELTS 4.0 trở lên (Lớp 7)

81-100 Tiền sơ cấp (A1), trình độ ngoại ngữ vỡ lòng, tương đương IELTS từ 3.0 trở xuống (Lớp 4 – 6)

Trong quá trình xây dựng các tiêu chí về độ khó của văn bản, chúng tôi đã thực hiện thu thập ý kiến các đồng nghiệp về trình độ cần có của người đọc để có thể hiểu một số văn bản mẫu, sau đó kiểm chứng lại độ khó của các văn bản này xem có phù hợp với các mức đã đưa ra hay không. Dưới đây là những kết quả kiểm chứng:

- Mẫu văn bản đầu tiên được rút ngẫu nhiên từ kho ngữ liệu của VOA Special English. Các văn bản này được viết cho đối tượng độc giả đang học tiếng Anh, và được các đồng nghiệp của chúng tôi đánh giá là cần có trình độ ở trình độ sơ trung cấp (B1) trở lên để có thể hiểu chúng (xem Bảng 2.5). Việc kiểm chứng cho ta các kết quả sau:

o Kích thước ngữ liệu mẫu: 19.536 từ
o Độ dài trung bình của câu: 11.0
o Độ dài trung bình của từ: 4.6
o FRE và FKI: 60.2 và 7.6

- Mẫu văn bản thứ hai là một số bài viết về chủ đề môi trường trên trang web http://www.ace.mmu.ac.uk/eae/english.html. Trang web này nhằm phục vụ đối tượng độc giả phổ thông người bản ngữ, và được đánh giá là đòi hỏi trình độ nâng cao (xem Bảng 2.5). Kết quả kiểm chứng như sau:

o Kích thước ngữ liệu mẫu: 6.918 từ
o Độ dài trung bình của câu: 20.6
o Độ dài trung bình của từ: 5.1
o FRE và FKI: 31.4 và 12.0

- Kết quả thực nghiệm trên mẫu văn bản thứ ba bao gồm những bài viết về chủ đề môi trường trên trang web http://www.ace.mmu.ac.uk/kids/, là phiên bản dành cho trẻ em từ 5 đến 11 tuổi của trang web vừa nêu ở phần trên. Các văn bản này được đánh giá là khá dễ đọc, chỉ đòi hỏi trình độ cơ bản (xem Bảng 2.5). Dưới đây là kết quả kiểm chứng:

o Kích thước ngữ liệu mẫu: 4.986 từ
o Độ dài trung bình của câu: 14.9
o Độ dài trung bình của từ: 4.4
o FRE và FKI: 65.7 và 7.7

Có thể thấy các tiêu chí về độ khó mà chúng tôi đã đưa ra đều phù hợp với nhận xét của các đồng nghiệp cũng như kết quả kiểm chứng, chứng tỏ chúng hoàn toàn có thể sử dụng làm cơ sở chọn ngữ liệu nền phục vụ biên soạn câu trắc nghiệm.