Thursday, December 31, 2015

Tại sao hoc sinh chán ghét môn Sử? (Greg Milo, Education Week 22/9/2015)

Bài đã đăng trên Tạp chí Tia Sáng, có thể đã được biên tập rút gọn. Dưới đây là bài dịch gốc.
----

Tại sao học sinh chán ghét môn lịch sử?
Greg Milo, Tuần tin Giáo dục 22/9/2015


-----

Tôi mở sách giáo khoa môn lịch sử thế giới và thở dài.
Cuốn sách mở đầu với bài học về nguồn gốc của các nền văn minh, và, kết thúc bằng bức ảnh thời nay được chụp vội vã. Tổng cộng là 5.000 năm lịch sử.

"Thế đấy”. Ngay từ hồi mới đi dạy tôi đã tự đặt cho mình câu hỏi: "Thế ra giáo viên dạy Sử chúng tôi phải dạy tất tần tật mọi thứ đã xảy ra ở khắp mọi nơi trên trái đất này ư?"

"Thì đúng vậy chứ còn gì nữa (giọng mỉa mai)."

Khi đi dạy được đến năm thứ bảy, tôi bắt đầu tự hỏi: "Sự kiện đó tóm lại là sao? Ai thèm quan tâm đến Da Vinci cơ chứ? Ai cần biết về thập niên hai mươi vui vẻ trẻ trung của nước Mỹ? Ai thèm quan tâm Tôn Tử? Ai cần biết quái gì về môn lịch sử? Vấn đề mấu chốt là gì?” Đi dạy mãi đến năm thứ năm tôi mới bắt đầu lựa chọn bài giảng để lướt qua một số bài và giảng sâu hơn một số bài khác, nhưng đối với một môn học dựa trên trình tự thời gian thì điều đó có lẽ rất khó cho học sinh theo dõi. Tôi chẳng thích thú gì để đào sâu vào thời Trung Cổ, nhưng nếu chỉ giảng lướt qua thì cũng không thể mong cho học sinh hiểu được tại sao lại có phong trào Phục hưng tại Châu Âu.

Tôi muốn nói, không phải tôi không quan tâm, vì tôi là dân mọt sách về môn học này mà. Tôi đoán hầu hết các nhà sử học đều như vậy. Nhưng tôi cũng đoán biết nhiều trẻ em không mê gì môn Sử.

Tôi đã từng nghe rất nhiều người nói, "Hồi nhỏ đi học tôi ghét môn Sử lắm, nhưng giờ thì thích rồi". Họ cũng chẳng còn nhớ gì về thứ lịch sử mà họ đã học trong lớp, ngoại trừ việc giáo viên dạy rất chán, nhưng họ có thể kể cho tôi biết bao điều về các sự kiện lịch sử mà hiện nay họ quan tâm. Tại sao điều đó xảy ra?

Tại sao học sinh ghét môn lịch sử?

Tôi chắc chắn có rất nhiều lý do có thể kể ra, nhưng một lý do mà các học sinh của tôi – những đứa ghét môn Sử - luôn kể ra, đó là: môn học này thật nhàm chám.

"Tại sao lại nhàm chán?" Tôi hỏi.

Học sinh thường trả lời đại khái như: "Hiệp ước Versaille có giúp được gì cho em trong cuộc sống hay không ạ?"

Câu hỏi rất hay.

Nó khiến tôi tự hỏi liệu có nên chú trọng vào nội dung của môn lịch sử hay không.

Điều gì trong môn nghiên cứu xã hội[1] là quan trọng nhất đối với học sinh?

Câu trả lời của tôi: Tăng cường kỹ năng tư duy cho họ.

Tôi muốn học sinh của mình biết suy nghĩ. Tôi muốn chúng có thể đưa ra những quyết định có lý lẽ sau khi đã xem xét những khả năng khác nhau của cùng một sự kiện. Tôi muốn chúng hiểu những hậu quả khi đưa ra một quyết định, trong dài hạn cũng như ngắn hạn. Tôi muốn chúng hiểu mỗi quyết định sẽ ảnh hưởng đến người khác như thế nào. Và tôi muốn chúng có hành động phù hợp.

Nếu mục tiêu của tôi là, giống như Bộ Giáo dục của bang Ohio đã đề ra, "chuẩn bị cho học sinh tham gia vào xã hội với tư cách là một công dân", thì hẳn tôi phải muốn thử thách khả năng ra quyết định của học sinh tôi, và tạo cơ hội cho chúng hành động.

Và điều này có nghĩa là học sinh có thể thực hành kỹ năng ra quyết định thông qua bất kỳ đề tài nào – chứ không nhất thiết phải là một đề tài nhàm chán.


Nhưng tại sao môn lịch sử lại cần phải được dạy thông qua những chủ đề sắp xếp theo trình tự thời gian?

Tại sao cho học sinh của tôi phải học về sự sụp đổ của đế chế La Mã hay về Công ty thương mại Đông Ấn? Biết đâu lại có đứa muốn học về các cuộc bầu cử ở Burundi thì sao?

Sách giáo khoa thường được viết với các chi tiết thật ngắn gọn và không đầy đủ, lướt qua các chi tiết độc đáo, rất giống như khi một ông thầy không thực sự rành về môn học nhưng vẫn phải dạy. Phương pháp này bỏ qua nhiều biến số quan trọng giúp ta hiểu các mối quan hệ nhân quả.

Sách giáo khoa cũng có khuynh hướng bỏ qua tính nhân văn của môn học - hơi giống với kiểu kể một câu chuyện không có nhân vật chính.

Nếu chúng ta muốn học sinh của mình có thể đưa ra những quyết định hợp lý, thì chúng cần phải hiểu được sự pha trộn phức tạp của các nhân vật, địa danh và các sự kiện lịch sử đã tạo ra những hệ quả nào đó.

Học sinh của tôi thường đặt những câu hỏi cho thấy họ nhạy bén như thế nào. Họ nhận ra là bài học còn những khoảng trống chưa được giải quyết, hoặc tôi đã lướt mất một số điều trong khi giảng. Tôi có thể tận dụng điều này và đưa ra câu trả lời để tận dụng cái khoảnh khắc giúp tôi hoàn thành nhiệm vụ giảng dạy ấy, nhưng thực ra tại sao lại không để học sinh mình khám phá ra câu trả lời cho chính họ nhỉ?

Rất tiếc là các môn học của chúng ta lại không được thiết kế theo kiểu như vậy. Đây không phải là bữa ăn được chọn món. Thực đơn đã được thiết lập, và các món ăn sẽ luôn được lần lượt được mang ra theo thứ tự. Và bởi vì cấu trúc của môn học đã được quy định, một học sinh có thể mở sách xem bài và tự nhủ: "Ồ, không thấy câu hỏi ở đây, tức là sẽ không có trong bài thi, vậy thì lướt qua luôn đi. Ở trang kế sẽ học gì thế nhỉ? Ô, quá trình “lưu hóa”[2], cứ tưởng là lưu manh hóa chứ, buồn cười quá đi mất!”

Tôi có thể xây dựng một bài học trong đó có những khoảng trống để mọi học sinh của tôi thực hành kỹ năng quan sát tìm tòi và đưa ra kết luận – và tôi vẫn thường làm vậy. Nhưng cũng có thể có những lựa chọn khác làm cho học sinh thích học – chẳng hạn như cho phép chúng quyết định chọn chủ đề để học, thay vì tôi luôn luôn là người quyết định?

Tại sao ta không cho phép học sinh quyết định chọn những chủ đề gì vẫn còn chưa được giải quyết mà  chúng muốn nghiên cứu và góp phần giải quyết, thay vì đòi hỏi tất cả học sinh đều có cùng một trải nghiêm giống nhau trên cùng một chủ đề như nhau?

Thay vì một đưa ra một niên đại chuẩn các sự kiện đã chọn sẵn, sao ta không chọn một chủ đề để đào sâu suốt cả một học kỳ, cho phép học sinh xé nhỏ đề tài ấy thành nhiều mảng, và cung cấp cho họ những chi tiết cần thiết để họ có thể đưa ra những tranh luận có giá trị?

Nếu mỗi học kỳ chỉ chọn một đề tài nghe có vẻ hơi cực đoan, thì hãy thử chọn bốn đề tài trong suốt một khoá học kéo dài một học kỳ. Điều tôi muốn nói là chọn ít đề tài hơn nhưng tập trung vào chiều sâu sẽ làm cho phép thấy được sự phong phú của môn lịch sử và thu hút học sinh nhiều hơn.

Cách thiết kế môn lịch sử hiện nay quá nhấn mạnh vào thời gian. "Làm sao tôi có thể đi qua được đến 5000 năm lịch sử chỉ trong một học kỳ cơ chứ?”

Giáo viên chỉ chăm chăm tập trung vào yếu tố thời gian trong môn lịch sử, và điều này có lý do chính đáng.

"Tôi không thể bỏ thêm thời gian giải thích về cuộc chiến tranh Triều Tiên bởi tôi còn phải giảng về vụ xì căng đan Watergate vào tuần tới, rồi còn phải trình bày về phong trào dân quyền để chuẩn bị đầy đầy đủ kiến thức cho học sinh làm bài kiểm tra."

Quả là vớ vẩn. Để thực hành kỹ năng nghiên cứu xã hội thì chỉ cần một trong các đề tài nói trên là đủ. Tất cả mọi đề tài trên đều thú vị. Hãy chọn lấy một thôi.

Nội dung giảng dạy cho một học kỳ có thể dựa trên các năng lực Tìm tòi, Phân tích, và Đưa giải pháp, và giáo viên có thể dựa trên việc phát triển các năng lực nói trên để dẫn dắt chương trình học, thay vì dựa vào cái nhãn môn học là Văn minh phương Tây. Một môn học tập trung vào các phương pháp có thể chọn năm sự kiện hay nhân vật thú vị và không liên quan đến nhau để nghiên cứu sâu.

Nghiên cứu xã hội chính là như thế: tìm hiểu về xã hội. Chúng ta thích tạo ra các công thức để khái quát hóa về việc xã hội và con người trong xã hội đó vận hành như thế nào. Các nhà kinh tế luôn cố gắng đưa ra dự đoán về các khuynh hướng, nhưng thực sự không có cách nào để tiên đoán một cách nhất quán rằng mỗi cá nhân sẽ hành động như thế nào. Vì hành vi của con người luôn có yếu tố bất ngờ, nên chúng ta cố phân loại và làm cho nó có ý nghĩa. Chúng ta gắn tên gọi vào các thời đại và dùng chúng để đặt nhan đề cho các chương, rồi chúng ta dán nó vào một cuốn sách và chúng ta gọi nó môn lịch sử.

"Đây là những gì đã xảy ra trong quá khứ," chúng ta nói với học sinh. "Phù, thế là xong, chúng ta đã trình bày xong những vấn đề lịch sử rồi."

Rồi tự nhiên một học sinh đặt câu hỏi: "Vì sao ở Mỹ có nhiều nhà tù đến thế ạ?”

Và chúng ta sẽ trả lời lấp liếm "Ồ, câu ấy không có trong bài kiểm tra, hãy trở lại với các  niên đại lịch sử kẻo hết giờ mất" và thế là sự tò mò của đứa trẻ bị dập tắt hoàn toàn. Và chúng tiếp tục nghĩ: "ôi, môn sử thật là nhàm chán".
-----------

Greg Milo là Trưởng bộ môn Nghiên cứu
xã hội tại Archbishop Hoban High School tại Akron, Ohio, nơi ông đang làm việc được 13 năm. Liên lạc với ông tại milog@hoban.org và trên Twitter @Mr_Greg_Milo.



[1] Ở nhiều tiểu bang của Mỹ, môn Sử là một môn trong nhóm môn học tích hợp gọi là Nghiên cứu xã hội (social studies). Bang Ohio, nơi tác giả bài viết này đang giảng dạy là một ví dụ. http://education.ohio.gov/Topics/Ohios-Learning-Standards/Social-Studies
[2] Từ trong bản gốc là vulcanization, tức “lưu huỳnh hóa”.Từ này nghe hao hao giống như từ vulva nghĩa là “cửa mình” của phụ nữ, nên hoc sinh thấy buồn cười. Tạm dịch ra như trên.

Wednesday, December 9, 2015

XÁC ĐỊNH CÁC TIÊU CHÍ LỰA CHỌN CHỨNG CHỈ CÔNG NHẬN NĂNG LỰC ĐẦU RA: PHÂN TÍCH TRƯỜNG HỢP CỦA TOEIC VÀ IELTS

XÁC ĐỊNH CÁC TIÊU CHÍ LỰA CHỌN CHỨNG CHỈ CÔNG NHẬN NĂNG LỰC ĐẦU RA: PHÂN TÍCH TRƯỜNG HỢP CỦA TOEIC VÀ IELTS
TS Vũ Thị Phương Anh, Trường ĐH Kinh tế - Tài chính
Mở đầu
Đánh giá kết quả đầu ra (assessment of learning outcomes), hay đánh giá năng lực người học khi kết thúc một chương trình học tập, là khâu cuối cùng rất quan trọng trong quy trình đào tạo ở mọi bậc học. Việc đánh giá chính xác kết quả đầu ra sẽ cung cấp những thông tin cần thiết về mức độ đạt được mục tiêu và làm cơ sở để các bên liên quan đưa ra những quyết định quan trọng như công nhận tốt nghiệp hoặc chấp nhận tuyển dụng.
Trong bối cảnh của Đề án ngoại ngữ quốc gia 2020, việc đánh giá chính xác năng lực tiếng Anh của sinh viên khi tốt nghiệp không chỉ đem lại những lợi ích như đã nêu, mà quan trọng hơn, nó còn được mong đợi tạo ra“tác động dội ngược tích cực” (positive washback effect) để thúc đẩy hiệu quả dạy và học ngoại ngữ. Đây cũng là chủ trương của Bộ Giáo dục về vai trò của thi cử và kiểm tra đánh giá, xem đó là đòn bẩy quan trọng trong quá trình đổi mới dạy và học ngoại ngữ tại các trường đại học và cao đẳng Việt Nam trong giai đoạn hiện nay.
Để đảm bảo sinh viên ra trường có được năng lực đầu ra như mong muốn, tại Việt Nam, trong nhiều năm qua các trường đã tự chọn một số bài thi chuẩn hóa của các chứng chỉ năng lực tiếng Anh quốc tế như TOEFL, TOEIC, IELTS, Cambridge, BEC, BULATS  vv làm yêu cầu đầu ra bắt buộc để tốt nghiệp. Các chứng chỉ này rất đa dạng, được xây dựng theo các quan điểm và phương pháp khác nhau, và nhắm vào các đối tượng đôi khi rất khác nhau. Chỉ riêng hai tổ chức khảo thí lớn nhất trên thế giới là ETS (Mỹ) và Cambridge Assessment (Anh) đã có hàng chục loại chứng chỉ khác nhau như TOEFL iBT, TOEFL ITP, TOEIC, IELTS (Academic), IELTS (General), Cambridge Suite (PET, FEC, CAE vv), BEC, BULATS vv Đó là chưa kể đến sự xuất hiện của các chứng chỉ mới do các đơn vị cả trong nước lẫn ngoài nước xây dựng như VSTEP (do Trường ĐH Ngoại ngữ, ĐHQG Hà Nội xây dựng, là sản phẩm trong khuôn khổ của Đề án 2020), Aptis (Hội đồng Anh), hoặc PTE (Pearson), vv, mà trong tương lai gần sẽ là đối thủ cạnh tranh với sản phẩm của hai gã khổng lồ ETS và Cambridge tại Việt Nam.
Tình hình trên cho thấy việc chọn đúng chứng chỉ năng lực đầu ra phù hợp với đối tượng người học là một việc làm quan trọng và đòi hỏi phải có những căn cứ khoa học cũng như các tiêu chí để hướng dẫn. Tuy nhiên, các trường đại học Việt Nam lâu nay vẫn chỉ chọn chứng chỉ năng lực đầu ra dựa trên kinh nghiệm hoặc cảm tính; nhiều trường sử dụng một chứng chỉ chỉ vì thấy các trường khác cũng đang sử dụng mà không biết chứng chỉ ấy có phù hợp với đối tượng thí sinh và mục tiêu đào tạo của nhà trường hay không. Một hệ quả của việc lựa chọn sai chứng chỉ là việc giá năng lực đầu ra không chính xác dẫn đến các nỗ lực dạy và học không đạt được hiệu quả mong muốn, động cơ của cả người học lẫn người dạy bị triệt tiêu, là một trở lực rất lớn việc đạt được các mục tiêu nâng cao năng lực tiếng Anh mà Đề án 2020 đã đề ra.
Nhằm góp phần giải quyết nói trên, bài viết này nhằm bước đầu xác lập các tiêu chí cho việc lựa chọn bài thi đánh giá năng lực ngoại ngữ cho phù hợp với đối tượng sinh viên và mục tiêu đào tạo của từng trường. Trên cơ sở các tiêu chí đã xác lập, chúng tôi sẽ phân tích hai bài thi đang được đa số các trường sử dụng để đánh giá năng lực đầu ra của sinh viên là TOEIC và IELTS, và đưa ra một số nhận xét ban đầu về sự phù hợp của hai chứng chỉ này đối với những đối tượng khác nhau. Những nhận xét này không có tính kết luận và hoàn toàn không nhằm công nhận hay phủ nhận các chứng chỉ đã nêu, mà chỉ nhằm minh họa cho sự quan trọng và cần thiết của việc phải có các tiêu chí cho việc lựa chọn chứng chỉ mà thôi.
  1. Xác lập các tiêu chí lựa chọn bài thi đánh giá năng lực ngoại ngữ
    1. Mô hình về “tính hữu ích” (usefulness)  của bài thi đánh giá năng lực ngoại ngữ
Việc xác định các tiêu chí lựa chọn bài thi phù hợp với đối tượng và mục tiêu của từng trường nhất thiết phải dựa trên một mô hình lý thuyết về các đặc điểm của một bài thi năng lực ngoại ngữ. Trong bài viết này chúng tôi sử dụng mô hình của Bachman và Palmer (1996) về tính “hữu ích” (usefulness) của bài thi đánh giá năng lực ngoại ngữ. Mô hình của hai tác giả được phát triển lên từ lý thuyết về năng lực giao tiếp ngôn ngữ (communicative language ability, viết tắt là CLA) của Bachman (1990), trong đó vai trò và tác động của bối cảnh sử dụng lên sự thể hiện năng lực ngôn ngữ của người sử dụng được nhấn mạnh. Đây là mô hình có tầm ảnh hưởng sâu rộng và được áp dụng phổ biến nhất trong lĩnh vực đánh giá năng lực ngôn ngữ hiện nay.
Mô hình về tính “hữu ích” của bài thi đánh giá năng lực ngôn ngữ của Bachman và Palmer (1996) gồm 6 yếu tố:

Hữu ích = độ tin cậy (reliability) + giá trị lý thuyết (construct validity) + độ chân thực (authenticity) + tính tương tác (interactiveness) + tác động (impact) + độ phù hợp với thực tiễn (practicality)

Ý nghĩa của 6 yếu tố vừa nêu được thảo luận chi tiết dưới đây.
  1. Độ tin cậy: Độ tin cậy được hiểu là tính nhất quán hoặc sự ổn định của điểm số, là một yêu cầu quan trọng đối với bất kỳ một công cụ đo lường nào. Để đạt được độ tin cậy mong muốn, người ta sử dụng hai phương pháp là tăng số câu hỏi và tăng độ phân cách giữa các câu hỏi trong bài thi. Tuy nhiên, việc quá chú trọng vào độ tin cậy có thể tạo ra những bài thi có độ tin cậy cao nhưng độ giá trị thấp và vì thế không thể là một công cụ “hữu ích”.
Để tránh tình trạng độ tin cậy cao có thể  làm giảm độ giá trị, Bachman và Palmer (1996) đưa ra định nghĩa về độ tin cậy trong một bài thi đánh giá năng lực ngôn ngữ như là sự nhất quán của các tác vụ ngôn ngữ (language tasks) trong các phiên bản khác nhau của bài thi. Kết hợp với tính chân thực (yếu tố thứ 3 trong mô hình), sự nhất quán của các tác vụ sẽ vừa tạo ra sự ổn định của điểm số vừa đảm bảo giá trị của bài thi (Bachman và Palmer 1996:19-21).
  1. Giá trị lý thuyết: Giá trị lý thuyết là ý nghĩa và sự phù hợp của những diễn giải dựa trên điểm số.  Với một bài thi năng lực ngôn ngữ, điểm số của bài thi được phải là chỉ dẫn chính xác về năng lực giao tiếp ngôn ngữ của thí sinh, được hiểu là khả năng sử dụng ngôn ngữ như một công cụ giao tiếp trong bối cảnh thực tế. Các tác giả nhấn mạnh ý nghĩa và sự phù hợp của các diễn giải này cần phải được chứng tỏ bằng lập luận và chứng cứ chứ không thể chỉ bằng sự khẳng định (Bachman và Palmer 1996:21-22).
  2. Độ chân thực: Độ chân thực là mức độ tương ứng giữa các tác vụ ngôn ngữ trong bài thi và bối cảnh sử dụng mà bài thi nhắm tới (target language use, TLU). Các tác giả nhấn mạnh độ chân thực là một đặc điểm rất quan trọng trong bài kiểm tra ngôn ngữ vì nó cho phép người sử dụng có thể suy đoán năng lực sử dụng ngôn ngữ trong bối cảnh thực từ điểm số của thí sinh (Bachman và Palmer 1996:23-25).
  3. Tính tương tác: Tính tương tác là mức độ đòi hỏi sự vận dụng các năng lực khác nhau của thí sinh để thực hiện các tác vụ trong bài thi. Theo các tác giả, để giao tiếp thành công trong bối cảnh thực tế, người ta không chỉ vận dụng năng lực ngôn ngữ (linguistic competence) đơn thuần, mà còn vận dụng các năng lực khác như hiểu biết về chủ đề và bối cảnh giao tiếp, và khả năng này càng cao thì việc giao tiếp càng thành công. Vì vậy, một bài thi năng lực ngôn ngữ tốt là một bài thi cho phép thí sinh vận dụng những hiểu biết sẵn có của mình để thực hiện các tác vụ trong bài thi (Bachman và Palmer 1996:25-26).
  4. Tác động: Theo các tác giả, tác động của bài thi có thể xét ở hai cấp độ. Ở cấp độ cá nhân, đó là những ảnh hưởng tích cực hoặc tiêu cực lên thí sinh, ví dụ như làm tăng hoặc giảm động cơ hoặc thói quen học tập, hoặc gây ra những hậu quả cố ý hoặc không cố ý đối với người học. Chẳng hạn, bài thi có nội dung “thiên lệch” (bias) có thể ảnh hưởng nghiêm trọng đến kết quả thi, từ đó dẫn đến những quyết định bất lợi đối với thí sinh (như không được tốt nghiệp, không xin được việc làm vv).
    Ở cấp độ hệ thống, bài thi có thể gây ảnh hưởngtích cực hoặc tiêu cực đến phương pháp dạy và học và kết quả của cả một hệ thống giáo dục. Ví dụ, ai cũng biết cách thi cử của môn ngoại ngữ hiện nay tại Việt Nam đã khiến cho người học không nghe và nói tiếng Anh được, đến nỗi trên báo chí đã có lúc gọi đùa phương pháp học ngoại ngữ của Việt Nam là “phương pháp câm, điếc”. Đây chính là ví dụ rõ ràng nhất về tác động tiêu cực mà thi cử có thể tạo ra (Bachman và Palmer 1996:29-35).
  1. Độ phù hợp với thực tiễn: Phù hợp với thực tiễn được định nghĩa là sự tương ứng giữa nguồn lực của đơn vị và/hoặc cá nhân thí sinh với những yêu cầu cần có để có thể thực hiện kỳ thi thành công. Như vậy, không giống với 5 đặc điểm còn lại, thực tiễn không trực tiếp liên quan đến chất lượng của bài thi, mà chỉ liên quan đến những điều kiện thực tế cần quan tâm xung quanh việc thực hiện một bài thi mà thôi (Bachman và Palmer 1996:35-37).

    1. Đề xuất khung phân tích sự phù hợp của bài thi năng lực ngoại ngữ với 3 thành tố
Khi so sánh mô hình “hữu ích” của Bachman và Palmer (1996) với quan điểm cổ điển về thế nào là một bài thi tốt, có thể đóng góp lớn nhất của các tác giả là quan điểm về vai trò của “độ chân thực” và “tính tương tác”trong một bài thi năng lực ngôn ngữ, là điều trước mà trước đó chưa ai nhắc đến. Dựa trên mô hình của Bachman và Palmer (1996), chúng tôi đề xuất một khung phân tích (analysis framework) gồm 3 thành tố làm căn cứ để lựa chọn các bài thi chứng chỉ năng lực tiếng Anh như sau:
  • Giá trị của công cụ đo lường (tương ứng với “Độ tin cậy và giá trị lý thuyết” trong mô hình Bachman và Palmer 1996): Độ tin cậy và độ giá trị là hai khái niệm cơ bản trong lý thuyết trắc nghiệmtruyền thống về thế nào là một bài thi tốt. Để có thể lựa chọn một chứng chỉ năng lực đầu ra, cần phải có đầy đủ thông tin về độ tin cậy và giá trị lý thuyết của bài thi dựa trên các chứng cứ và lập luận thuyết phục. Cần lưu ý rằng giá trị lý thuyết ở đây được hiểu là quan điểm về năng lực giao tiếp ngôn ngữ phù hợp với định nghĩa về Communicative Language Ability hoặc CLA trong mô hình Bachman 1990 (đã đề cập ở phần trên).
  • Đặc điểm giao tiếp của ngữ liệu và tác vụ (tương ứng với “Độ chân thực và tính tương tác” trong mô hình “hữu ích”): Các ngữ liệu và tác vụ của bài thi cần có tính chân thực và tương tác cao. Đây là hai đặc điểm đặc thù cho bài thi năng lực ngôn ngữ, và là cặp đặc điểm được chú trọng nhất trong khung lựa chọn mà chúng tôi đề xuất trong bài viết này, do chúng có ảnh hưởng trực tiếp đến yếu tố tác động (đặc điểm 5 trong mô hình Bachman và Palmer 1996), sẽ được thảo luận ngay dưới đây.
  • Tác động của bài thi đối với việc dạy và học (tương ứng với yếu tố “Tác động” trong mô hình): Trong cặp yếu tố cuối cùng của mô hình Bachman và Palmer 1996, chúng tôi chỉ quan tâm và đưa vào khung phân tích yếu tố tác động,  vốn là điều rất quan trọng đối với VN trong giai đoạn hiện nay. Một bài thi “hữu ích” phải là một bài thi mang lại tác động tích cực cho việc dạy và học diễn ra trước đó, xét ở cấp độ cá nhân lẫn cấp độ hệ thống.
Độ phù hợp với thực tiễn tuy rất quan trọng đối với khả năng triển khai thành công ở từng trường, nhưng sẽ do chính các trường cân nhắc và tự ra quyết định về việc có nên áp dụng hay không và lộ trình áp dụng như thế nào cho phù hợp với thực tế, chứ không thể đưa ra lời khuyên chung cho tất cả mọi trường, và vì vậy sẽ được bỏ qua trong khung phân tích của chúng tôi.

  1. Áp dụng các tiêu chí vừa xác lập để phân tích hai bài thi chứng chỉ quốc tế TOEIC và IELTS
Trong phần trên, chúng tôi đã đưa ra một khung phân tích với 3 thành tố là giá trị của công cụ đo, tính giao tiếp của ngữ liệu và tác vụ ngôn ngữ, và tác động tích cực của bài thi. Dưới đây chúng tôi sẽ sử dụng hai thành tố đầu trong khung phân tích nói trên để phân tích hai bài thi chứng chỉ quốc tế đang được sử dụng phổ biến tại Việt Nam là TOEIC (Listening – Reading) và IELTS (academic). Thành tố thứ 3, tác động và độ phù hợp với thực tế, đòi hỏi phải có một cuộc khảo sát thực tế tại các trường, là điều vượt quá khuôn khổ của một bài viết như bài này nên sẽ không được đề cập ở đây.
Dựa trên các thông tin được công bố trên website của các trường đại học và cao đẳng trên cả nước, có thể thấy đây là hai bài thi phổ biến nhất trên phạm vi toàn quốc đại diện cho hai tổ chức khảo thí thuộc hai trường phái đánh giá năng lực ngôn ngữ có ảnh hưởng sâu rộng trên thế giới. Phần phân tích dưới đây chỉ mới là một phân tích sơ khởi có tính minh họa, như một gợi ý bước đầu về phương pháp và quy trình lựa chọn bài thi chứng chỉ đánh giá năng lực ngoại ngữ tại Việt Nam.
Kết quả phân tích so sánh hai bài thi này được nêu chi tiết dưới đây.

Về giá trị của công cụ đo:
- TOEIC(Listening – Reading)
TOEIC là một sản phẩm của ETS ra đời vào năm 1979 dựa trên lý thuyết ngôn ngữ và lý thuyết trắc nghiệm đang thịnh hành vào thời đó. Bài thi được mô tả là có độ tin cậy cao do áp dụng nhất quán hình thức trắc nghiệm khách quan trên toàn bộ bài thi và trên mọi phiên bản của đề thi. Điểm số của bài thi TOEIC được diễn giải theo phương pháp quy chiếu theo nhóm chuẩn (norm-referenced), một phương pháp thường được đánh giá là không cung cấp được những dấu chỉ trực tiếp về năng lực của người học. Đây có thể là một lý do tại sao hiện nay ở nhiều nơi người ta không mức hướng dẫn của ETS để phiên điểm TOEIC sang CEFR mà tự đưa ra những mức điểm riêng dựa theo kinh nghiệm và phán đoán của mình mà ETS – một hiện tượng được gọi là phương pháp “social moderation” (điều chỉnh xã hội, tức điều chỉnh theo phán đoán của chuyên gia, đối lập với statistical moderation tức điều chỉnh theo phương pháp thống kê – Feuer et al 1999:34).
Mặc dù bài thi TOEIC hiện hành đã có đủ cả 4 kỹ năng (chia thành hai phần riêng biệt với điểm số được báo riêng cho từng phần) nhưng tại Việt Nam các trường vẫn chỉ áp dụng  TOEIC với hai kỹ năng Nghe – Đọc. Theo hướng dẫn do chính ETS cung cấp, điểm thi TOEIC (Nghe – Đọc) ở cấp độ B1 (tức bậc 3 của Việt Nam) là 550, nhưng tại Việt Nam yêu cầu được đặt ra cho sinh viên của đa số các trường là 450 điểm. Việc diễn giải điểm số trên bài thi TOEIC Nghe – Đọc như là tương đương với các bậc năng lực của CEFR với đầy đủ 4 kỹ năng ngôn ngữ là một điều hoàn toàn không nên vì đây là một ví dụ tiêu biểu của lỗi diễn giải vượt quá sự cho phép của chứng cứ (thuật ngữ đo lường gọi là construct under-representation), ảnh hưởng nghiêm trọng đến giá trị lý thuyết của bài thi.

- IELTS (Academic)
Là sản phẩm của Cambridge Assessment và được đồng sở hữu bởi Hội đồng Anh và IDP, ra đời vào năm 1989dựa trên lý thuyết về ngôn ngữ như một công cụ giao tiếp, nhấn mạnh vai trò của bối cảnh sử dụng và tính tương tác trong sử dụng ngôn ngữ. Điểm số của bài thi được diễn giải theo phương pháp quy chiếu về tiêu chí (criterion-referenced), là phương pháp được xem là có thể giải quyết hạn chế của phương pháp quy chiếu theo nhóm chuẩn truyền thống. Bài thi gồm 4 kỹ năng, trong đó có 2 kỹ năng được chấm chủ quan (do phán đoán của giám khảo phán đoán của giám khảo), đòi hỏi các giám khảo phải được đào tạo, huấn luyện thường xuyên để đảm bảo độ tin cậy cần thiết của điểm số.  
Bài thi IELTS bao gồm 2 module là IELTS học thuật (dành cho đối tượng cần sử dụng tiếng Anh trong môi trường học thuật) và IELTS tổng quát (dành cho các đối tượng khác). Sự khác biệt giữa 2 module học thuật và tổng quát chỉ tồn tại ở hai kỹ năng đọc và viết, còn ở hai kỹ năng nghe và nói thì không có sự phân biệt này.
Là một sản phẩm ra đời vào cùng một giai đoạn khi lý thuyết về năng lực giao tiếp ngôn ngữ ra đời và phát triển, nhìn IELTS được nhìn nhận là một công cụ đo tốt với độ tin cậy ổn định ở mức khá và giá trị lý thuyết cao, phù hợp với lý thuyết hiện đại về năng lực giao tiếp ngôn ngữ.

Về đặc điểm giao tiếp của ngữ liệu (language input) và tác vụ (task)
- TOEIC(Listening – Reading)
Theo tài liệu hướng dẫn dành cho thí sinh cho phiên bản TOEIC Nghe – Đọc 2015 (Examinee Handbook Listening – Reading 2015), bài thi TOEIC gồm 200 câu hỏi trắc nghiệm khách quan nhiều lựa chọn (3 hoặc 4 lựa chọn), trong đó có 100 câu cho phần Nghe và 100 câu cho phần Đọc.
Trong phần Nghe,thí sinh được nghe những ngôn bản ở dạng câu riêng lẻ (40 câu hỏi đầu tiên), những đoạn hội thoại ngắn trong đó mỗi người đối thoại có khoảng 2, 3 lượt trao đổi (30 câu hỏi kế tiếp), và những bài độc thoại ngắn khoảng 90-120 từ (30 câu hỏi cuối cùng). Các tác vụ trong phần này gồm có: xem hình, nghe các lời mô tả và chọn lời mô tả nào phù hợp nhất với hình (10 câu đầu tiên); nghe và chọn lời đáp phù hợp (30 câu hỏi kế tiếp); nghe và chọn câu trả lời cho các câu hỏi nghe hiểu dựa trên bài nghe (60 câu còn lại).
Trong phần Đọc, thí sinh được đọc các loại văn bản ở dạng câu (sentence), đoạn (paragraph), và bài đọc ngắn (passage) có độ dài trung bình khoảng 220-250 từ. Các tác vụ gồm có điền từ nhằm hoàn tất từng câu riêng lẻ hoặc những câu trong cùng một bài, hoặc chọn câu trả lời đúng để trả lời các câu hỏi đọc hiểu.
Chủ đề và ngữ cảnh trong bài thi TOEIC tập trung vào những giao dịch hàng ngày trong bối cảnh quen thuộc và tác vụ khá đơn giản như đặt vé máy bay, tiếp khách đến giao dịch trong văn phòng, giới thiệu công ty, giới thiệu sản phẩm của công ty, quy trình sản xuất (tổng quát) đi siêu thị, nhà hàng,nhà băng, xem phim, mua sắm, có vẻ phù hợp với những người làm việc của bộ phận văn phòng, hành chính, hoặc đại diện bán hàng (sales representative), nhưng không phù hợp với những công việc sâu vào chuyên môn hơn như đọc và viết tài liệu kỹ thuật cho các lĩnh vực khác nhau…. Lượng từ vựng trong bài thi TOEIC khá hạn chế, khoảng 5000 từ tổng quát và khoảng hơn 600 từ liên quan đến giao tiếp trong môi trường kinh doanh (Chujo và Genung 2005).
Khi đối chiếu với Khung năng lực ngoại ngữ 6 bậc, có thể thấy ngữ liệu và các tác vụ của bài thi TOEIC (Nghe – Đọc) tương ứng với bậc 3 và đầu bậc 4, và có thể là một công cụ đánh giá phù hợp ở hai bậc năng lực này hoặc thấp hơn. Tuy nhiên, việc sử dụng điểm TOEIC để công nhận năng lực ở các bậc cao hơn (bậc 5 và bậc 6) là một điều cần cân nhắc, đặc biệt là khi các tác vụ ngôn ngữ trong bài thi của TOEIC không có độ chân thực cao (không giống với các hoạt động giao tiếp ngôn ngữ trong bối cảnh thực).

- IELTS (Academic)
Theo tài liệu hướng dẫn dành cho thí sinh (IELTS information for candidates booklet), bài thi IELTS gồm 4 phần cho 4 kỹ năng với nhiều loại câu hỏi khác nhau, bao gồm cả trắc nghiệm khách quan với nhiều dạng thức câu hỏi, bài viết tự luận, và trả lời vấn đáp.
Phần Nghe của bài IELTS có 40 câu hỏi và 4 bài nghe. Không giống như trong bài thi TOEIC, phần Nghe không sử dụng dạng câu riêng lẻ mà chỉ sử dụng hội thoại (giữa hai người và giữa nhiều người) và độc thoại. Thí sinh được nghe bốn đoạn ngữ liệu, bao gồm một đoạn hội thoại khoảng 350-500 từ trong ngữ cảnh giao tiếp hàng ngày (Tiểu mục 1), một bài độc thoại khoảng 350-450 từ về những chủ đề thông thường (Tiểu mục 2), một đoạn hội thoại khoảng 400-600 từ giữa hai người trong bối cảnh trường học (Tiểu mục 3), và một bài giảng (lecture) khoảng 650-800 từ về một chủ đề hàn lâm nào đó (Tiểu mục 4). Bài thi chú trọng cho thí sinh nghe tất cả các giọng nói tiếng Anh bản ngữ và không bản ngữ nhằm giúp thí sinh làm quen với các giọng đọc/nói khác nhau. Thí sinh được kiểm tra kỹ năng nghe hiểu ý chính, hiểu những thông tin cụ thể, nhận ra thái độ và mục đích của người nói, và hiểu đươc cách người nói phát triển một lập luận.
Phần Đọc của bài IELTS cũng có 40 câu hỏi. Trong phần này, thí sinh được đọc 3 bài đọc có độ dài khoảng 700-1000 từ/bài, với tổng số từ trong cả 3 bài đọc trong khoảng từ 2150 đến 2750 từ. Các bài đọc đều có ngữ liệu thực, lấy trong sách giáo khoa, tạp chí chuyên ngành, tạp chí phổ thông, báo …, với nội dung không quá chuyên sâu. Tương tự như trong phần thi Nghe, ngoài hình thức trắc nghiệm nhiều lựa chọn phổ biến các tác vụ ngôn ngữ trong phần Đọc bao gồm nhiều hình thức khác nhau như ghép cặp (matching), dán nhãn vào sơ đồ/bản đồ (labelling), điền (từ, số vv) vào mẫu đơn/mẩu tin nhắn/biểu bảng, câu trả lời ngắn vv. đời). Đa số các tác vụ này có thể ít nhiều mô phỏng được những hành vi ngôn ngữ mà người học có thể thực hiện khi sử dụng trong thực tế. Thí sinh được kiểm tra kỹ năng đọc hiểu ý chính, hiểu những chi tiết, suy đoán từ các thông tin được cung cấp, hiểu được mục đích của bài viết, vv
Chủ đề và ngữ cảnh trong bài thi IELTS xoay quanh việc sử dụng ngôn ngữ trong môi trường hàn lâm nhưng không chuyên sâu, tương tự như những bài viết lấy trong sách giáo khoa ở bậc đại học dành cho đối tượng tổng quát. Các thể loại bài viết bao gồm văn mô tả khoa học, hoặc trình bày thông tin hay quan điểm đa chiều. Lượng từ vựng cần có để đọc tốt bài thi IELTS vào khoảng 7000 từ tổng quát cộng thêm khoảng hơn 600 từ thường gặp trong ngôn ngữ hàn lâm.
Phần Viết của IELTS gồm 2 câu (2 tác vụ). Trong câu 1, thí sinh được cung cấp một biểu đồ hoặc bảng thông tin và được yêu cầu viết một bài luận ngắn khoảng 150 từ để mô tả hoặc giải thích những thông tin có trong biểu đồ hoặc bảng đã cung cấp. Trong câu 2, thí sinh được yêu cầu một bài luận (essay) dài 250 từ để trình bày một quan điểm, một lập luận hay một vấn đề dựa trên đề tài được cung cấp.
Phần Nói của IELTS gồm 3 câu (3 tác vụ). Câu 1 là phần tự giới thiệu và phỏng vấn, trong đó giám khảo và thí sinh tự giới thiệu mình rồi sau đó giám khảo sẽ hỏi thí sinh những câu hỏi thông thường về gia đình, học hành, công việc và những mối quan tâm. Câu 2 là phần thí sinh tự trình bày (độc thoại) trong vòng vài phút về một chủ đề cho sẵn, sau đó giám khảo sẽ hỏi thí sinh một vài câu hỏi để làm rõ về cùng chủ đề mà thí sinh vừa trình bày. Câu 3 là phần trao đổi hai chiều, trong đó giám khảo sẽ tiếp tục hỏi thí sinh về chủ đề trong phần 2 vừa trình bày để mở rộng và khái quát hóa vấn đề vừa được trình bày.
Các chủ đề và ngữ liệu trong toàn bộ bài thi IELTS hoặc liên quan đến những chủ đề thông thường trong đời sống hoặc liên quan đến học thuật (rõ nhất trong phần Đọc và phần Viết) nhưng không đi quá sâu về chuyên ngành. Khi đối chiếu với Khung năng lực ngoại ngữ 6 bậc, có thể thấy ngữ liệu và các tác vụ của bài thi IELTS (academic) tương ứng với bậc 4 và bậc 5, và có thể là một công cụ đánh giá tốt ở hai bậc năng lực này, đồng thời dựa vào mức độ hoàn hảo của bài làm cũng có thể suy đoán năng lực của thí sinh ở mức cao hoặc thấp hơn một bậc (tức từ bậc 3 đến bậc 6). Một điều có thể khẳng định là xét theo tính giao tiếp của tác vụ và ngữ liệu thì IELTS là một bài thi đánh giá năng lực ngôn ngữ tốt hơn TOEIC do tính chân thực và tương tác cao hơn rất nhiều.
IELTS khuyến cáo không nên sử dụng mức điểm IELTS từ dưới mức thấp hơn 4 vì ý nghĩa của có thể không chính xác (xem Phụ lục 1).
Phần phân tích ở trên cho phép ta đưa ra một số nhận xét sau về hai bài thi nói trên:
TOEIC
  • TOEIC là một kỳ thi phù hợp với người đi làm trong môi trường cần sử dụng tiếng Anh hàng ngày nhưng chỉ ở mức hạn chế, chủ yếu là những giao dịch và trao đổi thông thường trong môi trường kinh doanh thương mại. Nếu sử dụng bài thi với cả 4 kỹ năng thì TOEIC có thể được đánh giá là phù hợp với các học viên cần sử dụng tiếng Anh hàng ngày tại nơi làm với mức năng lực ở bậc 3 và 4 hoặc thấp hơn. Các diễn giải về năng lực ở mức cao hơn cần được xem xét kỹ, tốt nhất là phối hợp với các nguồn thông tin khác liên quan đến năng lực của thí sinh.
  • Ngữ liệu và tác vụ của bài thi cho thấy nếu sử dụng bài thi với cả 4 kỹ năng thì TOEIC khá phù hợp với những người làm việc ở vị trí giao dịch tổng quát (nhân viên hoặc chánh văn phòng, trợ lý giám đốc, hoặc nhân viên bán hàng vv) nhưng chưa phù hợp với nhiều ngành đào tạo đòi hỏi người học phải sử dụng tiếng Anh học thuật/ chuyên ngành để đọc tài liệu chuyên môn, viết các báo cáo tham dự hội nghị, hội thảo quốc tế, hoặc trao đổi trực tiếp với khách hàng và đồng nghiệp về những vấn đề thiên về chuyên môn trong các lĩnh vực như ngoại giao, y tế, kỹ thuật, và cả kinh tế - thương mại.
Hiện đang có một sự nhầm lẫn phổ biến rằng TOEIC phù hợp với tất cả ngành và các vị trí công việc của sinh viên tốt nghiệp các trường thuộc khối kinh tế - thương mại; điều này là không chính xác và các trường cần xem xét kỹ các thông tin về bài thi trước khi quyết định có sử dụng hay không.  
  • Do TOEIC là một bài thi ra đời từ rất lâu trước khi CEFR xuất hiện, nên các mức trình độ khác nhau của bài thi TOEIC không được kết nối vào một bộ giáo trình tiếng Anh tương ứng để hỗ trợ cho việc dạy và học. Việc “học một đàng, thi một nẻo” này có thể hạn chế đáng kể hiệu quả của việc giảng dạy.
  • Do bài thi chỉ dùng trắc nghiệm khách quan, đồng thời ngữ liệu trong bài thi khá hạn chế, nên cần thận trọng với khả năng bài thi có tác động tiêu cực lên cách dạy của giáo viên và việc học của thí sinh.
-IELTS
  • Là một kỳ thi có chất lượng và phù hợp với nhiều trường vì nó vừa đánh giá năng lực sử dụng tiếng Anh trong môi trường tổng quát và vừa chú trọng yếu tố hàn lâm. Trên thực tế, sinh viên tốt nghiệp các trường đại học ở Việt Nam đều có nhu cầu tham khảo tài liệu nước ngoài liên quan đến ngành học của mình ở mức chuyên sâu, và đây chính là định hướng của bài thi IELTS. Ngữ liệu và tác vụ của bài thi khiến ta có thể yên tâm về năng lực của những người sở hữu chứng chi này.
  • Bài thi IELTS có hai module là học thuật và tổng quát nhưng hiện nay các trường hầu như chỉ biết đến module học thuật. Điều này một phần là điểm thi của module học thuật cho phép người có chứng chỉ tham gia các chương trình học có cấp bằng ở nhiều nước nói tiếng Anh. Tuy nhiên, các chương trình giảng dạy tiếng Anh tại các trường đại học của Việt Nam thường không đặt mục tiêu này, và để có thể đạt được điểm số cần đạt (ví dụ, 4.5 hoặc 5 để được công nhận đạt B1 tức bậc 3 của Viêt Nam) thì nhất thiết sinh viên phải được rèn luyện thêm kỹ năng đọc và viết hàn lâm. Nếu điều này không có trong chương trình học mà vẫn yêu cầu mọi thí sinh phải đạt bài thi IELTS mới được xem là đạt mục tiêu của chương trình thì không công bằng với các thí sinh.
  • Nhìn chung, IELTS là một bài thi hơi khó đối với đa số sinh viên tốt nghiệp của Việt Nam, do ngữ liệu và tác vụ của bài thi được đặt ở khoảng mức 4 và 5, cao hơn mức yêu cầu cần đạt của thí sinh. Tuy nhiên, do cách xây dựng bài thi bám sát lý thuyết cập nhật nhất về đánh giá năng lực ngoại ngữ theo quan điểm giao tiếp, nên IELTS được đánh giá là một bài thi có tác động tích cực đến việc học tập và giảng dạy trước đó, như đã được nhiều lần chứng minh qua các công trình nghiên cứu đã được công bố.

Kết luận
Phần phân tích 2 chứng chỉ đang được sử dụng phổ biến nhất tại Việt Nam cho thấy các chứng chỉ rất khác nhau, và một chứng chỉ được xem là rất phù hợp với dối tượng này lại có thể rất không phù hợp với đối tượng khác. Nó cũng cho thấy việc lựa chọn và áp đặt MỘT CHỨNG CHỈ DUY NHẤT để đánh giá đầu ra của sinh viên mà không phân tích mức độ phù hợp của nó đối với đối tượng người học và mục tiêu của chương trình đào tạo là một việc làm vừa không hợp lý về mặt khoa học, vừa không công bằng đối với thí sinh, lại vừa có khả năng gây ra những tác động tiêu cực đến toàn hệ thống, làm giảm hiệu quả của việc dạy và học trước đó. Đây có thể là một trong những lý do khiến việc yêu cầu nộp các chứng chỉ quốc tế đã được áp dụng nhiều năm tại các trường, nhưng năng lực tiếng Anh của sinh viên ra trường vẫn bị các nhà tuyển dụng đánh giá là rất thấp. Tất nhiên, để khẳng định điều này còn cần có những nghiên cứu với số liệu thực nghiệm về tác động của từng loại chứng chỉ trên người học Việt Nam, là điều hiện nay vẫn còn rất thiếu và cần phải trở thành một trong những định hướng của Đề án 2020 trong thời gian tới.
    Mặt khác, những nhận định của bài viết về hai chứng chỉ vừa nêu không nhằm khẳng định sự phù hợp hoặc không phù hợp của hai chứng chỉ này cho bất kỳ một trường cụ thể nào, mà chỉ mang tính gợi ý về quy trình và nguyên tắc lựa chọn một chứng chỉ đánh giá năng lực đầu ra. Mục đích của bài viết, như đã nêu ở phần mở đầu, là bước đầu xác lập các tiêu chí lựa chọn chứng chỉ công nhận năng lực đầu ra của sinh viên tốt nghiệp. Trong tình hình ngày càng có nhiều chứng chỉ đánh giá năng lực ngoại ngữ tại Việt Nam, việc đưa ra một lựa chọn chính xác dựa trên các chứng chỉ có sẵn, hoặc điều chỉnh/xây dựng các bài thi mới cho hoàn toàn phù hợp với đối tượng người học, sẽ góp phần tạo ra những tác động tích cực lên hệ thống, làm tăng hiệu quả giảng dạy, và giúp ta đến gần với mục tiêu tham vọng của Đề án 2020, đó là: Đến năm 2020, ngoại ngữ sẽ trở thành một thế mạnh của người Việt Nam.
--------------------


Tài liệu tham khảo
1.Bachman, L. F. (1990) Fundamental considerations in language testing. Oxford: Oxford University Press.
2. Bachman, L. F. and A. S. Palmer (1996) Language testing in practice: Designing and developing useful language tests. Oxford: Oxford University Press.
3. Feuer, M. J et al (Eds) (1999) (Uncommon measures: Equivalence and linkage among educational tests. Washington, D. C.: National Academy Press. Accessed online on Dec 28, 2014 at   http://files.eric.ed.gov/fulltext/ED440984.pdf
4. Chujo, K. and Genung, M. (2005) “Utilizing the British National Corpus to analyze TOEIC tests: The quantification of vocabulary-usage levels and the extraction of characteristically used words.” TOEIC Research Report Number 3. Accessed online on November 19, 2015 at http://www5d.biglobe.ne.jp/~chujo/data/KiyomiChujo_E-TOEIC-Report.pdf
5. Johnson, N (2007) “A consideration of assessment validity in relation to classroom practice”. Cambridge Assessment. Accessed online on Nov 28, 2015 at http://www.iaea.info/documents/paper_1162b25504.pdf
6. Lupp, L. et al (no year). Exploring consequential validity of alternate assessments based on alternate achievement standards. Report to the States of the results of an online teacher survey in a three state consortium. Accessed online on Nov 28, 2015 at http://www.education.pa.gov/Documents/K-12/Special%20Education/Assessment/Consequential%20Validity%20-%20Report%20to%20the%20States.pdf
7. Taylor, L. and S. Chan (2015) “IELTS equivalence research project – Appendices.” CRELLA. Accessed online on Oct 28, 2015 at http://www.gmc-uk.org/IELTS_Equivalence_Research_Project_Appendices.pdf_63059074.pdf