Entry này tôi đã viết dở dang từ cách đây mấy tuần, khi đề tài sinh viên đánh giá giáo viên còn đang là một đề tài nóng trên báo. Đã định tham gia vì nghĩ rằng mình biết thì cần nói cho mọi người biết, nhưng rồi đã tự "dằn" lại để đợi cho vấn đề nguội đi, rồi mới tham gia. Như thế, có lẽ sẽ đạt được mức độ "duy lý" cao hơn. (Duy lý là điều mà người VN rất thiếu, như rất nhiều người đã chỉ ra!)
Tôi nghĩ sự tranh cãi quanh vấn đề này cho đến nay là do các trường cần phải thực hiện một chính sách của ngành giáo dục, nhưng lại chưa được chuẩn bị về cơ sở khoa học và các hướng dẫn kỹ thuật để theo cho đúng.
Và để làm được điều này thì cần khá nhiều thời gian, chứ không chỉ cần một văn bản hành chính nhắc nhở mọi người thực hiện. Ngoài ra,
cái gọi là cơ sở "khoa học" hiện nay đang rất thiếu khoa học: người ta tổ chức một hội thảo nêu ra hiện trạng (lộn xộn và nhiều tranh cãi), rồi những ý kiến rất chủ quan về cách giải quyết những tồn tại, và cuối cùng là kết luận chỉ đạo của lãnh đạo. Đây là một cách làm rất lãng phí và không giải quyết được gì.
Theo tôi, chính sách đã nêu là đúng đắn vì trên khắp thế giới người ta đã làm lâu nay rồi. Nhưng để áp dụng đại trà thì cần rất nhiều bước, và thời gian cần thiết để thực hiện tất cả những việc này, trước khi triển khai rộng rãi.
1. Thực hiện thí điểm ở một nơi. Nơi được chọn thí điểm không chỉ cần có nhiệt tình và điều kiện về kinh phí, nhân lực, cơ sở vật chất, quyết tâm của tập thể vv mà
nhất thiết phải có năng lực, tức phải có sự tham gia của chuyên gia trong các bước chuẩn bị kế hoạch, tập huấn về lý luận và phương pháp, rồi theo dõi giám sát việc thực hiện cho đến khi hoàn tất.
2. Tổ chức nhiều hội thảo trình bày kết quả thí điểm, trước hết là với các chuyên gia khác để được góp ý, sau đó là đến những nhà chính sách và lãnh đạo các đơn vị để trao đổi thêm những khía cạnh liên quan đến bối cảnh triển khai.
3. Dự thảo chính sách và gửi cho các nơi góp ý. Cách gửi và nhận góp ý phải làm chuyên nghiệp, nhưng đó là một vấn đề khác không bàn ở đây.
4. Ban hành chính sách để triển khai trên diện rộng, nhưng gắn với một chương trình có thời hạn cụ thể để có thể theo dõi, giám sát, đánh giá vv.
5.
Luôn khuyến khích sự tham gia và phản biện của các nhà khoa học trong và ngoài nước để góp ý cho việc triển khai chính sách ngày càng hoàn thiện.
Cách làm hiện nay cho thấy vai trò của các nhà khoa học rất nhỏ, thậm chí hầu như vắng bóng. Và có một sự nhầm lẫn rất lớn về thế nào là khoa học. Xin nhắc lại,
hội thảo về hiện trạng và các ý kiến chủ quan về cách giải quyết như vẫn làm hiện nay thì không phải là khoa học, mà cùng lắm chỉ là một cách thu thập public opinion thôi. Thậm chí lấy public opinion như thế cũng chưa đúng cách vì mẫu thiên lệch: đa số người đi dự các hội thảo này phần lớn chỉ là các nhà quản lý và khoa học nửa mùa (nửa mùa cả ở 2 lãnh vực) - vì mới học xong, chưa có cơ hội nghiền ngẫm về điều mình học, thì đã "được" làm quản lý rồi.
Dưới đây, tôi xin đưa một bài đọc liên quan đến vấn đề này của trường Brigham Young University, một trường tư của Mỹ, chia sẻ các kinh nghiệm và lý luận về vấn đề này. Tôi sẽ trích dịch và bình luận thêm về vấn đề này trong những entry sau. Bài ấy
ở đây.
Hoặc cũng có thể đọc dưới đây. Tựa đề tiếng Việt
"Sinh viên đánh giá giảng viên: Những quan niệm sai lầm và chứng cứ khoa học". Như mọi lần trên blog này, những chỗ in nghiêng, tô đậm vv là phần nhấn mạnh của tôi, không phải của tác giả. Đó là những chỗ theo tôi cần chú ý. Và một vài bình luận của tôi, chèn trong bài viết tiếng Anh, viết bằng tiếng Việt, in nghiêng.
--
Student Ratings: Myths vs. Research EvidenceMichael Theall, PhD
Nguồn: https://studentratings.byu.edu/info/faculty/myths.asp
Editor's note: Michael Theall has twenty-six years of experience as a faculty member and as a professional in instructional design, development, and evaluation. He has founded faculty centers for teaching, learning, and evaluation at three universities: the University of Illinois, the University of Alabama, and Youngstown State University (OH). Theall and colleague Jennifer Franklin recently received a career achievement award from the American Education Research Association (AERA) for their work in faculty evaluation and development. They are authors of "The Student Ratings Debate," a monograph for New Directions for Institutional Research (2001), among numerous other publications on evaluating teaching. Theall penned this article for BYU's FOCUS ON FACULTY Newsletter (vol. 10, no. 3, p.2) at the request of the editor. Student ratings of instruction are hotly debated on many college campuses. Unfortunately these debates are often uninformed by the extensive research on this topic. Marsh's often-cited review of the research on student ratings shows that student ratings data are a) multidimensional; b) reliable and stable; c) primarily a function of the instructor who teaches the course; d) relatively valid against a variety of indicators of effective teaching; e) relatively unaffected by a variety of variables hypothesized as potential biases; and f) seen to be useful by faculty, students, and administrators. The researchers who have synthesized all the major studies of ratings have reached the same conclusions as Marsh.
But even when the ratings data are technically rigorous, one of the major problems is day-to-day practice:student ratings are often misinterpreted, misused, and not accompanied by other information that allows users to make sound decisions. As a result, there is a great deal of suspicion, anxiety, and even hostility toward ratings. Several questions are commonly raised with respect to student ratings. Current research provides answers to many of these questions.
1.
Are students qualified to rate their instructors and the instruction they receive? Generally speaking, the answer is yes. Students can report the frequencies of teacher behaviors, the amount of work required, how much they feel they have learned, and the difficulty of the material. They can answer questions about the quality of lectures, the value of readings and assignments, the clarity of the instructor's explanations, the instructor's availability and helpfulness, and many other aspects of the teaching and learning process. No one else is as qualified to report what transpires during the semester, simply because no one else is there for the entire semester. Students are certainly qualified to express their satisfaction or dissatisfaction with the experience. They have a right to express their opinions in any case, and no one else can report the extent to which the experience was useful, productive, informative, satisfying, or worthwhile. Although opinions on these matters are not direct measures of the performance of the teacher or the content learned, they are legitimate indicators of student satisfaction; there is a substantial research base linking this satisfaction to effective teaching and learning. But students are not necessarily qualified to report on all issues. For example, beginning students cannot accurately rate the instructor's knowledge of the subject. A colleague's rating is more appropriate for this purpose. Likewise, peers are better qualified to judge content currency, curricular match, course design, or assessment methods. Both students and peers are in unique positions to provide enlightening perspectives. For effective evaluation, remember to use multiple sources of data and ask questions that respondents can legitimately answer.
2.
Are ratings based solely on popularity? There is no basis for this argument and no research to substantiate it. When this topic arises, the term popular is never defined. Rather, it is left to imply that learning should somehow be unpleasant, and the popularity statement is usually accompanied by an anecdote suggesting "The best teacher I ever had was the one I hated most." The assumption that popularity somehow means a lack of substance, knowledge, or challenge is entirely without merit. In fact, several studies show students learn more in courses in which teachers demonstrate interest/concern for the students and their learning. Of course these teachers also receive higher ratings.
3.
Are ratings related to learning? The most acceptable criterion for good teaching is student learning. There are consistently high correlations between student ratings of the "amount learned" in a course and students' overall ratings of the teacher and the course. Even more telling are the studies in multisection courses that employed a common final exam.
In general, student ratings were the highest for instructors whose students performed best on the exams.
These studies are the strongest evidence for the validity of student ratings because they connect ratings with learning. Xin có một nhận xét ở đây:
Tác giả bài viết này (Theall) khẳng định có chứng cứ khoa học về mối tương quan thuận giữa kết quả bài thi và điểm đánh giá giáo viên của cùng một sinh viên. Điều này chắc đúng, và hoàn toàn có thể kiểm chứng. Nhưng ý nghĩa của mối tương quan này là gì? Theall cho rằng sự tương quan này cho thấy giáo viên càng được sinh viên đánh giá cao thì càng có tác động tốt đến việc học của sinh viên đó.
Nhưng thật ra đó chỉ là một cách diễn giải. Hoàn toàn có thể có cách diễn giải ngược lại, đó là: chỉ những giáo viên nào hay cho điểm cao (những "bông hoa điểm mười" như cách nói thông thường ở VN) thì mới được sinh viên thích và đánh giá cao. Điều này có thể không đúng ở Mỹ, nhưng hoàn toàn có thể đúng ở VN trong bối cảnh hiện nay, khi người học chưa có tinh thần thực học, mà chỉ chăm chăm chạy theo mảnh bằng (mà thực chất đôi khi chỉ là một tờ giấy lộn).
Vì vậy, nếu một nghiên cứu của VN mà đưa ra kết luận như trong bài viết của Theall thì tôi sẽ rất nghi ngờ. Và sẽ phải kiểm chứng lại bằng nhiều thông tin khác nữa. Cái đó, trong nghiên cứu định tính gọi là triangulation - tôi tạm dịch là "tạo thông tin đa chiều".
Bài học rút ra ở đây: Cần hết sức cẩn thận khi diễn giải ý nghĩa của các hệ số tương quan!!!!! Bài học này, cần phải nhắc bao nhiêu lần mới đủ nhỉ?????4.
Are ratings affected by situational variables? The research says that ratings are robust and not greatly affected by situational variables. But we must keep in mind that generalizations are not absolute statements.
There will always be some variations. For example, we know that
required large-enrollment, out-of-major courses in the physical sciences get lower average ratings than elective, upper-level major courses in virtually all other disciplines. Does this mean that teaching quality varies? Not necessarily. What it does show is that effective teaching and learning may be harder to achieve under certain sets of conditions.
There is a critical principle for evaluation practice embedded here. To be fair, comparisons of faculty teaching performance based on ratings should use sufficient amounts of data from similar situations.
It would be grossly unfair to compare the ratings of an experienced professor teaching a graduate seminar of ten students to the one-time ratings of a new instructor teaching an entry-level required course with an enrollment of 300.Xin mở ngoặc một chút:
Đây chính là nơi mà các trường đại học ở VN cần tập trung nghiên cứu, để biết các yếu tố môi trường nào tại VN có thể tác động đến kết quả đánh giá của sinh viên đối với giảng viên, và tác động ra sao. Xin nhấn mạnh: CẦN CÓ CHỨNG CỨ KHOA HỌC TRONG BỐI CẢNH VIỆT NAM.5.
Do students rate teachers on the basis of expected (or received) grades? This is currently the most contentious question in ratings research. There is consistent evidence of a relationship between grades and ratings: a modest correlation of about .20. The multisection validity studies (mentioned in question 3) provide the most solid evidence that ratings reflect learning (a correlation of about .43). These findings lead to the conclusion reached by most researchers: There should be a relationship between ratings and grades because effective teaching leads to learning that leads to student achievement and satisfaction. Ratings simply reflect this sequence.
Như ở điểm 3, tôi không đồng ý hoàn toàn với cách giải thích của tác giả Theall, là người có vẻ rất ủng hộ student evaluation (He believes in it, obviously!)6.
Can students make accurate judgments while still involved in their schooling? Some argue that students cannot discern real quality until years after leaving the classroom.
There is no research proving this statement. However, several studies compare in-class ratings to ratings by the same students the next semester, the next year, immediately after graduation, and several years later. All these studies report the same results:
Although students may realize later that a particular subject was more or less important that they thought, student opinions about teachers change very little over time. Teachers rated highly in class are rated highly later on, and those with poor ratings in class continue to get poor ratings later on. This question is connected to the larger technical matter of overall reliability of ratings. The research indicates that ratings are very reliable.
Whether reliability is measured within classes, across classes, over time, or in other ways, student ratings are remarkably consistent.
Notes
1. Marsh, H. W. "Students' Evaluations of University Teaching: Research Findings, Methodological Issues, and Directions for Future Research." International Journal of Educational Research 11 (1987): 253-388.
2. Cohen, P. A. "Student Ratings of Instruction and Student Achievement: A Meta-Analysis of Multisection Validity Studies." Review of Educational Research 51 (1981): 281-309.
3. Centra, J. A. Determining Faculty Effectiveness. San Francisco: Jossey-Bass, 1979; and Frey, P. W. "Validity of Student Instructional Ratings. Does Timing Matter?" Journal of Higher Education 3 (1976): 327-36.
Other Works Cited and a Bibliography of Recent Work
Arreola, R. A. Developing a Comprehensive Faculty Evaluation System, 2nd ed. Bolton, Mass.: Anker Publishing Company, 2000.
Braskamp, L. A., and J. C. Ory, Assessing Faculty Work. San Francisco: Jossey-Bass, 1994.
Centra, J. A. Reflective Faculty Evaluation. San Francisco: Jossey-Bass, 1993.
Knapper, C., and Cranton, P., eds. "Fresh Approaches to the Evaluation of Teaching." New Directions for Teaching and Learning 88 (winter 2001).
Theall, M., P. A. Abrami, and L. Mets, eds. "The Student Ratings Debate. Are they Valid? How Can We Best Use Them?" New Directions for Institutional Research 109 (2001).
Theall, M., and J. L. Franklin. "Student Ratings in the Context of Complex Evaluation Systems." In M. Theall and J. Franklin, eds., Student Ratings of Instruction: Issues for Improving Practice. Volume 43 of New Directions for Teaching and Learning (1990).
--
Sau đây là các đường dẫn đến những bài viết, bài nghiên cứu liên quan đến chủ đề này, ai quan tâm có thể tham khảo. Tôi sẽ bình luận từng bài khi có thời gian, và ... khi có hứng, hoặc có công việc liên quan (!)
1. Liking or Learning?
Ở đây. Tóm tắt dưới đây:
Abstract
Data from 1,145 teacher evaluation forms, representing student responses in fifty-seven undergraduate courses are used to examine the role of instructor likeability on student perceptions of learning and ratings of overall teaching ability. The results suggest that students who rate their instructor high in likeability reward that instructor with high ratings in overall teaching ability. However, high likeability ratings are not associated with an increase in student perceptions of learning. The failure of likeability to effect perceived learning, juxtaposed with its positive impact on global teacher ratings, gives some credence to recent critiques of student consumerism in higher education. Namely, when students approach college as customers, they expect to be entertained and served only in ways they find pleasing. Suggestions for the more appropriate use of student evaluations of teaching (SETS) and their impact on how faculty define teaching effectiveness are discussed.
2. Evaluating Teacher Effectiveness.
Ở đây.
3. Recency Effect in College Student Course Evaluation.
Ở đây.
