Thursday, December 2, 2010

Thuật ngữ đo lường: Dữ liệu, số đo, thông tin/chỉ báo, và trắc lượng

Đó là những từ thường gặp trong các tài liệu viết về đo lường và đánh giá trong giáo dục. Là cái mà bây giờ trở thành nghề của tôi, là việc mà tôi phải làm hàng ngày.

Tôi viết vội entry này vì vừa tìm thấy một bài viết trên trang Educause viết về vấn đề này. Các từ tương đương trong tiếng Anh, vốn là gốc của những từ trong tựa của entry này, theo đúng thứ tự đã nêu, là data, measures, information, và metrics.

Khi tìm từ tương đương trong tiếng Việt để dịch mấy từ này, tôi nhận ra là VN mình ít từ ngữ về đo lường trong giáo dục quá. Điều đó cho thấy hiện nay ngành học đo lường và đánh giá trong giáo dục vẫn chưa phát triển mấy, chỉ mới ra đời ít năm nay thôi (do ĐHQG Hà Nội khởi xướng, một việc làm có ý nghĩa!)

Các bạn đọc định nghĩa dưới đây, lấy từ trang của educause, gốc ở đây:
Defining a metric requires a common language. Data, measures, information, and metrics are distinctly different for our purposes. Using an IT help desk as an example, we can demonstrate those differences:

Data: The simplest/lowest unit available. Data represent “raw numbers” and are of little to no use alone.
Number of trouble calls
Number of employees

Measures: A little deeper view that builds on the data. Measures are rarely useful alone.
Number of calls per hour
Number of cases closed by worker

Information: Usually a comparison. This level of abstraction serves as a useful indicator. Number of calls for each hour compared to number of workers on a shift
Average length of time to close a case, grouped by type
[Nhận xét của tôi: nên dùng từ chỉ báo (indicator) thì tốt hơn từ thông tin ở đây, vì thông tin thì chung chung quá, và nghe không có vẻ ... đo lường!]

Metric: Tells a complete story. It incorporates information (built of measures and data) to answer a question fully. Normally, a metric is conveyed through a graphical representation and explanatory prose.

To understand the relationships among the components that make up a metric, imagine a metric as an oak tree: it has a massive trunk, and the leaves and branches provide shade and comfort. Data are analogous to the leaves on the tree. Numerous and abundant, they are interesting to look at, easy to get, and serve a purpose; but by themselves they are not very useful and will not survive once removed from the branches.

The smallest and thinnest branches represent measures—they provide an essential connection between leaf and tree (between data and the metric), although not substantial or robust enough to create anything on their own. The thicker, inner branches, the limbs, are like information. Useful at times in themselves (for supporting tire swings or tree houses, for example), they die if taken away from the tree. Information without a connection to the trunk will fail to reach its potential.

The trunk of the tree, where you can determine its age and strength, represents the metric—a picture telling a complete story. The metric may consist of many pieces of information, derived from many measures and data. However, even the largest tree will wither and die without roots.

The roots of the tree represent the questions the metric is designed to answer. As with the oak, the roots define the type of tree it will become, where it will live, how strong it will be, and if it will survive a harsh environment. The roots are born of the original seed (need) and spread out, providing a life-giving foundation for the tree. Even if you cut down the tree, the roots will continue to spawn new growth. Unless the root question is no longer necessary (the tree is uprooted), you will continue to need data, measures, information, and metrics to feed the root need.

To aid in the process of properly building our metric tree from the roots up, rather than picking leaves (data) and branches (measures) off the ground trying to create a tree, we use an implementation guide. This straightforward template allows us to focus our energies on the root need.

Phần giải thích rất hay, nhưng tôi chưa có thì giờ dịch sang tiếng Việt, đành đưa tiếng Anh lên đây. Ai rảnh thì dịch gửi cho tôi, và cho tôi xin phần dịch nhé!

Nhân tiện, entry này có liên quan đến đề tài benchmarking mà tôi đã viết cách đây ít lâu. Các bạn có thể đọc lại, đặc biệt là phần metric benchmarking ấy. Nó là điều mà giáo dục VN cần làm ngay. Vì không đo đạc gì, không số liệu, thì làm sao mà đưa ra được mục tiêu và lập kế hoạch để đạt được mục tiêu đó cho có hiệu quả được?

Hèn gì mà nước ngoài họ hay nói mình là có "mục tiêu di động" (moving target). Thế thì đạt được mục tiêu ấy hẳn là khó lắm, phải đòi hỏi những tay thiện xạ.

Biết bao giờ thì có đủ thiện xạ để cải thiện chất lượng giáo dục VN nhỉ, nếu mục tiêu cứ di động như thế này (vì không có số liệu chính xác mà)!
---

Đánh giá CTĐT theo tiêu chuẩn chất lượng AUN-QA (4): Các công cụ và quy trình

(tiếp theo và hết)
3.2. Các công cụ đánh giá

- Công cụ tự đánh giá: trong báo cáo tự đánh giá cần đính kèm bảng tự đánh giá (cho điểm) của Khoa. Bảng tự đánh giá này gồm có 18 tiêu chuẩn đầu tiên trong mô hình chất lượng (xem hình trong entry trước) và được chi tiết hóa thành 72 tiêu chí cụ thể.

- Công cụ phục vụ đoàn đánh giá ngoài: gồm có 2 công cụ có nội dung giống nhau, chỉ khác nhau về thời điểm sử dụng: (1) Appendix C là bảng ghi kết quả thẩm định báo cáo tự báo cáo tự đánh giá, sử dụng trước khi tổ chức đoàn thực địa (site visit), gọi là thẩm định trên giấy (desk review), và (2) Appendix D là bảng ghi đánh giá ngoài, được sử dụng trong thời gian thực địa. Các công cụ này cũng giống như công cụ tự đánh giá; tuy nhiên ngoài việc cho điểm, đánh giá viên còn ghi điểm mạnh và những điểm cần cải thiện đối với từng tiêu chí.

- Điểm số: AUN-QA quy định thang 07 điểm - mỗi điểm số mang ý nghĩa thông tin như sau:
+ Đạt 1-2 điểm nếu vấn đề đang ở mức nghiêm trọng và trường/khoa cần phải làm gì đó ngay. (tương đương mức “kém”).
+ Đạt 3 điểm nếu đánh giá chưa đạt yêu cầu nhưng không đến nỗi ảnh hưởng trực tiếp đến chất lượng sinh viên tốt nghiệp. Trường/khoa cần cải tiến chất lượng (tương đương mức “yếu”).
+ Đạt 4 điểm nếu đánh giá đạt yêu cầu, nhưng không có gì đáng để tự hào. (tương đương mức “trung bình”).
+ Đạt 5 điểm nếu đánh giá hơi cao hơn mức yêu cầu, có thể an tâm với kết quả (tương đương mức “khá”).
+ Đạt 6 điểm nếu đánh giá hơn mức yêu cầu và có thể xem là thực tiễn tốt (tương đương mức “tốt”, good practice).
+ Đạt 7 điểm nếu đánh giá là xuất sắc, rất đáng để tự hào và chắc chắn đó phải là một điểm đặc biệt nổi trội, thực tiễn tối ưu (tương đương mức “xuất sắc”, best practice).

3.3 Quy trình đánh giá ngoài chính thức
Hoạt động đánh giá ngoài của AUN-QA được chia thành 04 nhóm hoạt động chính như sau:

- Đăng ký đánh giá ngoài
Trường/Khoa muốn được đánh giá ngoài phải đăng ký với ban thư ký AUN trước 01 năm (thông tin về trường, khoa, chương trình sẽ đánh giá, thời gian đánh giá). Sau đó ban thư ký AUN mời các chuyên gia – đây là những chuyên gia đến từ các trường thành viên của AUN và thành lập đoàn đánh giá ngoài. Số lượng chuyên gia trong mỗi đoàn từ 02-03 người.

- Thẩm định báo cáo tự đánh giá
+ Trước thời gian đánh giá ngoài chính thức ít nhất 01 tháng, các chuyên gia phải nhận được báo cáo tự đánh giá và minh chứng của khoa. Khi đó, trưởng đoàn sẽ phân công công việc cho các thành viên trong đoàn đọc báo cáo tự đánh giá.
+ Trước ngày đánh giá chính thức 01 tuần, các thành viên trong đoàn hoàn thành kết quả thẩm định báo cáo tự báo cáo tự đánh giá theo sự phân công (appendix C) và gửi cho trưởng đoàn để tổng hợp. Trước ngày đánh giá chính thức, các thành viên trong đoàn gặp nhau để trao đổi thông tin về công việc phải làm và thảo luận về bản báo cáo tự đánh giá.

- Đánh giá ngoài chính thức: diễn ra trong 2,5 ngày.
+ Ngày 1, sáng ngày 2: đoàn đánh giá ngoài gặp ban lãnh đạo trường, khoa, bộ môn; đoàn nghe giới thiệu về trường, khoa, bộ môn và phỏng vấn các đối tượng liên quan (lãnh đạo trường, khoa/bộ môn, hội đồng khoa học, giảng viên, sinh viên, đội ngũ hỗ trợ, cựu sinh viên, nhà tuyển dụng); thăm quan cơ sở vật chất của trường/khoa/bộ môn (phòng học, phòng làm việc, phòng thí nghiệm, thư viện…)
+ Chiều ngày 2: đoàn đánh giá ngoài họp, trao đổi và thống nhất kết quả đánh giá, chuẩn bị nội dung báo cáo cho sáng ngày 3
+ Sáng ngày 3: trình bày và trao đổi sơ bộ kết quả đánh giá ngoài với trường/khoa. Trong buổi này, điểm số có thể được thông báo với trường hoặc không tùy thuộc vào đoàn

- Gửi kết quả đánh giá ngoài: Sau 01 tháng kể từ ngày đánh giá ngoài, kết quả đánh giá ngoài chính thức sẽ được gửi cho khoa. Bảng kết quả có kèm theo những nhận xét chi tiết về điểm mạnh, điểm yếu, và những đề xuất cải thiện. Đây chính là yếu tố giúp cho việc đánh giá chất lượng có tác dụng cải thiện, tất nhiên là nếu đơn vị được đánh giá biết nghe theo lời khuyên của đồng nghiệp (các thành viên của đoàn đánh giá ngoài) và có những cải thiện cần thiết.
---
Dưới đây là hình ảnh từ một số đợt DGN của AUN-QA mà tôi có tham gia.
Đánh giá ngoài tại University Gadjah Mada của Indonesia, T10/2009: Phỏng vấn nhà tuyển dụng
Hoàn chỉnh dự thảo báo cáo ĐGN trước khi trình bày cho Khoa được đánh giá nghe
Nghe trình bày kết quả ĐG
Văn nghệ trong buổi tiệc kết thúc đợt ĐGN
Khai mạc đợt ĐGN tại ĐHQG-HCM T12/2009