Thiết kế các chỉ báo hiệu suất cốt lõi (KPI) trong giáo dục đại học (1)

Entry này là phần tóm tắt những ý chính của tài liệu tập huấn "Designing Key Performance Indicators" do Hội đồng Kiểm định giáo dục đại học Oman soạn thảo vào năm 2006. Bản gốc tiếng Anh của tài liệu có thể tìm được tại địa chỉ sau đây: www.oac.gov.om/files/qe/training/handout/03v8_handout.pdf.

Trước khi vào phần chính, xin được giải thích tại sao tôi lại quan tâm đến KPI. Như mọi người đã biết, kiểm định và đánh giá chất lượng giáo dục hiện đã là yêu cầu bắt buộc đối với tất cả các trường đại học của VN. Theo quy định, kết quả đánh giá sẽ được sử dụng để xét chỉ tiêu tuyển sinh, cho phép mở ngành và liên kết đào tạo, quyết định về mức độ đầu tư vv. Nhưng muốn đưa ra những phán đoán chính xác để đánh giá thì nhất thiết phải có các số liệu đủ tổng quát cho phép so sánh về hiệu suất (efficiency) và hiệu quả (effectiveness) giữa các trường với nhau. Các số liệu ấy được gọi là KPIs, vốn được áp dụng trong thương mại và công nghiệp từ đã lâu, nay mới được đưa vào áp dụng trong giáo dục đại học trong vòng vài thập niên trở lại đây.

KPI cho phép các trường xác định dễ dàng những chỉ tiêu cần đạt trong tương lai, và thực hiện các so sánh với trường khác hoặc với chính mình nhằm quản lý những thay cần có. Đó là lý do tại sao hiện nay ở các nước phương tây, KPI được dùng rộng rãi trong quản trị đại học (cụ thể là trong việc xây dựng kế hoạch chiến lược, trong đánh giá-giám sát và điều chỉnh hoạt động, và trong các hoạt động đảm bảo và kiểm định chất lượng (ở VN cũng đang đi dần theo hướng này, thể hiện qua việc Bộ Giáo dục yêu cầu các trường phải "3 công khai", mặc dù số liệu của VN thì vẫn còn nhiều điều phải bàn lắm).

Vâng, dẫn nhập như vậy đủ rồi, giờ thì phải vào nội dung chính thôi.
-----------
1. Vai trò của KPI trong quá trình hoạch định chiến lược của một đơn vị

Việc hoạch định chiến lược của một đơn vị có thể được xem là 1 quá trình 8 bước, bắt đầu bằng sứ mạng của đơn vị và kết thúc bằng kết quả đạt được. Xem sơ đồ dưới đây:

1. Sứ mạng (mision) --> 2. Mục tiêu hoặc mục đích (goal) --> 3. Mục tiêu cụ thể (objectives) --> 4. Chiến lược (strategy) --> 5.Chỉ báo (indicator) --> 6. Số đo (hoặc số liệu, measure) --> 7. Chỉ tiêu (target) --> 8. Kết quả (result).

Quy trình 8 bước nói trên chia thành 2 giai đoạn rõ rệt, giai đoạn 1 là lập kế hoạch (ie, trên giấy) và giai đoạn 2 là thực hiện kế hoạch (ie, triển khai trên thực tế).Trong sơ đồ nói trên, KPIs bao gồm các yếu tố từ vị trí số 5 trở đi. Theo tài liệu, KPI là yếu tố cốt lõi của toàn bộ hệ thống hoạch định và giám sát. KPI không nhất thiết phải là một thành tố duy nhất mà có thể là một tập hợp có tính tích hợp (integrated collection) gồm nhiều thành tố khác nhau, ở đây là tập hợp các loại chỉ số từ 5 đến 8 trong sơ đồ.

Phân biệt một số thuật ngữ có thể nhầm lẫn
Mục tiêu cụ thể: chúng ta muốn đạt được điều gì? Mỗi mục tiêu cụ thể đòi hỏi có những chiến lược để đạt được chúng. Mỗi mục tiêu có thể có nhiều chỉ báo (indicator).

Chỉ báo: chúng ta sẽ đo cái gì để biết rằng đã đạt mục tiêu hay chưa? Chỉ báo cho phép ta đánh giá tiến độ thực hiện và đề xuất những hành động cần thiết để đạt mục tiêu cụ thể.

Số đo hay số liệu (measure): chúng ta sẽ đo như thế nào? Có thể dùng dữ liệu định tính hoặc định lượng, và có thể đo đầu vào, quá trình, hoặc đầu ra.

Chỉ tiêu (target): chúng ta muốn thấy những kết quả nào?

Kết quả (result): chúng ta đã thực sự đạt những điều gì?

Ví dụ
Mục tiêu: giảng dạy đạt chất lượng tốt
Chỉ báo: sự hài lòng của sinh viên đối với quá trình học tập
Số đo: điểm trung bình (mean) chung của từng lớp đối với câu hỏi tổng quát (overall) trong bảng hỏi lấy ý kiến sinh viên, sử dụng thang Likert có thang từ 1-5.
Chỉ tiêu: Ít nhất phải đạt điểm 3.5 trên thang 5 điểm; hoặc: có thứ hạng cao nhất trong nhóm so sánh (best in class compared with benchmark partners)
(còn tiếp)

Thuật ngữ đo lường: Dữ liệu, số đo, thông tin/chỉ báo, và trắc lượng

Đó là những từ thường gặp trong các tài liệu viết về đo lường và đánh giá trong giáo dục. Là cái mà bây giờ trở thành nghề của tôi, là việc mà tôi phải làm hàng ngày.

Tôi viết vội entry này vì vừa tìm thấy một bài viết trên trang Educause viết về vấn đề này. Các từ tương đương trong tiếng Anh, vốn là gốc của những từ trong tựa của entry này, theo đúng thứ tự đã nêu, là data, measures, information, và metrics.

Khi tìm từ tương đương trong tiếng Việt để dịch mấy từ này, tôi nhận ra là VN mình ít từ ngữ về đo lường trong giáo dục quá. Điều đó cho thấy hiện nay ngành học đo lường và đánh giá trong giáo dục vẫn chưa phát triển mấy, chỉ mới ra đời ít năm nay thôi (do ĐHQG Hà Nội khởi xướng, một việc làm có ý nghĩa!)

Các bạn đọc định nghĩa dưới đây, lấy từ trang của educause, gốc ở đây:

Defining a metric requires a common language. Data, measures, information, and metrics are distinctly different for our purposes. Using an IT help desk as an example, we can demonstrate those differences:

Data: The simplest/lowest unit available. Data represent “raw numbers” and are of little to no use alone.
Number of trouble calls
Number of employees

Measures: A little deeper view that builds on the data. Measures are rarely useful alone.
Number of calls per hour
Number of cases closed by worker

Information: Usually a comparison. This level of abstraction serves as a useful indicator. Number of calls for each hour compared to number of workers on a shift
Average length of time to close a case, grouped by type
[Nhận xét của tôi: nên dùng từ chỉ báo (indicator) thì tốt hơn từ thông tin ở đây, vì thông tin thì chung chung quá, và nghe không có vẻ ... đo lường!]

Metric: Tells a complete story. It incorporates information (built of measures and data) to answer a question fully. Normally, a metric is conveyed through a graphical representation and explanatory prose.

To understand the relationships among the components that make up a metric, imagine a metric as an oak tree: it has a massive trunk, and the leaves and branches provide shade and comfort. Data are analogous to the leaves on the tree. Numerous and abundant, they are interesting to look at, easy to get, and serve a purpose; but by themselves they are not very useful and will not survive once removed from the branches.

The smallest and thinnest branches represent measures—they provide an essential connection between leaf and tree (between data and the metric), although not substantial or robust enough to create anything on their own. The thicker, inner branches, the limbs, are like information. Useful at times in themselves (for supporting tire swings or tree houses, for example), they die if taken away from the tree. Information without a connection to the trunk will fail to reach its potential.

The trunk of the tree, where you can determine its age and strength, represents the metric—a picture telling a complete story. The metric may consist of many pieces of information, derived from many measures and data. However, even the largest tree will wither and die without roots.

The roots of the tree represent the questions the metric is designed to answer. As with the oak, the roots define the type of tree it will become, where it will live, how strong it will be, and if it will survive a harsh environment. The roots are born of the original seed (need) and spread out, providing a life-giving foundation for the tree. Even if you cut down the tree, the roots will continue to spawn new growth. Unless the root question is no longer necessary (the tree is uprooted), you will continue to need data, measures, information, and metrics to feed the root need.

To aid in the process of properly building our metric tree from the roots up, rather than picking leaves (data) and branches (measures) off the ground trying to create a tree, we use an implementation guide. This straightforward template allows us to focus our energies on the root need.

Phần giải thích rất hay, nhưng tôi chưa có thì giờ dịch sang tiếng Việt, đành đưa tiếng Anh lên đây. Ai rảnh thì dịch gửi cho tôi, và cho tôi xin phần dịch nhé!

Nhân tiện, entry này có liên quan đến đề tài benchmarking mà tôi đã viết cách đây ít lâu. Các bạn có thể đọc lại, đặc biệt là phần metric benchmarking ấy. Nó là điều mà giáo dục VN cần làm ngay. Vì không đo đạc gì, không số liệu, thì làm sao mà đưa ra được mục tiêu và lập kế hoạch để đạt được mục tiêu đó cho có hiệu quả được?

Hèn gì mà nước ngoài họ hay nói mình là có "mục tiêu di động" (moving target). Thế thì đạt được mục tiêu ấy hẳn là khó lắm, phải đòi hỏi những tay thiện xạ.

Biết bao giờ thì có đủ thiện xạ để cải thiện chất lượng giáo dục VN nhỉ, nếu mục tiêu cứ di động như thế này (vì không có số liệu chính xác mà)!
---

Tài liệu cần lưu: Hướng dẫn thu thập số liệu giáo dục

Tài liệu này tôi vừa tìm được trên mạng, rất hữu ích cho những ai cần thu thập số liệu giáo dục để phục vụ công tác quản lý, đánh giá chất lượng/hiệu quả, hoặc nghiên cứu giáo dục. Tất nhiên, tài liệu này bằng tiếng Anh.

Tên tiếng Anh của tài liệu là Data Collection Workbook, tạm dịch Hướng dẫn thu thập số liệu. Trong tựa này không có từ "giáo dục", nhưng mục đích của tài liệu là phục vụ cho những người hoạt động trong lãnh vực giáo dục, và các ví dụ trong tài liệu đều có liên quan đến giáo dục. Tài liệu dài tổng cộng 27 trang, được viết bằng ngôn ngữ dễ hiểu, không mang tính kỹ thuật, nên rất "thân thiện với người sử dụng".

Có thể tìm thấy nó ở đây. Địa chỉ truy cập: http://www.innonet.org/client_docs/File/data_collection_workbook.pdf

Highly recommended, đặc biệt đối với các bạn học viên cao học ngành đo lường - đánh giá trong giáo dục.