Saturday, October 27, 2012

Tranh luận với hai tác giả PTL và NVT về bài báo 25/10/2012 (bài 3): Nhiều sai lệch giữa dữ liệu gốc và số liệu của các "nhà khoa học"

(tiếp theo bài 1 và bài 2)

Để độc giả dễ theo dõi cuộc tranh luận khá dài này, xin tóm tắt ở đây luận điểm chính của bài báo của 2 tác giả PTL và NVT. Nhìn chung, bài báo dường như muốn đưa đến người đọc thông điệp rằng nghiên cứu giáo dục của VN là vô cùng tệ hại, vừa ít về số lượng vừa thấp về chất lượng, và đó có thể là nguyên do của sự tụt hậu của giáo dục VN, chưa kể đó có thể còn là nguyên nhân cho sự chậm phát triển về kinh tế và xã hội của VN so với những nước khác trong khu vực. 


Dưới đây là những trích dẫn đáng chú ý và cho thấy luận điểm của tác giả như tôi đã tóm tắt ở trên. Những chỗ có chữ màu đỏ là những số liệu mà tôi sẽ sử dụng trong phần tranh luận/phản biện của tôi.

"Việc phân tích kết quả nghiên cứu của khoa học giáo dục (KHGD) VN dựa trên các thước đo theo chuẩn mực quốc tế: số lượng, chất lượng và tầm ảnh hưởng của các công trình nghiên cứu có thể cho thấy một số xu hướng rất đáng quan ngại về nghiên cứu giáo dục ở nước ta."


"Trong khoảng thời gian từ 1996-2010, ngành KHGD của VN công bố được 39 công trình nghiên cứu khoa học trên các tập san quốc tế. Con số này chiếm khoảng 9% tổng số ấn phẩm khoa học trong ngành khoa học xã hội (354 bài trong cùng thời gian). Tính trung bình mỗi năm VN chỉ công bố trên hai bài nghiên cứu về giáo dục. Đó là một con số rất khiêm tốn khi đối chiếu với số người chuyên làm về nghiên cứu giáo dục trên cả nước."


"Tính theo số lượng, VN đứng hạng 14 trong 21 nước khu vực Đông Á (Malaysia hạng 8, Thái Lan hạng 9, Philippines hạng 11). Con số bài nghiên cứu về giáo dục của VN chỉ bằng 1/37 so với Đài Loan (hạng 1) và 1/30 so với Hong Kong (hạng 2)..."


"Ở nước ta có khoảng 24.300 người có bằng tiến sĩ, trong đó 7.924 người đang làm việc trong các trường đại học và cao đẳng. Tuy nhiên, chúng tôi không có tư liệu cho thấy trong số này có bao nhiêu người chuyên nghiên cứu về giáo dục, cũng như không có số liệu về kinh phí dành cho nghiên cứu giáo dục. Cho đến nay, ở VN chỉ có một số ít đơn vị nghiên cứu giáo dục chuyên nghiệp."


Chất lượng của các công trình nghiên cứu có thể thể hiện qua số lượng trích dẫn và chỉ số H. Bảng so sánh dưới đây cho thấy xét về số lượng và về chỉ số H, xét về tỉ lệ trích dẫn trên mỗi bài báo VN đều đứng hạng 13/14, chỉ hơn Campuchia. 

"Chưa có chứng cứ để nói rằng sự yếu kém trong KHGD góp phần vào sự tụt hậu của giáo dục, nhưng những dữ liệu hình như nhất quán với nhận xét đó. Tính từ thập niên 1970 đến nay, khoảng cách của VN với các nước trong khu vực (trừ Philippines) càng lúc càng xa."

"Sự yếu kém về KHGD của VN thể hiện qua công bố quốc tế đã phần nào cho thấy sự bất cập của giáo dục trong việc đổi mới để đáp ứng yêu cầu của một nền kinh tế đang thay đổi nhanh chóng dưới tác động của toàn cầu hóa. Việc đối chiếu với kết quả nghiên cứu giáo dục của các nước trong khu vực cho thấy trong vòng 15 năm qua, tất cả các nước đều có bước phát triển nhảy vọt, kể cả VN, nhưng nhịp điệu phát triển của KHGD VN còn khoảng cách xa so với các nước và không tương xứng với nhịp điệu phát triển của nền kinh tế."


Quả thật, nếu chỉ nghe loáng thoáng thì những nhận định nói trên của hai tác giả của bài báo không phải là không hợp lý, chắc chắn là thuận tai người đọc vì nó cũng là những nhận định chung của đa số người VN hiện nay, như thường thấy thể hiện trên báo chí. Ở đây chúng ta chưa xét đến việc nhận định chung đó có chính xác hay không, vì muốn trả lời thì phải có những nghiên cứu cẩn thận với các số liệu cụ thể được xem xét dưới nhiều góc độ - một việc làm đòi hỏi nhiều công sức. Nếu bài báo ngày 25/10/2012 chỉ là một bài dưới dạng ý kiến thì tôi sẽ không bao giờ có thắc mắc hoặc tranh luận gì cả, dù có đồng quan điểm với các tác giả hay không.


Tuy nhiên, bài báo nói trên lại đưa ra rất nhiều số liệu, và (có vẻ như) các lập luận đều được xây dựng trên cơ sở dữ liệu công bố khoa học của Scimago, từ đó dẫn đến những kết luận có vẻ khoa học mà theo tôi là rất đang kinh ngạc đến độ cần phải xem xét lại. Đặc biệt là gợi ý rằng sự yếu kém của nghiên cứu "khoa học giáo dục" có thể là nguyên nhân của sự tụt hậu hiện nay của ngành giáo dục. Vì vậy, tôi đã phải bỏ công ra xem xét lại toàn bộ số liệu so sánh về công bố khoa học của VN với một số nước trong khu vực để kiểm chứng lại các nhận định trong bài báo. 


Để làm điều này, tôi đã thực hiện các so sánh giữa các nước Việt, Indo, Thái, Mã và Phi bằng công cụ so sánh do Scimago cung cấp. Lý do tôi chọn các nước này là vì chúng gần gũi với Việt Nam về nhiều mặt nên những so sánh với chúng mới có thể có ý nghĩa nào đó đối với chúng ta. So sánh với những nước quá xa VN về trình độ phát triển hoặc về quy mô (quá nhỏ như Brunei, Singapore, quá lớn như TQ) sẽ chẳng có mấy ý nghĩa.

Và sau đây là kết quả của những quan sát của tôi, với những nhận định hoàn toàn khác với 2 tác giả PTL và NVT, cho thấy bài viết nói trên có quá nhiều sai sót về số liệu, chưa kể những lỗ hổng về kiến thức hoặc phương pháp và những điểm thiếu logic trong lập luận. 

Xin phân tích các số liệu đó dưới đây. Nguồn số liệu có thể tải từ địa chỉ sau: http://www.scimagojr.com/countryrank.php?area=0&category=0&region=Asiatic+Region&year=all&order=it&min=0&min_type=it


3. Những quan sát  độc lập từ dữ liệu về công bố khoa học của Scimago


Trước hết, theo số liệu của Scimago thì thứ hạng công bố khoa học của 5 quốc gia Việt, Indo, Phi, Thái, Mã trên tổng số 33 quốc gia thuộc khu vực châu Á theo thứ tự đã nêu là 13, 12, 14, 8, 9. Nói cách khác, 5 nước này được chia làm 2 nhóm với những nước khá giống nhau trong mỗi nhóm  (vị trí sát cạnh nhau), xếp theo thứ tự từ trên xuống dưới thì nhóm trên là Thái (8), Mã (9); nhóm dưới là  Indo (12), Việt (13), và Phi (14). 


Tuy nhiên, công cụ so sánh của Scimago chỉ cho phép so sánh tối đa là 4 nước, vì vậy tôi đã thực hiện 2 lần so sánh: so sánh giữa 4 nước thuộc 2 cặp (4 nước Thái, Mã, Indo, Việt) và so sánh 3 quốc gia thuộc nhóm dưới (Indo, Việt, Phi).

Chỉ mới tới đây thôi ta đã thấy ngay mấy điểm sai biệt giữa số liệu gốc của Scimago và bài báo nói trên:


a/ Danh sách của Scimago cung cấp cho chúng ta 33 quốc gia thuộc châu Á (nếu xét chung mọi ngành khoa học) hoặc 29 nước (nếu chỉ xét ngành giáo dục) chứ không phải là 21 nước. Các tác giả đã tự chọn lọc ra 21 nước Đông Á để so sánh, nhưng không đưa tiêu chí để chọn các quốc gia được để ở lại trong danh sách, vì theo tôi xem xét số quốc gia cần loại ra khỏi danh sách đầy đủ  (33 nước) chắc chắn phải nhiều hơn 12 nước. 


Tính sơ sơ tôi đã có thể loại ra được 13 quốc gia sau: 1. Northern Mariana Island (vị trí 32), 2. Maldives (30), 3. Turmenistan (29), 4. Bhutan (28), 5. Afghanistan (27), 6. Tajikistan (26), 7. Kazakhstan (18), 8. Nepal (17), 9. Sri Lanka (16), 10. Uzbekistan (15), 11. Bangladesh (11), 12. Pakistan (10), 13. India (3).  

Ngoài ra, việc chọn lọc danh sách các quốc gia thuộc vùng Đông Á của các tác giả dường như cũng không dựa theo tiêu chí chung nào, ví dụ wikipedia thì cho rằng vùng Đông Á chỉ gồm có 8 nước (xem ở đây: http://en.wikipedia.org/wiki/East_Asia), và nếu tính luôn cả 10 nước ĐNÁ vào thì chúng ta cũng chỉ mới có 18 nước. Lẽ ra khi các tác giả tính toán lại số liệu thì nên làm rõ những căn cứ để tính toán, còn nếu không thì tốt nhất là để nguyên số liệu gốc cho độc giả dễ kiểm chứng. 

b/ Tỷ lệ công bố về nghiên cứu giáo dục trên tổng số bài nghiên cứu trong lãnh vực khoa học xã hội của VN trong dữ liệu của Scimago là 11%, không phải là 9% (39 bài trên tổng số 354 bài). Đây là một con số mà chỉ cần tính nhẩm cũng ra được, không hiểu tại sao các tác giả lại có thể nhầm lẫn một cách vô tư trong một bài báo "tầm cỡ" như vậy?

c/ Các số liệu so sánh trong bài báo rất tùy tiện, không có cơ sở khoa học, khiến ta có quyền nghi ngờ các tác giả đã cố tình như vậy để có thể đưa ra một bức tranh ảm đạm về nghiên cứu khoa học, đặc biệt là nghiên cứu của ngành giáo dục, tại VN.

Trước hết là việc gộp các nước Đông Á và các nước Đông Nam Á vào cùng một nhóm để so sánh (mà tại sao lại là 21 nước?)Ai cũng biết là có một sự cách biệt lớn giữa các nước Đông Á như Nhật, Hàn, Hồng  Kông, Đài Loan, và gần đây là Trung Quốc, so với các nước Đông Nam Á, đặc biệt là những nước nghèo, nhỏ, lạc hậu, chiến tranh như Phi, Việt, Cam, Lào, Miến vv. Tất nhiên trong khối ĐNÁ cũng có một số nước đã vươn lên mạnh mẽ không thua gì một số nước Đông Á khác như Singapore hoặc Mã Lai, nhưng đó là thiểu số, chứ không phải là mẫu số chung. Chỉ cần xét GDP bình quân của hai khối là có thể thấy ngay chúng không thể để lên cùng một bàn cân mà so sánh được. 

Vì vậy, những con số so sánh mà tác giả đưa ra như số bài nghiên cứu về giáo dục của VN chỉ bằng 1/37 so với Đài Loan hoặc 1/30 so với Hồng kông là hoàn toàn vô nghĩa, chỉ có tác dụng làm méo mó hình ảnh của nghiên cứu giáo dục VN trong bức tranh chung. Nếu muốn khẳng định nghiên cứu giáo dục của VN là đặc biệt kém thì trước hết hãy đưa ra ví dụ về nghiên cứu khoa học của một ngành khác ở VN để so sánh với 2 nước nói trên, rồi sau đó mới so sánh riêng NCGD của VN so với 2 nước đó. 

Đó cũng là điều tôi đã làm để kiểm chứng, và sau đây là kết quả so sánh. Các bạn cũng có thể vào trang web trên để kiểm tra lại những kết quả này. 

+ So sánh ngành Engineering (là một ngành lớn, tương đương với toàn ngành Social Sciences mà trong đó Education chỉ là một chuyên ngành): Việt Nam có 657 bài, Đài là 68,346, Hồng Kông là 26,797. Nói cách khác, tỷ số bài công bố khoa học của ngành Engineering của VN so với Đài Loan là 1/104, hoặc so với Hồng Kông là 1/40 (tính tròn số).

+ So sánh chuyên ngành Mechanical Engineering (một chuyên ngành trong engineering, tương đương với chuyên ngành giáo dục trong social sciences) : Việt Nam 97, Đài Loan 5770, Hồng Kông 2255. Nói cách khác, tỷ số bài công bố khoa học của ngành Engineering của VN so với Đài Loan là 1/59, hoặc so với Hồng Kông là 1/23 (tính tròn số).

Như vậy, chỉ cần so sánh với một ngành/chuyên ngành khác là đã có thể thấy số liệu về nghiên cứu giáo dục của VN mặc dù thấp và ai cũng muốn nó tốt hơn, nhưng không hề quá tệ mà có lẽ tốt hơn nhiều ngành khác. Thậm chí nếu ta so sánh ngành giáo dục với toàn ngành engineering rồi kết luận rằng nghiên cứu giáo dục của VN dù được đầu tư thấp, chắc chắn là không so được với các ngành công trình hay kỹ thuật ở VN, nhưng vẫn đạt được thành tích như vậy nên cần phải được tuyên dương, thì không hiểu các tác giả sẽ trả lời như thế nào nhỉ?

Tất nhiên tôi đưa ra những con số này chỉ để phản biện phương pháp so sánh của tác giả mà thôi, chứ không nhằm mục đích tuyên dương ngành giáo dục. Nhưng ngược lại, các tác giả đã tùy tiện chọn những con số "đẹp"  để đưa ra phục vụ lập luận chủ quan của mình, một cách làm hết sức phi khoa học!

---
(Tôi vừa viết một đoạn khá dài để kết thúc entry này, nhưng lại quên không save nên bây giờ bị mất, phải viết lại, hic!)

d. Vị trí của  nghiên cứu giáo dục VN trong các bảng so sánh: VN xếp hạng 14/21, 13/14, hay một hạng nào khác, và tại sao mẫu số lại thay đổi cho các lần so sánh?

Bài báo đưa ra 2 thứ hạng khác nhau của VN: hạng 14 trên 21 nước Đông Á (không rõ là các nước nào?) và hạng 13/14 (cũng vậy, không rõ là các nước nào). Sự thay đổi này khá đột ngột mà không có một lời giải thích.

Khi tìm hiểu trong cơ sở dữ liệu của Scimago ta thấy nếu xét theo tất cả các ngành thì có tất cả là 33 nước, Việt Nam đứng thứ 13 (tôi đã nêu ở trên, so sánh với 4 nước khác là Phi, Mã, Thái, Indo). Còn nếu xét riêng ngành giáo dục thì có 29 nước, Việt Nam đứng hạng 14, đứng ngay sau Indo hạng 13, còn Phi xếp hạng 11. Như vậy, so với vị trí tính chung cho mọi ngành khoa học thì vị trí của ngành giáo dục có hơi thấp hơn trung bình chung một chút.

Cơ sở dữ liệu của Scimago cũng cho phép ta thay đổi các thông số khi truy xuất dữ liệu để xếp hạng. Các lựa chọn để xếp hạng có thể có là: theo số lượng bài báo - documents, số lần trích dẫn - cites, số lần tự trích dẫn - self-cites, tỷ lệ trích dẫn trên mỗi bài báo - cites per document, và chỉ số H - H index. Ngoài ra, ta cũng có thể thay đổi số lượng tối thiểu các bài báo (documents), các trích dẫn (cites), hoặc các bài báo được trích dẫn (citable documents). Mỗi bộ thông số các lựa chọn khác nhau sẽ cho ra các thứ hạng khác nhau.

Để cố gắng hiểu được những con số  cho thấy vị trí của VN là 14/21 và 13/14 mà bài báo đưa ra nhưng không kèm  lời giải thích, tôi đã vào Scimago để thử mọi lựa chọn có thể. Các kết quả tìm kiếm của tôi không hề có kết quả nào giống với 2 kết quả nói trên,v ì vậy, có thể giả định là các tác giả đã tự tạo ra danh sách so sánh riêng của mình, một điều chỉ có thể chấp nhận nếu ngay từ đầu các tác giả làm rõ mục tiêu và tiêu chí lựa chọn của mình, và  không tự thay đổi tiêu chí lựa chọn.

Dưới đây là hình chụp các kết quả so sánh vị trí của ngành giáo dục VN so với 28 nước châu Á khác, xét theo công bố quốc tế trên số liệu của Scimago:

Hình 1: Vị trí của VN theo tổng số bài báo: 14/29 (Phi: 11, Indo: 13, Mã: 8, Thái: 9). Thứ hạng này giống với  kết số liệu mà bài báo nêu ra ở phần đầu bài viết, nhưng khác mẫu số vì bài báo nêu kết quả của VN là 14/21 chứ không phải 14/29.

Hình 2: Vị trí của VN theo tổng số lần trích dẫn: 16/29 (Phi: 11, Indo: 13, Mã: 7, Thái: 9).  Thứ hạng này hoàn toàn không giống với các số liệu mà bài báo nêu ra.

 Hình 3: Vị trí của VN theo tỷ lệ trích dẫn trên mỗi bài báo: 19/29 (Phi: 14, Indo: 16, Mã: 6, Thái: 13). Thứ hạng này cũng hoàn toàn không giống với các số liệu mà bài báo nêu ra.


Hình 4: Vị trí của VN theo chỉ số H: 20/29 (Phi: 14, Indo: 17,  Mã: 10, Thái: 12). Thứ hạng này cũng hoàn toàn không giống với các số liệu mà bài báo nêu ra.

Tuy nhiên, danh sách này không chính xác do 3 nước có chỉ số H bằng 0 (kém nhất) lại được xếp lên trên cùng theo mặc định của phần mềm xếp hạng, vì vậy cần phải thay đổi thông số lựa chọn (chỉ chọn những quốc gia có ít nhất 1 trích dẫn), lúc ấy danh sách chỉ còn lại 18 quốc gia do nhiều quốc gia không đáp ứng yêu cầu đã bị loại, trong đó có cả 3 quốc gia nói trên. Dưới đây là kết quả chính xác hơn:

Hình 4b- Vị trí của VN theo chỉ số H: 17/18, chỉ trên Kazakhstan vị trí số 18 (Phi: 12, Indo: 14,  Mã: 7, Thái: 9). Thứ hạng này cũng hoàn toàn không giống với các số liệu mà bài báo nêu ra.

Nhận xét chung:

- Thứ hạng của VN trên tổng số 29 nước  (hoặc 18 nước sau khi đã điều chỉnh, xem hình hình 4 và 4b) ngày càng thấp đi theo các cách so sánh khác nhau: số lượng bài báo, số lần trích dẫn, tỷ lệ trích dẫn trên mỗi bài báo, và chỉ số H. Tuy nhiên, sự thay đổi theo chiều hướng thấp đi xảy ra cho tất cả 5 nước đang được so sánh, trừ một vài ngoại lệ nhỏ (thứ hạng của Mã tăng nhẹ ở hình 2 và hình 3).

Do đó, sự giảm thấp đi này không thể được xem là dấu hiệu cho thấy khoảng cách về chất lượng nghiên cứu giáo dục giữa VN và các nước khác trong khu vực là đáng báo động,  mà có lẽ cần phải hiểu rằng nó cho thấy mức độ hội nhập của nghiên cứu giáo dục VN và của khu vực ĐNÁ/châu Á đối với thế giới: nước nào hội nhập sớm hơn và có vị thế cao hơn (về cả kinh tế, khoa học kỹ thuật và cả  trên chính trường nữa) thì sẽ có độ nhận diện cao hơn, và các bài viết của các nhà khoa học các nước này dễ được quan tâm hơn.

- Dù gì thì gì, mẫu số chung của các bảng so sánh này không thay đổi và không thể thay đổi vì như thế sự so sánh sẽ không còn ý nghĩa.

- Lời khẳng định trong bài báo: "xét về số lượng và về chỉ số H, xét về tỉ lệ trích dẫn trên mỗi bài báo VN đều đứng hạng 13/14, chỉ hơn Campuchia" vì vậy là một câu vô nghĩa, vì mỗi lần xét theo một tiêu chí so sánh thì kết quả sẽ khác nhau và không thể có một thứ hạng chung cho cả 3 tiêu chí (số lượng, chỉ số H, tỉ lệ trích dẫn trên mỗi bài báo) như bài báo đã nêu.

- Ngoài ra, một nhận xét không liên quan đến số liệu nhưng rất đáng quan tâm, đó là logic của nhận định nói trên (phần tô màu đỏ). Xin chép lại một lần để phân tích cho rõ: " xét về số lượng và về chỉ số H, xét về tỉ lệ trích dẫn trên mỗi bài báo VN ĐỀU đứng hạng 13/14, chỉ hơn Campuchia". 

Đây là một câu rất tối nghĩa. Xin chú ý từ "đều". Phải chăng nó có nghĩa là khi xếp hạng theo cả 3 tiêu chí (số lượng, tỷ lệ trích dẫn trên mỗi bài báo, và chỉ số H) thì kết quả đều ra là 13/14? Tôi nghĩ điều này khó lòng có thể xảy ra theo những số liệu mà tôi đã dẫn ở trên. Cách hiểu còn lại là từ "đều" chỉ đi với cụm từ "xét về tỉ lệ trích dẫn trên mỗi bài báo" thành một cặp từ (xét ... trên mỗi bài báo [thì] VN đều ...); nếu thế, đây là một câu hoàn toàn vô nghĩa và buộc ta phải nghĩ rằng người viết câu này không hiểu nghĩa của cụm từ tỉ lệ trích dẫn trên mỗi bài báo (cites per document), vì thế khi viết "mỗi" thì quen tay thêm từ "đều" vào cho cân bằng!

Đến đây, đã có thể kết luận là những số liệu trong bài báo có rất nhiều sai lệch với số liệu gốc, thể hiện một cách làm cẩu thả (?) hoặc vô nguyên tắc (tùy tiện thay đổi tiêu chí lựa chọn, nếu quả thật có thể tính ra các kết quả như trên - cái này phải chờ phản hồi của tác giả).

Bài phản biện của tôi đến đây đã quá dài, mà vẫn chưa kết thúc vì còn có nhiều điều để nói. Nói ngắn gọn, chỉ một bài viết khoảng 1200-1500 từ (tôi áng chừng thế) mà bài báo đã để lại quá nhiều lỗi về số liệu, chưa kể lỗi về lập luận, về phương pháp, vv, mà tác giả của nó lại là những tác giả được xem là có tên tuổi trong lãnh vực giáo dục, chúng ta phải hiểu điều này như thế nào đây?

Tôi sẽ kết thúc bài tranh luận này trong entry tới.


(còn tiếp)

2 comments:

  1. Chua doc het ma thay tac gia bai viet nay chi trich sai roi:
    PTL va NVT noi la 21 nuoc Dong A chu khong phai Dong NAM A.

    ReplyDelete
  2. Ok, cám ơn, tôi đã sửa lại. Một nhầm lẫn do làm việc vào ban đêm, mệt mỏi. Nhưng tôi vẫn thấy việc tác giả tính cho khối Đông Á gồm 21 nước là chưa thỏa đáng.

    ReplyDelete