Review & Đánh giá một bài báo khoa học

Với tư cách là một referee, bạn cần đánh giá 1 bài báo theo các tiêu chí sau:

* Tính mới (novelty)
* Độ quan trọng (significance)
* Tính đúng (correctness)
* Cách trình bày (readability)

Các câu hỏi quan trọng khi đánh giá một bài báo:

1- Mục đích của bài báo là gì?

  + Vấn đề bài báo giải quyết là gì?
  + Tác giả có phát biểu vấn đề một cách rõ ràng hay không?
  + Tác giả có làm rõ các issues quan trọng hay không?
  + Tác giả có nêu rõ các contribution của mình hay không

2- Bài báo có phù hợp hay không?

Bài báo có phù hợp với hội nghị/journal không?

3- Mục tiêu (goal) của bài báo có quan trọng hay không?

  + Vấn đề đặt ra có thực hay không?
  + Ai quan tâm? (Who care)
  + Vấn đề có quá specific hay applied hay không?
  + Vấn đề, mục đích, kết quả có thực sự mới hay không?
      * Có bài báo nào đã làm giống như vậy không?
      * Vấn đề đã được giải quyết trước đó chưa?
      * Bài báo có phải chỉ là một biến thế hay mở rộng đơn giản của các kết quả trước đó?
      * Tác giả có trích dẫn các kết quả liên quan và phân biệt rõ đâu là kết quả của mình, đâu là kết quả đã được thực hiện trước đó hay không?

4- Phương pháp hay cách tiếp cận có đúng đắn hay không?

  + Liệu có chỗ nào trong cách tiếp cận không phù hợp (hoặc đối lập) với kết quả hay không?
  + Liệu có thể phát biểu bằng lời phương pháp của tác giả là gì hay không?
  + Giả thiết là gì (assumption)? Nó có thực tế hay không?
  + Nếu nó không thực tế, nó có ảnh hưởng gì tới kết quả? Kết quả có dễ bị ảnh hưởng bởi giả thiết hay không?
  + Cách tiếp cận có đầy đủ đối với mục đích hay không?
  + Nếu bài báo trình bày 1 ý tưởng mới, tác giả có thảo luận hay phân tích đầy đủ hay không?

5- Nghiên cứu/kết quả có đúng đắn hay không?

   + Các phương trình toán học, mô hình toán học có đúng đắn hay không?
   + Các chứng minh có thuyết phục không?
   + Các thống kê có đúng không?
   + Các phương pháp mô phỏng, làm thí nghiệm có thuyết phục bạn rằng kết quả đưa ra là đúng?
   + Đối với các nghiên cứu về thống kê, tác giả có đưa ra confidence interval hay không?
   + Kết quả có thống nhất với các giả thiết hoặc các quan sát (facts) và đo đạc không?
   + Các điều kiện biên có được kiểm tra hay không?
   + Kết quả có thể xảy ra hay không?
   + Tác giả có làm những gì họ claim hay không? Ví dụ, tác giả có mô phỏng hệ ban đầu bằng 1 mô hình hợp lý hay chỉ xấp xỉ bẳng các mô hình toán học?

6- Các kết luận đưa ra có đúng đắn/phù hợp với kết quả hay không?

   + Ứng dụng hoặc ngụ ý (implications) của kết quả là gì?
   + Tác giả có thảo luận một cách hợp lý tại sao anh ta lại thu được các kết quả đó hay không?

7- Bài báo có được trình bày tốt hay không?

   + Bài báo có được viết đủ tốt để bạn đánh giá các nội dung kỹ thuật hay không (technical content)
   + Một bài báo viết khó hiểu không đáng được publish.
   + Một bài báo cần phải sửa nhiều không đáng được đăng
   + Nếu bài báo đọc được, bạn cần đánh giá cả về trình bày lẫn nội dung của nó.
   + Phần tóm tắt có mô tả đúng nội dung bài báo hay không?
   + Phần introduction có mô tả đúng vấn đề và research framework hay không?
   + Các phần khác có clear và tuân thủ trình tự logic hay không?
   + Liệu có quá ít hay quá nhiều các chi tiết kỹ thuật hay không?
   + Ngữ pháp và cú pháp có đúng không?
   + Các bảng biểu, hình vẽ có được label đúng, phù hợp và có ý nghĩa hay không?
   + Có quá nhiều hay quá ít bảng biểu hình vẽ?
   + Các giải thích có poor hoặc nonsense hay không?
   + Tác giả viết quá dài dòng hoặc quá ngắn gọn?
   + Liệu bài báo có self-contained để người trong ngành có thể hiểu được hay không, hay độc giả cần các kiến thức chi tiết khác ở các kết quả, bài báo khác?
   + Nếu tác giả có refer người đọc tới các bài báo khác có các chi tiết quan trọng? Bạn có tin anh ta không hay cần phải check bài báo gốc?
   + Style của bài báo có quá suồng sã hay quá formal?
   + Liệu có quá nhiều lỗi typo hay không?
   + Paper có quá dài không?
   + Liệu paper có nên chia ra thành nhiều paper nhỏ mà không mất đi tính logic?
   + Liệu paper có quá nhiều lỗi chính tả, ngữ pháp hoặc dấu câu? Bạn cần chỉ ra các lỗi đó cho tác giả.

8- Bạn học được gì từ bài báo?

   + Bạn đã học được, hay độc giả có thể học được gì từ bài báo?
   + Nếu bạn không học được gì hoặc độc giả mà nó hướng tới không học được gì, bài báo không nên được đăng.
————–

What should be included in a review

Writing a one-page summary of the paper. You should use 10-point font and standard margins. Two-column format is acceptable. In this summary you should describe:

  • What problem is this paper trying to address? Why is the problem important?
  • What are the key ideas proposed in the paper, and why are they novel?
  • How are the ideas evaluated? Is the evaluation fair/appropriate?
  • Do you think the paper will have high impact? Did you like the paper?

The review should consist of:

  • Short para on any of the following points: What do you feel the main contribution of this paper is? What did you find interesting about this work? What’s the essential principle that the paper exploits?
  • One major strength of the paper (one sentence)
  • One weakness of this paper (one sentence)
  • One question or future work direction you think should be followed.

References

  1. The task of the referee: https://www.cs.utexas.edu/users/mckinley/notes/reviewing-smith.pdf
  2. How to Review a Scientific Paper: http://www.bcl.hamilton.ie/~barak/how-to-review.html
Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: