Questions to ask/answer when reading papers

Updated: Before reading a paper, you should ask and answer by yourself “why you need to read that paper?”, “what do you want to get from the paper?”

You can read more about “How to read a paper” in my previous post (in Vietnamese)

I found that it is helpful to ask and answer following questions when I read papers. When I read a paper, I try to answer as many questions as possible and summarize my answers in a Google Sheets, so that I can read again latter.

  • What did authors do?
  • What is the major research question that the paper addresses?
  • Why did authors do that? (Motivation/Problem Statement)
  • What are main ideas of the paper?
  • What are the novelties of the paper?
  • What are main contributions of the paper?
  • How is the work better than previous work? (in other words, the approach in the paper is better than previous work at what points?)
  • How did authors evaluate the ideas? Is the evaluation method appropriate?
  • What are limitations/controversies of the work?
  • Are assumptions in the paper strong/weak/reasonable?
  • What are possible alternative approaches for the task in the paper?
  • How can you improve the work?
  • What did you learn from the paper?
  • How can you apply the approaches in your paper to your work?
  • What are next papers to read?

Bonus: Lời khuyên về việc đọc paper của một giáo sư người Nhật:

Về cách đọc paper nhanh, tôi đang hướng dẫn sinh viên mình sau khi đọc paper tự trả lời các câu hỏi sau (giống như trả lời câu hỏi trong một kỳ thi): 1) Vấn đề mà paper giải quyết là gì?; 2) Phương pháp giải quyết của paper khác gì so với các phương pháp đã có; 3) Liệt kê các điểm đặc sắc của bài báo.

Heilmeier’s Catechism

Nếu chưa tự trả lời một cách rõ ràng được những câu hỏi dưới đây, có lẽ chưa nên thực hiện nghiên cứu/dự án.

Một tập các câu hỏi được cho là của Heilmeier, mà bất kỳ ai đang đề xuất một dự án nghiên cứu hay cố gắng phát triển sản phẩm nên trả lời được.

  1. Bạn đang cố gắng để làm điều gì? Hãy phát biểu rõ ràng các mục tiêu của bạn mà tuyệt đối không dùng các thuật ngữ khó hiểu.
  2. Cho đến nay vấn đề đã được giải quyết ra sao, và đâu là những giới hạn của cách làm hiện tại? (nói cách khác đâu là những vấn đề mà các nghiên cứu/dự án hiện tại chưa giải quyết hoặc chưa giải quyết được?)
  3. Điểm mới trong cách tiếp cận của bạn – tại sao bạn nghĩ nó sẽ thành công?
  4. “Khách hàng” của nghiên cứu/dự án là ai? Hay nói cách khác ai sẽ quan tâm đến vấn đề nghiên cứu hay sản phẩm?
  5. Nếu thành công, nó sẽ tạo ra sự khác biệt nào? (Nếu thành công, nghiên cứu/dự án của bạn sẽ có tác động như thế nào đến thế giới/cộng đồng?)
  6. Rủi ro và và lợi ích của dự án/nghiên cứu là gì?
  7. Chi phí dành cho dự án/nghiên cứu là bao nhiêu?
  8. Thời gian để làm dự án/nghiên cứu là trong bao lâu?
  9. Đâu là thời điểm trung hạn và thời điểm cuối cùng để đánh giá thành công của dự án/nghiên cứu? (Có cách nào để đánh giá tiến độ và sự thành công của nghiên cứu?)

————————————–

Source: http://en.wikipedia.org/wiki/George_H._Heilmeier#Heilmeier.27s_Catechism

A set of questions credited to Heilmeier that anyone proposing a research project or product development effort should be able to answer.

  1. What are you trying to do? Articulate your objectives using absolutely no jargon.
  2. How is it done today, and what are the limits of current practice?
  3. What’s new in your approach and why do you think it will be successful?
  4. Who cares?
  5. If you’re successful, what difference will it make?
  6. What are the risks and the payoffs?
  7. How much will it cost?
  8. How long will it take?
  9. What are the midterm and final “exams” to check for success?

Template for paper reading notes

Here is my often used template for writing annotated bibliography. Since an annotated bibliography is a summary, it should be concise.

— Title: (Title of the paper)
— Authors:
— Conference/Journal: (Name of the conference/journal and the year of publication).

# Task

What task the paper did?

# Motivation/Problem

Describe the motivation of the paper & limitation of previous work. What problem did the paper try to solve?

# Idea, Solution/Approach

Give a brief description of the main idea. Should be general.

Give more detailed about the approach used in the paper, which contains main points of the method. It should not be long.

# Background

Use about 5 sentences to summarize the background knowledge of the paper.

# Main results/findings

Did the proposed method solve the problems mentioned in the paper? What are main findings of the paper? Describe in your own words.

# Limitation of the work

– List up points which you think they are problems/limitations of the paper. It is great if you could list some solutions to improve the work.

– Also list some alternative approaches to the task in the paper.

# What did you learn from the paper?

How you could apply the approach in the paper to your work/project?

Summarize what you learned from the paper and how you could apply the approach in the paper to your work.