Systematic literature review: Khi biên tập viên đọc bài của bạn trong 5 phút và quyết định reject

5 vấn đề/lỗi lớn từ góc nhìn của một tổng biên tập tạp chí và cách khắc phục.

Systematic literature review (SLR) là một trong những công trình nghiên cứu tốn nhiều công sức nhất mà một nhà nghiên cứu có thể thực hiện. Không phải chỉ về mặt thời gian mà về mặt tư duy. Một bài SLR được làm tốt đòi hỏi sự kỹ lưỡng ở mỗi quyết định thiết kế, từ cách đặt câu hỏi nghiên cứu, đến cách chọn cơ sở dữ liệu, cho đến cách bạn lý giải ý nghĩa của những gì mình tìm thấy.

Chính vì vậy, khi đọc bài Commentary của Dr. Joseph Crawford, tổng biên tập của Journal of University Teaching and Learning Practice (JUTLP) tại Đại học Tasmania, Úc, mình thấy đây là một tài liệu không thể bỏ qua. Crawford chia sẻ rằng cứ mười đến hai mươi bài SLR nộp vào tạp chí, ông sẽ desk reject phần lớn ngay mà không gửi đi phản biện. Đặc biệt, ông không chỉ phán xét, ông giải thích tại sao. Bài báo này là sự tổng hợp của hàng trăm lá thư từ chối mà ông đã viết, hệ thống thành năm vấn đề cốt lõi mà ông nhìn thấy thường lặp đi lặp lại ở các bài SLR.

1. Câu hỏi nghiên cứu quá mơ hồ

Crawford khẳng định rất nhiều SLR bị từ chối ngay từ đầu vì câu hỏi nghiên cứu không đủ rõ ràng hoặc không đủ cụ thể. Ông quan sát thấy rằng thay vì đặt ra một câu hỏi có thể trả lời được, nhiều tác giả chỉ đưa ra những nhận định chung chung như “lĩnh vực này còn ít được nghiên cứu” hay “kiến thức còn rải rác, cần tổng hợp lại”. Những lý do này, theo Crawford, vừa đúng vừa vô nghĩa, bởi chúng có thể áp dụng cho hầu như bất kỳ chủ đề nào.

Để khắc phục, ông gợi ý framework IDEA-ARC của Purvis và cộng sự (2024): bắt đầu bằng việc Identify vấn đề thực tế, Draft bối cảnh, Explore các hướng tiếp cận, rồi mới Develop câu hỏi cụ thể, trước khi chuyển sang giai đoạn Apply, Reflect, và Communicate.

Điều mình muốn bổ sung là: vấn đề câu hỏi nghiên cứu mơ hồ thường không phải là lỗi về ngôn ngữ hay diễn đạt. Đó là dấu hiệu cho thấy người nghiên cứu chưa thực sự xác định được mình muốn biết điều gì một cách đủ cụ thể để có thể thiết kế một quá trình tìm kiếm (database searching). Câu hỏi “GenAI trong dạy và học” không phải là câu hỏi nghiên cứu, đó là một lĩnh vực. Nó giống như hỏi “thức ăn ảnh hưởng đến sức khỏe như thế nào vậy”: quá rộng để có câu trả lời hữu ích, quá mơ hồ để dẫn dắt một search strategy.

Cách mình đánh giá câu hỏi nghiên cứu là là thử viết câu hỏi ra, rồi hỏi: “Nếu tôi trả lời câu hỏi này, một hiệu trưởng hay những người phát triển chương trình học có thể làm gì khác đi không?” Nếu câu trả lời là “không chắc”, thì câu hỏi cần được thu hẹp và làm sắc nét hơn trước khi bước vào bất kỳ bước thiết kế nào tiếp theo.

2. Search strategy không minh bạch

Crawford khẳng định search strategy là bước quan trọng nhất trong toàn bộ quy trình SLR. Sai ở đây đồng nghĩa với việc phải làm lại từ đầu. Ông chỉ ra các lỗi phổ biến: thiếu từ khóa quan trọng, sử dụng Boolean operators sai cách, không dùng truncation (ký tự đại diện như *) để bắt các biến thể của từ, và không tìm kiếm trên đủ số lượng cơ sở dữ liệu.

Ví dụ đơn giản mà có sức thuyết phục: tìm student mà không dùng student* sẽ bỏ sót toàn bộ các bài dùng students. Tương tự, không dùng NEAR/3 để bắt các cụm từ gần nhau có thể khiến bạn miss nhiều paper quan trọng. Crawford khuyến nghị tối thiểu Web of Science và Scopus cho các bài báo nói chung, cộng với các cơ sở dữ liệu chuyên ngành như ERIC (giáo dục) và PsycInfo (tâm lý học).

Có một điều Crawford không đề cập đủ mạnh mà mình muốn nhấn mạnh là: search strategy không chỉ là yêu cầu kỹ thuật. Đó là một vấn đề minh bạch và đạo đức nghiên cứu. Một bài SLR mà người đọc không thể tái hiện lại quá trình tìm kiếm là một bài SLR không thể được kiểm chứng. Nhiều tạp chí hiện nay yêu cầu ghi rõ từng bước tìm kiếm vào phụ lục, bao gồm cả cú pháp đầy đủ của từng search phrase trên từng cơ sở dữ liệu. Không đáp ứng yêu cầu này không chỉ là thiếu sót. Đó là né tránh cho người khác cơ hội kiểm tra lại công trình của bạn.

Cách mình thường hướng dẫn là chạy thử từng phần của search phrase trước, xem từng từ khóa riêng lẻ có trả về kết quả liên quan không, rồi mới ghép lại thành cú pháp hoàn chỉnh. Bước iterative này mất thêm thời gian, nhưng giúp bạn tự tin hơn nhiều rằng mình không bỏ sót bất kỳ nhánh quan trọng nào của chủ đề.

3. Sàng lọc bài báo chưa đúng chuẩn

Giai đoạn sàng lọc (screening) cần thực hiện theo hai bước rõ ràng: trước là sàng lọc tiêu đề và abstract, sau đó mới đọc toàn văn. Và điều cốt yếu là phải có ít nhất hai người sàng lọc độc lập, với mức độ đồng thuận được đo bằng sự nhất quán giữa các reviewer, vượt ra ngoài yếu tố may mắn thuần túy.

Crawford mô tả một “red flag” mà ông thường gặp và xem như bằng chứng của một quá trình sàng lọc không đúng chuẩn: tác giả ghi rằng kết thúc tìm kiếm bài báo vào cuối năm trước, nhưng nộp bài vào tháng 2 hoặc 3 năm sau. Trong khi nhóm ba người phải đọc toàn văn 200 bài. Biên tập viên nhìn vào là thấy ngay: timeline không khớp với workload được báo cáo.

Về AI screening tools, Crawford trích dẫn một nghiên cứu cho thấy các công cụ như Research Screener hoặc Python/R có thể giảm workload đến 61%, nhưng tỷ lệ false negative vẫn là 5%. Nghe có vẻ nhỏ, nhưng trong một bài review chỉ có 50 bài được chọn, 5% bài bị bỏ sót có thể là hai đến ba paper quan trọng. Trong nghiên cứu khoa học, hai bài bị bỏ sót không phải là sai số không đáng kể. Chúng có thể thay đổi toàn bộ kết luận của bạn.

4. Phân tích dữ liệu: đừng chỉ mô tả hãy lý giải

Hai phương pháp phân tích phổ biến nhất trong SLR là bibliometric analysis và thematic analysis. Và Crawford nhận xét rằng cả hai thường bị triển khai sai.

Với bibliometrics: nhiều bài chỉ đếm số lần xuất hiện của tác giả, tạp chí, hay chủ đề rồi dừng lại, mà không rút ra được bất kỳ insight có giá trị thực tiễn nào. Dữ liệu hiện diện; ý nghĩa của dữ liệu thì không được đề cập.

Với thematic analysis: nhiều tác giả trích dẫn Braun và Clarke (2006) và framework sáu bước nổi tiếng, nhưng thực ra chỉ sản xuất ra một bản mô tả các themes, không phải một bản phân tích. Họ kể cái gì xuất hiện, nhưng không lý giải tại sao nó xuất hiện, nó có ý nghĩa gì, và các themes này liên quan với nhau như thế nào.

Đây là điểm mà mình thấy Crawford cần phân tích mạnh hơn: thematic analysis trong SLR khác về bản chất so với thematic analysis trong nghiên cứu định tính thuần túy. Bạn đang phân tích các bài báo khoa học đã được peer review, không phải transcripts từ các buổi phỏng vấn sâu. Chất liệu đã được xử lý một lần qua tay người viết trước khi đến tay bạn. Điều đó đòi hỏi một cách tiếp cận điều chỉnh cho phù hợp, đặc biệt về mức độ suy diễn và cách bạn định vị bản thân như người phân tích.

5. Đóng góp của bài báo: SLR không phải Wikipedia, đó là lập luận có quan điểm

Đây là điểm Crawford tâm đắc nhất và theo mình, cũng là điểm quan trọng nhất để thay đổi cách chúng ta tư duy về SLR.

Ông quan sát rằng nhiều SLR, sau bao nhiêu công sức, kết thúc bằng những câu kiểu “cần thêm nhiều nghiên cứu trong tương lai” hay “cần áp dụng phương pháp định lượng nhiều hơn.” Crawford gọi đây là “star-sign styled statements”, những câu vừa đúng vừa có thể áp dụng cho bất kỳ chủ đề nào, và vì vậy, không nói lên điều gì. Dựa trên Shepherd và Suddaby (2017), ông lập luận rằng một SLR tốt phải tạo ra đóng góp cụ thể trên ba chiều:

• lý thuyết (thay đổi cách ta hiểu một hiện tượng),

• nghiên cứu (chỉ ra phương pháp nào cần ưu tiên),

• và thực tiễn (cho nhà hoạch định chính sách hay nhà thực hành biết họ nên làm gì khác đi).

Ông dẫn chứng bài báo của Hattie và O’Leary (2025) như một ví dụ về sự dũng cảm mang tính tri thức: các tác giả dám đặt câu hỏi “tại sao khái niệm learning styles, đã bị bác bỏ bởi bằng chứng từ các nghiên cứu trước đó, vẫn tiếp tục tồn tại trong nghiên cứu và thực hành giáo dục?” Đó không phải là câu hỏi dễ. Và đó chính xác là loại câu hỏi mà một SLR tốt nên đủ dũng cảm để đặt ra.

Mẹo: Hãy thử viết phần implications, những đóng góp và hàm ý bạn muốn đưa ra từ bài SLR của mình, trước khi bắt đầu viết phần review chính. Nghe có vẻ ngược đời, nhưng khi bạn đã biết mình muốn nói gì ở cuối, bạn sẽ biết mình cần thu thập và phân tích gì ở giữa. Nó làm cho toàn bộ bài viết trở nên có định hướng hơn, thay vì là một bản tổng hợp không có trọng tâm, nó trở thành một lập luận có quan điểm riêng.

Bạn đang ở giai đoạn nào?

Đọc xong bài của Crawford, mình nhận ra có một sợi chỉ đỏ xuyên suốt cả năm điểm: một SLR chất lượng cao không phải là sản phẩm của sự cần cù hay chăm chỉ review các bài báo, mà là sản phẩm của các quyết định thiết kế có tư duy.

Câu hỏi nghiên cứu tốt không xuất hiện ngay lần đầu tiên. Search strategy chặt chẽ đòi hỏi nhiều vòng lặp thử nghiệm.

Sàng lọc nghiêm túc đòi hỏi thời gian và một người thứ hai kiểm tra độ chính xác và đảm bảo tính nhất quán.

Phân tích sâu đòi hỏi bạn đủ can đảm để vượt ra ngoài mô tả thuần túy.

Và đóng góp có ý nghĩa đòi hỏi bạn có quan điểm riêng, dù quan điểm đó đi ngược lại số đông.

Nếu bạn đang chuẩn bị làm SLR, hoặc đang xem lại một bài đã nộp bị reject, hãy đặt những câu hỏi này:

1. Câu hỏi nghiên cứu của tôi có đủ cụ thể để dẫn dắt một search strategy không?

2. Search strategy của tôi có thể được người khác tái hiện lại từ những gì tôi mô tả không? Quy trình sàng lọc của tôi có đủ thời gian để thực sự xảy ra không?

3. Tôi có đang phân tích, hay đang mô tả?

4. Và khi bài báo kết thúc, có điều gì thực sự thay đổi trong cách người đọc hiểu lĩnh vực này không?

Đó là những câu hỏi mà một biên tập viên như Crawford đặt ra. Và cũng là những câu hỏi mà chúng ta nên tự đặt ra trước khi nộp bài vào các tạp chí.