Dùng AI để sàng lọc nghiên cứu cho tổng quan hệ thống thế nào?

Trả lời thẳng: Công cụ đọc tiêu đề và tóm tắt mà lượt tìm kiếm trả về, rồi dự đoán khả năng liên quan của từng bản ghi, nên bạn xem những nghiên cứu triển vọng nhất trước và chốt tập nghiên cứu sớm hơn. Nó hỗ trợ ở chặng sàng tiêu đề và tóm tắt, chứ không thiết kế đề cương (protocol), không đánh giá chất lượng nghiên cứu, cũng không tự quyết bài nào đủ điều kiện.

O'Mara-Eves và cộng sự (2015), trong một tổng quan hệ thống về các cách tiếp cận khai phá văn bản (text mining), cho thấy tự động hoá khâu nhận diện nghiên cứu có thể giảm đáng kể khối lượng sàng lọc mà vẫn giữ độ bao phủ (recall) cao. Nhóm tác giả đặt các phương pháp này ở vai trò hỗ trợ ra quyết định chứ không thay thế người rà soát. Về sau, Marshall và Wallace (2019) viết một hướng dẫn thực hành và gom các công cụ đã đủ độ chín thành hai việc mà người rà soát giao cho máy, là ưu tiên những bản ghi liên quan và giảm số bản ghi phải đọc bằng tay.

Một học viên cao học người Việt được MAAS đồng hành từng có lượt tìm kiếm trả về hơn 4.000 bản ghi, và bạn ấy mặc định rằng mình phải đọc tay từng tóm tắt. Cố vấn đặt lại vấn đề, rằng một công cụ học chủ động (active learning) sẽ đẩy các nghiên cứu nhiều khả năng liên quan lên sớm để bạn ấy dừng lại khi không còn bài liên quan mới. Theo ước tính, cách đó rút khoảng ba tuần đọc xuống còn chừng năm ngày.

Trả lời thẳng: Các nhóm tổng hợp bằng chứng chủ yếu dùng vài công cụ đã có chỗ đứng. Rayyan cho phép nhiều người sàng chung tiêu đề và tóm tắt, có gợi ý mức liên quan. ASReview dùng học chủ động để xếp lại bản ghi khi bạn gán nhãn. Mô hình ngôn ngữ lớn đa dụng thì mới, ít được kiểm chứng hơn. Hãy bắt đầu với công cụ có bài báo phương pháp và quy trình minh bạch.

Ouzzani và cộng sự (2016) giới thiệu Rayyan là một ứng dụng web và di động miễn phí, được dựng để tăng tốc vòng sàng tiêu đề và tóm tắt ban đầu bằng bán tự động hoá. Van de Schoot và cộng sự (2021) mô tả ASReview là một khung mã nguồn mở, trong đó cơ chế học chủ động xếp lại chồng bản ghi chưa sàng mỗi khi người rà soát gán nhãn cho một bản ghi, và nhóm phát triển cho thấy cách này tìm ra nghiên cứu liên quan sớm hơn hẳn so với đọc theo thứ tự ngẫu nhiên.

Hai đồng tác giả được MAAS đồng hành đã chia việc cho nhau. Một người sàng trên Rayyan để dùng tính năng che kết quả giữa hai người (blinding) và xử lý bất đồng, còn người kia đưa đúng bộ bản ghi đó qua ASReview để xác nhận không có nghiên cứu liên quan nào nằm ở cuối hàng đợi. Phần trùng khớp giữa hai lượt cho họ đủ tự tin trước khi khoá tập nghiên cứu được đưa vào.

Trả lời thẳng: Khi dùng để xếp ưu tiên, AI giữ độ bao phủ cao và cắt đáng kể khối lượng đọc, vì bạn đọc tới lúc không còn bài liên quan. Nếu để máy tự loại mà không ai xem lại, độ chính xác kém tin cậy hơn nhiều và phụ thuộc vào chủ đề cùng độ cân bằng dữ liệu. Cách an toàn là giữ bao phủ cao và để người xác nhận mọi ca bị loại.

O'Mara-Eves và cộng sự (2015) ghi nhận mức tiết kiệm công sức tiềm năng lớn khi tự động hoá đóng vai xếp ưu tiên thay vì tự loại, đồng thời lưu ý rằng hiệu năng thay đổi theo từng tổng quan và độ bao phủ phải được bảo vệ. Khraisha và cộng sự (2024) đánh giá GPT-4 như một người sàng độc lập và thấy hiệu năng của mô hình tụt dần qua các chặng sau khi hiệu chỉnh cho mức đồng thuận ngẫu nhiên và độ mất cân bằng của tập dữ liệu, dao động từ không đáng kể tới trung bình tuỳ theo có bao nhiêu bản ghi thực sự liên quan.

Một nghiên cứu sinh người Việt từng muốn để mô hình ngôn ngữ tự động loại bản ghi, và cố vấn MAAS chỉ cho bạn ấy thấy vấn đề mất cân bằng dữ liệu. Khi chỉ một nhúm trong 3.000 bản ghi là liên quan, một mô hình loại mạnh tay trông có vẻ rất chính xác nhưng vẫn có thể đánh rơi đúng vài nghiên cứu quan trọng nhất, nên họ chỉ dùng AI để xếp hạng và tự mắt xác nhận từng trường hợp bị loại.

Trả lời thẳng: Chưa, và làm vậy chưa an toàn. Mô hình ngôn ngữ lớn phân loại được tóm tắt, đôi khi ngang người rà soát ở những tác vụ có cấu trúc rõ, nhưng kết quả nhạy với cách viết câu lệnh và với độ mất cân bằng dữ liệu, và mô hình có thể loại một nghiên cứu liên quan bằng giọng rất chắc chắn. Hãy coi nó là ý kiến thứ hai, đừng để nó sàng một mình.

Khraisha và cộng sự (2024) thực hiện một đánh giá có đăng ký trước theo kiểu không có người trong vòng lặp (human-out-of-the-loop), và thấy GPT-4 rất nhạy với cách thiết kế câu lệnh và với độ mất cân bằng dữ liệu, còn con số chính xác nổi bật ban đầu tụt xuống sau khi tính tới mức đồng thuận ngẫu nhiên. Một lần loại nhầm nghĩa là thiếu một nghiên cứu, và thiếu nghiên cứu làm lệch phần tổng hợp của bạn. Vì vậy Page và cộng sự (2021), trong tuyên bố PRISMA 2020, vẫn đòi hỏi con người đứng ra quyết định việc chọn nghiên cứu.

Một khách hàng của dịch vụ Cố vấn Công bố MAAS từng thử GPT-4 trên 200 tóm tắt mà chị ấy đã tự sàng trước đó. Mô hình đồng ý ở phần lớn trường hợp nhưng loại mất ba nghiên cứu chị ấy đã giữ, trong đó hai bài là trung tâm của meta-analysis. Mô hình có ích ở chỗ nêu ra những chỗ bất đồng để kiểm lại, chứ không có ích ở khâu quyết định cuối cùng.

Trả lời thẳng: Hãy giữ hai người rà soát độc lập ở chặng sàng tiêu đề và tóm tắt, dùng AI để xếp ưu tiên và làm lộ những chỗ hai người chấm khác nhau, giải quyết bất đồng bằng thảo luận, và không bao giờ để mô hình là lý do duy nhất khiến một nghiên cứu bị loại. AI đổi thứ tự bạn đọc, không đổi độ chặt chẽ của cách bạn quyết định.

Trong Cochrane Handbook, Higgins và cộng sự (2024) khuyến nghị hai người rà soát sàng bản ghi độc lập với nhau để giảm nguy cơ loại nhầm những nghiên cứu đủ điều kiện. Page và cộng sự (2021) yêu cầu tác giả nói rõ quy trình chọn nghiên cứu trong PRISMA 2020, gồm số người đã sàng mỗi bản ghi và có dùng công cụ tự động hoá hay không, nên một quy trình có AI hỗ trợ phải báo cáo được chứ không được giấu đi.

Một nhóm nghiên cứu người Việt do MAAS đồng hành đã giữ nguyên thiết kế hai người rà soát nhưng thêm ASReview để định thứ tự đọc, và chỉ dừng sau một chuỗi bản ghi không liên quan liên tiếp có độ dài ấn định từ trước. Mọi nghiên cứu bị loại vẫn có một lý do do người rà soát ghi lại, và đó đúng là thứ mà phản biện về phương pháp của một tạp chí Q1 chờ đợi.

Trả lời thẳng: Hãy nói rõ bạn dùng công cụ nào, ở chặng nào, cho mục đích gì, và con người kiểm soát ra sao. Nêu tên phần mềm và phiên bản, mô tả AI đã xếp ưu tiên hay đã phân loại bản ghi, xác nhận hai người rà soát mới là người quyết định điều kiện chọn, và giải thích cách bạn giữ độ bao phủ. Báo cáo minh bạch biến chuyện dùng AI thành điểm mạnh.

Page và cộng sự (2021) viết trong bảng kiểm báo cáo của PRISMA 2020 rằng tác giả cần nói rõ "how many reviewers screened each record and each report retrieved, whether they worked independently, and if applicable, details of automation tools used in the process" (Page et al., 2021), tức có bao nhiêu người rà soát đã sàng mỗi bản ghi và mỗi báo cáo lấy về, họ có làm độc lập không, và nếu có thì chi tiết về công cụ tự động hoá đã dùng. Marshall và Wallace (2019) nhấn mạnh rằng công cụ phải được mô tả đủ chi tiết để người đọc phán đoán được ảnh hưởng của nó lên tính đầy đủ của kết quả, vì tự động hoá không được ghi lại sẽ làm mất lòng tin vào chính lượt tìm kiếm.

Một tác giả được MAAS đồng hành đã viết đúng hai câu giản dị trong phần phương pháp. Câu thứ nhất nêu công cụ và phiên bản dùng để xếp ưu tiên sàng lọc, câu thứ hai xác nhận hai người rà soát đã quyết định độc lập về điều kiện chọn và bất đồng do người thứ ba xử lý. Đoạn ngắn và thật thà đó trả lời trước đúng câu hỏi mà phản biện hẳn sẽ nêu nếu không thấy nó.

Trả lời thẳng: Hãy dùng AI để gỡ rào cản khối lượng vốn làm chậm người làm tổng quan lần đầu chưa quen tiếng Anh, đừng dùng nó để thay phần suy nghĩ. Để công cụ xếp thứ tự đọc cho bạn dồn thời gian vào nghiên cứu đáng đọc, soạn tiêu chí chọn thật kỹ từ trước, và ghi chép để báo cáo từ ngày đầu. Kết quả là một tổng quan bảo vệ được, đủ để bạn tự tin nộp.

Van de Schoot và cộng sự (2021) cho thấy công cụ học chủ động tìm ra nghiên cứu liên quan sớm, nên người rà soát dừng sớm hơn mà không phải hy sinh độ bao phủ, đúng mức hiệu quả mà một người làm một mình hay một nhóm nhỏ chưa quen tiếng Anh đang cần. Cả Cochrane Handbook của Higgins và cộng sự (2024) lẫn PRISMA 2020 của Page và cộng sự (2021) đều đặt độ tin cậy vào một quy trình chọn nghiên cứu minh bạch do con người dẫn dắt. Vì vậy một nhà nghiên cứu không nói tiếng Anh bản ngữ mà ghi chép đầy đủ quy trình có AI hỗ trợ và do người kiểm soát sẽ cạnh tranh bằng độ chặt chẽ, chứ không phải bằng độ trôi chảy của tiếng mẹ đẻ.

Một cố vấn MAAS từng hướng dẫn một sinh viên đại học người Việt dựng một tổng quan hệ thống cho hồ sơ xin học bổng theo mô hình chạy theo từng giai đoạn. Giai đoạn đầu chốt tiêu chí chọn và từ khoá tìm kiếm, giai đoạn giữa dùng ASReview để định thứ tự sàng lọc trong khi hai người sàng quyết định điều kiện chọn, còn giai đoạn cuối là bản viết hoàn chỉnh theo đúng PRISMA. Sinh viên đó giữ vai tác giả xuyên suốt, còn cố vấn góp ý chứ không làm thay.