Làm sao để một nghiên cứu AI y tế tái lập được cho tạp chí Q1?

Trả lời thẳng: Tái lập được nghĩa là một nhà nghiên cứu khác lấy mã nguồn, dữ liệu và thiết lập đã ghi lại của bạn rồi thu được kết quả nhất quán với bài báo. Nó khác khả năng lặp lại, tức thu dữ liệu mới mà vẫn tới cùng kết luận. Với một mô hình học máy, khả năng tái lập phụ thuộc vào các hiện vật bạn công bố và mức đầy đủ khi bạn mô tả đường ống.

Gundersen và Kjensmo (2018) đưa ra một định nghĩa được trích dẫn rộng rãi, đóng khung khả năng tái lập là việc thu được kết quả nhất quán khi dùng cùng dữ liệu đầu vào, cùng các bước tính toán và cùng mã nguồn, đồng thời tách nó khỏi khả năng lặp lại vốn dùng dữ liệu mới. Nguyên văn các tác giả viết: "Reproducibility in empirical AI research is the ability of an independent research team to produce the same results using the same AI method based on the documentation made by the original research team" (Gundersen & Kjensmo, 2018, p. 1645). Riêng với khoa học sự sống, Heil và cộng sự (2021) đưa ra một khung phân tầng phân biệt các chuẩn đồng, bạc và vàng dựa trên mức độ tác giả công bố dữ liệu, mã nguồn và môi trường phân tích.

Một nghiên cứu sinh người Việt được MAAS đồng hành từng cho rằng khả năng tái lập chỉ có nghĩa là độ chính xác cao. Cố vấn đóng khung lại khái niệm này thành một bảng kiểm những thứ phải công bố, gồm mã nguồn chia sẻ được, một bộ dữ liệu có tài liệu mô tả và các thiết lập cố định, nhờ đó một phần phương pháp còn mơ hồ trở thành một kế hoạch cụ thể và sẵn sàng cho người phản biện.

Trả lời thẳng: Người phản biện đọc một nghiên cứu không tái lập được như một khẳng định không kiểm được. Nếu họ không thấy một kết quả sinh ra bằng cách nào, họ không thể tin nó khái quát được, nên một mô hình hứa hẹn về phương pháp vẫn bị từ chối theo nguyên tắc. Ở mức Q1, gánh nặng chứng minh nằm ở tác giả, và thiếu hiện vật thì đẩy gánh nặng đó lệch đi.

McDermott và cộng sự (2021) khảo sát 511 bài báo và thấy mảng học máy cho y tế thua kém các nhánh học máy khác ở những chỉ tiêu về khả năng tái lập, chẳng hạn mức truy cập được của dữ liệu và mã nguồn. Stupple và cộng sự (2019) cảnh báo rằng y học số có nguy cơ rơi vào một cuộc khủng hoảng tái lập của riêng nó, trừ khi việc chia sẻ dữ liệu và mã nguồn trở thành thông lệ.

Một tác giả được MAAS đồng hành từng có một mô hình dự đoán đủ sức cạnh tranh, nhưng không có mã nguồn chia sẻ được và bộ dữ liệu chỉ được mô tả trong hai câu mơ hồ. Cố vấn chỉ ra rằng một người phản biện Q1 sẽ khựng lại ở khâu kiểm chứng, nên tác giả dựng một kho mã có tài liệu kèm một tuyên bố dữ liệu rõ ràng theo gợi ý của cố vấn, và một bài nhiều khả năng bị từ chối nhờ vậy vào được tới vòng phản biện đầy đủ.

Trả lời thẳng: Bạn nên nhắm tới công bố ba hiện vật, gồm mã nguồn chạy trọn đường ống, dữ liệu hoặc mô tả trung thực kèm đường tiếp cận khi chia sẻ bị hạn chế, và mô hình đã huấn luyện cùng tham số then chốt. Khi dữ liệu bệnh nhân không chia sẻ được, minh bạch về lý do, kèm một bản thay thế tổng hợp hoặc tóm lược, vẫn giữ phần lớn giá trị tái lập.

Heil và cộng sự (2021) coi dữ liệu và mã nguồn công khai kèm tài liệu mô tả là các chuẩn cao hơn trong khung phân tầng của khoa học sự sống, còn mức khả dụng một phần là mức tối thiểu. Dữ liệu y tế thường không thể công bố mở, nên Collins và cộng sự (2024) nhấn mạnh vào các tuyên bố tường minh về mức khả dụng của dữ liệu cùng quy trình tiếp cận, thay vì im lặng.

Một nhà nghiên cứu người Việt làm việc với hồ sơ bệnh viện từng lo rằng các quy định về chia sẻ dữ liệu khiến khả năng tái lập trở nên bất khả. Cố vấn MAAS hướng dẫn chị viết một tuyên bố chính xác về mức khả dụng của dữ liệu, chia sẻ phần mã tiền xử lý, và cung cấp một mẫu tổng hợp nhỏ để người phản biện chạy được đường ống mà không chạm vào hồ sơ được bảo vệ.

Trả lời thẳng: Bạn nên ghim phiên bản phần mềm, ghi lại mọi siêu tham số, và cố định các hạt giống ngẫu nhiên chi phối việc chia dữ liệu, khởi tạo trọng số và xáo trộn. Một lượt chạy tái lập được đòi rằng người cài đúng các phụ thuộc và dùng đúng hạt giống của bạn sẽ rơi vào kết quả nằm trong một biên độ nhỏ đã báo cáo, thay vì ra con số khác mỗi lần.

Theo Pineau và cộng sự (2021), các bảng kiểm về khả năng tái lập của cộng đồng yêu cầu tác giả nêu chính xác các chi tiết huấn luyện, gồm siêu tham số, tài nguyên tính toán, và số lượt chạy kèm thước đo mức dao động, đúng vì các thiết lập không được ghi lại là một lý do phổ biến khiến kết quả không tái lập được. Heil và cộng sự (2021) coi báo cáo môi trường phân tích là một đặc trưng định nghĩa của chuẩn cao nhất trong khoa học sự sống.

Một tác giả ngành kỹ thuật được MAAS đồng hành từng chỉ báo cáo một con số độ chính xác chủ đạo từ một lượt chạy may mắn. Cố vấn gợi ý anh cố định hạt giống, lặp lại thí nghiệm vài lần, rồi báo cáo trung bình kèm một confidence interval cùng tệp mô tả môi trường, và kết quả nhờ vậy vừa tái lập được vừa khó bị gạt đi hơn.

Trả lời thẳng: Bạn nên chọn bảng kiểm khớp nghiên cứu của mình và nộp cùng bản thảo. Với mô hình dự đoán lâm sàng, hãy dùng TRIPOD+AI. Với thiết kế hướng tới mức đáng tin cậy và triển khai được, hãy bám nguyên tắc FUTURE-AI. Hãy ghi mỗi mô hình bằng một model card để mục đích và giới hạn hiện rõ. Nhiều tạp chí y tế Q1 nay yêu cầu một trong số đó khi nộp bài.

Collins và cộng sự (2024) công bố TRIPOD+AI trên The BMJ, một bảng kiểm 27 mục chuẩn hoá cách báo cáo cho các mô hình dự đoán xây bằng hồi quy hoặc học máy, và bảng kiểm này đòi đúng mức minh bạch làm nền cho khả năng tái lập. FUTURE-AI Consortium (2024) định ra các nguyên tắc dẫn đường, trong đó có khả năng truy vết và khả năng tái lập cho AI y tế, còn Mitchell và cộng sự (2019) đưa ra model card như một cách có cấu trúc để công bố mục đích, dữ liệu và giới hạn của một mô hình.

Một tác giả AI lâm sàng người Việt từng điền TRIPOD+AI theo từng dòng trong lúc viết bản thảo. Ba mục chị chưa trả lời được, gồm hiệu chuẩn, một tập kiểm tra ngoài và một model card, đã trở thành danh sách việc phải sửa của chị, và điều đó làm bài chắc hơn trước cả khi một người phản biện nhìn thấy.

Trả lời thẳng: Bạn nên tách dữ liệu trước khi chạm vào nó, giữ mọi bước tiền xử lý bên trong fold huấn luyện, và bảo đảm không bệnh nhân hay bản ghi nào xuất hiện ở cả tập huấn luyện lẫn tập kiểm tra. Rò rỉ dữ liệu tạo ra kết quả trông rất đẹp nhưng không tái lập được trên dữ liệu chưa từng thấy, nên kiểm soát nó quan trọng ngang việc chia sẻ mã nguồn.

Pineau và cộng sự (2021) nhấn mạnh việc phân chia dữ liệu cho đúng, kiểm soát rò rỉ, và ước lượng hiệu năng một cách trung thực như những điều cốt lõi của kết quả tái lập được, còn Heil và cộng sự (2021) coi việc ghi chép rõ ràng cách xử lý dữ liệu là một kỳ vọng nền trong khoa học sự sống. Khả năng tái lập mà không kiểm soát rò rỉ thì chỉ tái lập lại một con số đã bị thổi phồng.

Một khách hàng dùng dịch vụ Cố vấn Công bố của MAAS từng chuẩn hoá các đặc trưng trên toàn bộ dữ liệu trước khi chia tập, làm thông tin của tập kiểm tra rò sang tập huấn luyện. Cố vấn hướng dẫn chị dựng lại đường ống sao cho phần tiền xử lý chỉ khớp trên dữ liệu huấn luyện, rồi chạy lại với hạt giống cố định, và kết quả không còn rò rỉ tuy thấp hơn nhưng tái lập được thật.

Trả lời thẳng: Bạn nên coi khả năng tái lập là một lựa chọn thiết kế, không phải lớp đánh bóng cuối cùng. Hãy dựng mã nguồn có quản lý phiên bản, một kế hoạch quản trị dữ liệu, hạt giống cố định, và bảng kiểm báo cáo bạn nhắm tới ngay từ đầu, rồi ghi chép trong lúc làm. Xây thói quen này sớm thì dễ hơn nhiều so với dựng lại đường ống sau khi đã nộp bài.

Chiến lược nghiên cứu của Việt Nam đặt mục tiêu tăng 15 tới 20% mỗi năm về sản lượng công bố trên WoS, Scopus và nhóm Q1, đồng thời gắn tiến độ đào tạo sau đại học với công bố quốc tế, nên nhu cầu về công trình AI y tế tái lập được đang tăng lên. Nếu đặt khung chuẩn của Heil và cộng sự (2021) cho khoa học sự sống cạnh khảo sát của McDermott và cộng sự (2021) về học máy cho y tế, ta thấy các chuẩn mực về khả năng tái lập ở hai mảng hội tụ về cùng những kỷ luật ban đầu, gồm mã nguồn chia sẻ, dữ liệu có tài liệu mô tả, thiết lập cố định, và báo cáo minh bạch.

Một cố vấn MAAS từng đồng hành cùng một tác giả AI y khoa người Việt theo mô hình đi từng chặng. Ở chặng đầu, đề cương được ánh xạ vào TRIPOD+AI. Ở chặng giữa, bản thảo gồm các thí nghiệm đã cố định hạt giống và không còn rò rỉ cùng một kho mã có tài liệu, và lượt cuối trau chuốt phần khả năng tái lập. Tác giả vẫn là tác giả suốt quá trình, còn cố vấn tư vấn chứ không tạo ra công trình thay.