Báo cáo effect size và khoảng tin cậy như thế nào?

Trả lời trực tiếp: Một câu kết quả theo APA 7 gồm mười quy tắc: bậc tự do viết trong ngoặc sau ký hiệu, F có hai bậc tự do, không viết số không trước r, R² và p, giá trị p chính xác ghi ba chữ số thập phân, viết p < .001 khi nhỏ hơn mốc đó, và mức tin cậy đứng trước hai chữ CI. Mỗi quy tắc có một mã dẫn tới nguyên văn và nguồn.

Công cụ áp các quy tắc dưới đây, theo thứ tự chúng xuất hiện trong một câu kết quả. Mỗi quy tắc đều có trích nguyên văn và nguồn trong tệp kiến thức.

• Bậc tự do viết trong ngoặc, ngay sau ký hiệu t. R-T-FORM
• F có hai bậc tự do, viết trong ngoặc, cách nhau bằng dấu phẩy và một khoảng trắng. R-F-FORM
• Bậc tự do viết trong ngoặc sau r. Hệ số tương quan không thể lớn hơn một nên không viết số không trước dấu chấm. R-PEARSON-FORM
• Chữ Hy Lạp viết thẳng, còn cỡ mẫu N nằm trong ngoặc. R-CHISQ-FORM
• R bình phương không thể lớn hơn một nên không viết số không trước dấu chấm. R-R2-FORM
• Chữ Hy Lạp viết thẳng, chữ p là chỉ số dưới, không viết số không trước dấu chấm. R-ETA-PARTIAL
• Giá trị p chính xác, ba chữ số thập phân, không có số không đứng trước vì p không thể lớn hơn một. R-EXACT-P
• Giá trị p nhỏ hơn .001 luôn viết là p < .001, không bao giờ viết p = .000. R-P-LT-001
• Số này có thể lớn hơn một, nên giữ số không trước dấu chấm và viết hai chữ số thập phân. R-LEADING-ZERO
• Mức tin cậy, hai chữ CI, rồi giới hạn dưới và giới hạn trên trong ngoặc vuông. R-CI-FORMAT

Chỗ các nguồn chúng tôi đọc chưa nói rõ

Trang đánh dấu là giả định ở mọi chỗ mà nguồn chưa chốt cách viết. Những điểm còn mở: APA có viết nghiêng hai chữ CI hay không (chúng tôi in thẳng), APA quy định đúng ký tự dấu trừ nào (chúng tôi dùng dấu trừ thật), dạng viết của chi bình phương và dạng viết của partial eta bình phương. Bạn hãy đối chiếu những điểm này với hướng dẫn của trường hoặc tạp chí.

Trả lời trực tiếp: Công cụ sửa năm lỗi khi chép con số từ kết quả của phần mềm: viết số không trước p hoặc r, viết p = .000, ghi ba chữ số thập phân ở t, và để khoảng tin cậy thiếu mức tin cậy. Bảng dưới đây đặt cách viết sai cạnh dạng APA 7 mà công cụ viết ra, để bạn nhìn thấy từng chỗ khác nhau.

Mỗi dòng đều lấy từ một quy tắc trong tệp kiến thức, có trích nguyên văn và nguồn.

Trả lời trực tiếp: Các mốc quy ước của Cohen cho d là 0.20, 0.50 và 0.80, còn cho r là .10, .30 và .50, tương ứng small, medium và large. Cohen tự nhận các mốc này mang tính chủ quan và được xác định theo thao tác, nên chúng là quy ước tuỳ lĩnh vực chứ không phải phán quyết kết quả có quan trọng hay không, và chỉ dùng khi chưa có cơ sở tốt hơn.

Cohen (1992) conventional label, field-dependent: chính Cohen mô tả các mốc này là được định nghĩa theo thao tác và đặt ra một cách chủ quan, nên bạn hãy đọc chúng trong bối cảnh lĩnh vực của mình.

Trả lời trực tiếp: Effect size là con số diễn đạt độ lớn của kết quả, tức khác biệt lớn tới đâu hay liên hệ mạnh tới đâu, trên một thang đã chuẩn hoá hoặc có ý nghĩa. Confidence interval, viết tắt CI, cho khoảng giá trị hợp lý của hiệu ứng đó. Chúng trả lời bao nhiêu và chắc tới đâu, còn p-value chỉ cho biết kết quả có khó xảy ra không nếu hiệu ứng thật bằng không.

Bằng chứng: Sullivan và Feinn (2012) lập luận rằng p-value chỉ cho bạn biết một hiệu ứng có tồn tại hay không chứ không cho biết nó lớn bao nhiêu, và rằng effect size mới là "main finding of a quantitative study", tức phát hiện chính của một nghiên cứu định lượng. Nakagawa và Cuthill (2007) cho thấy khi ghép một effect size với confidence interval của nó, tác giả truyền đạt được cả độ lớn lẫn mức chính xác trong cùng một phát biểu, điều mà một kiểm định ý nghĩa đứng riêng không làm được.

Ví dụ: Một khách hàng ngành điều dưỡng dùng dịch vụ Cố vấn Công bố của MAAS ban đầu chỉ viết rằng nhóm can thiệp cải thiện có ý nghĩa thống kê với p = .02. Cố vấn gợi ý bạn ấy diễn đạt lại kết quả thành một khác biệt trung bình 4.1 điểm, 95% CI [0.8, 7.4], Cohen's d = 0.52. Khi bạn ấy tự viết lại như vậy, người phản biện nhìn thấy ngay hiệu ứng ở mức trung bình và được ước lượng kèm một mức bất định có thật.

Trả lời trực tiếp: Một p-value phụ thuộc nhiều vào cỡ mẫu, nên một hiệu ứng nhỏ nhặt vẫn có thể có ý nghĩa thống kê trong một nghiên cứu lớn, còn một hiệu ứng quan trọng lại không đạt ý nghĩa trong một nghiên cứu nhỏ. Báo cáo effect size cùng CI tách tầm quan trọng thực tiễn ra khỏi cỡ mẫu, đúng điều mà biên tập viên và người phản biện hiện chờ bạn chứng minh.

Bằng chứng: Tuyên bố chính thức của American Statistical Association do Wasserstein và Lazar (2016) chấp bút cảnh báo rằng p-value không đo độ lớn của một hiệu ứng, và nhấn mạnh: "Scientific conclusions and business or policy decisions should not be based only on whether a p-value passes a specific threshold" (Wasserstein & Lazar, 2016, p. 131). Câu này nghĩa là kết luận khoa học hay quyết định kinh doanh và chính sách không nên dựa duy nhất vào chuyện một p-value có vượt một ngưỡng cụ thể hay không. Cumming (2014) đưa ra cùng lập luận dưới tên gọi "the new statistics", thúc giục tác giả báo cáo ước lượng và khoảng thay vì dựa vào phán quyết nhị phân có hay không có ý nghĩa.

Ví dụ: Một nghiên cứu sinh người Việt ngành giáo dục có bộ dữ liệu khảo sát trong đó gần như mọi tương quan đều có ý nghĩa thống kê. Cố vấn MAAS chỉ cho bạn ấy thấy nhiều tương quan có giá trị r quanh .08, tức có ý nghĩa thống kê nhưng trên thực tế gần như không đáng kể. Khi báo cáo thêm effect size, bạn ấy đưa được ba mối liên hệ thật sự quan trọng lên trước, và người phản biện khen sự tiết chế đó.

Trả lời trực tiếp: Hãy ghép effect size với phép phân tích của bạn, dùng khác biệt trung bình đã chuẩn hoá cho so sánh nhóm, các thước thuộc họ tương quan cho liên hệ, và các thước phần phương sai giải thích được cho mô hình. Hãy báo cáo effect size mà lĩnh vực của tạp chí bạn nhắm tới dùng nhiều nhất, và nói rõ bạn đã chọn thước nào để người đọc diễn giải cho đúng.

Bằng chứng: Lakens (2013) viết một cẩm nang thực hành nối các kiểm định t và ANOVA với Cohen's d và eta bình phương, đồng thời nhấn mạnh rằng tác giả phải nêu rõ ước lượng cụ thể mình đã dùng, vì cùng một tên gọi có thể ứng với nhiều công thức. Khung gốc của Cohen (1988) tới nay vẫn là điểm quy chiếu cho các họ thước đã chuẩn hoá mà nhiều ngành còn trích dẫn.

Ví dụ: Một nhà nghiên cứu ngành quản trị được MAAS đồng hành chỉ báo cáo các hệ số beta từ một mô hình hồi quy. Cố vấn chỉ ra rằng bài còn thiếu R² cho cả mô hình và beta đã chuẩn hoá cho từng biến dự báo, rồi bạn ấy tự bổ sung hai thước này. Nhờ vậy bài truyền đạt được cả sức giải thích tổng thể lẫn trọng số tương đối của từng biến, đúng độ sâu mà tạp chí Q2 bạn ấy nhắm tới chờ đợi.

Bảng dưới đây nối các phép phân tích thường gặp với effect size mà phần lớn người phản biện chờ đợi.

Trả lời trực tiếp: Hãy nêu mức tin cậy, thường là 95%, đưa ước lượng điểm trước rồi tới khoảng trong ngoặc vuông. Hãy đọc độ rộng như mức chính xác, khoảng hẹp nghĩa là hiệu ứng được ước lượng tốt, khoảng rộng nghĩa là nghiên cứu chưa ghim được nó. Đừng bao giờ mô tả một CI là xác suất giá trị thật nằm bên trong.

Bằng chứng: Ví dụ, hãy báo cáo d = 0.52, 95% CI [0.14, 0.90]. Nakagawa và Cuthill (2007) khuyến nghị báo cáo confidence interval cho mọi hiệu ứng then chốt và đọc độ rộng của khoảng như mức chính xác mà nghiên cứu đạt được. Cumming (2014) cho thấy một khoảng phủ qua số không mang cùng thông tin với một kiểm định không có ý nghĩa, nhưng nói thêm được nhiều điều hơn hẳn về những độ lớn hiệu ứng vẫn còn hợp lý.

Ví dụ: Một cố vấn MAAS đọc một bản thảo tâm lý học báo cáo d = 0.60 mà không kèm khoảng tin cậy nào. Khi tác giả bổ sung 95% CI [−0.05, 1.25], câu chuyện đổi hẳn, vì khoảng rộng cắt qua số không cho thấy nghiên cứu thiếu lực thống kê. Tác giả vì thế đóng khung lại kết quả như một phát hiện sơ bộ thay vì một phát hiện khẳng định.

Nếu chính phần phân tích đứng sau những con số này mới là chỗ bạn chưa chắc tay, dịch vụ Dữ liệu và Lập trình đồng hành cùng bạn qua khâu thiết kế phương pháp, cách dùng phần mềm và cách diễn giải kết quả, để bạn tự bảo vệ được mọi con số mình báo cáo.

Trả lời trực tiếp: Ký hiệu thống kê viết bằng chữ Latinh thì viết nghiêng (t, F, p, r, d, N), còn chữ Hy Lạp viết thẳng. Các thống kê và effect size ghi hai chữ số thập phân, còn giá trị p chính xác ghi ba chữ số và viết p < .001 khi nhỏ hơn mốc đó. Chỉ những số có thể lớn hơn một (t, F, d) mới có số không đứng trước dấu chấm, còn r và p thì không.

Bằng chứng: Hướng dẫn về số và thống kê của APA dặn tác giả "use italics for letters used as statistical symbols or algebraic variables", tức dùng chữ nghiêng cho các chữ cái làm ký hiệu thống kê, và dùng kiểu chữ thường cho chữ Hy Lạp (American Psychological Association, n.d.). Dấu so sánh có khoảng trắng hai bên, và khoảng tin cậy luôn ghi rõ mức tin cậy. Sách Publication Manual yêu cầu "report p values less than .001 as p < .001", đồng thời cho phép ghi giá trị p chính xác với hai hoặc ba chữ số thập phân (American Psychological Association, 2020). Cohen (1992) mô tả các mốc quy ước của d là 0.20, 0.50 và 0.80, gọi chúng là "operationally defined" và nói "definitions were made subjectively", nghĩa là các mốc ấy được đặt ra theo thao tác và một cách chủ quan, nên nhãn như "medium" chỉ là quy ước và còn tuỳ lĩnh vực. Cohen (1988, p. 25, as cited in Bakeman, n.d.) khuyên chỉ dùng các nhãn này khi không có cơ sở nào tốt hơn để ước lượng effect size, theo nguyên văn "only when no better basis for estimating the ES index is available". Với ANOVA, bậc tự do giữa các nhóm viết trước, rồi tới bậc tự do trong nhóm (Hole, n.d.).

Ví dụ: Phần mềm in ra t = 3,514, df = 177, p = 0.0004, d = 0,651 và khoảng tin cậy 95% từ 0.35 đến 0.95. Công cụ ở trên viết thành t(177) = 3.51, p < .001, d = 0.65, 95% CI [0.35, 0.95]: t và d ghi hai chữ số thập phân và giữ số không đứng trước, p được viết là nhỏ hơn .001, và mức tin cậy được ghi rõ. Còn ý nghĩa của kết quả thì bạn tự quyết định.

Trả lời trực tiếp: Nhãn của Cohen, đại khái 0,2 nhỏ, 0,5 trung bình, 0,8 lớn với d, là điểm khởi đầu, không phải phán quyết. Hãy đọc độ lớn dựa trên hiệu ứng thường thấy trong lĩnh vực của bạn và mức hệ trọng thực tế của kết cục. Một d nhỏ vẫn quan trọng trong can thiệp lâm sàng hay giáo dục, còn d lớn thành tầm thường nếu kết cục ít đáng kể.

Bằng chứng: Chính Cohen (1988) coi các ngưỡng ấy là quy ước, chỉ nên dùng khi lĩnh vực chưa có mốc quy chiếu riêng. Sullivan và Feinn (2012) cảnh báo rằng dán nhãn máy móc dễ làm người đọc hiểu lầm, và khuyên tác giả diễn giải hiệu ứng trong bối cảnh các nghiên cứu đi trước cùng mức liên quan tới thực tế.

Ví dụ: Một nhà nghiên cứu y tế công cộng người Việt tìm ra d bằng 0,3 cho một biện pháp nhắc nhở thay đổi hành vi chi phí thấp, và lo rằng con số này "quá nhỏ để đăng". Cố vấn MAAS gợi ý bạn ấy đối chiếu với các thử nghiệm tương đương, và bạn ấy thấy các hiệu ứng từ 0,2 đến 0,3 là mức thường gặp, lại được coi trọng vì can thiệp rẻ và dễ nhân rộng. Khi được đặt vào bối cảnh đó, hiệu ứng khiêm tốn lại trở thành điểm mạnh nhất của bài.

Trả lời trực tiếp: Hãy đặt effect size chính cùng CI vào phần tóm tắt, nhắc lại chúng cho mọi so sánh then chốt ở phần kết quả, và dẫn lại khi bạn cân tầm quan trọng thực tiễn ở phần thảo luận. Hãy giữ thống kê thô đi kèm, gồm trị số kiểm định, bậc tự do và p chính xác, để người đọc thấy cả mức ý nghĩa lẫn độ lớn thay vì phải chọn một.

Bằng chứng: Lang và Altman (2015), trong bộ hướng dẫn SAMPL, yêu cầu tác giả báo cáo độ lớn của các hiệu ứng kèm confidence interval, và ghi giá trị p chính xác thay vì chỉ ghi ngưỡng. Khi phần tóm tắt mở đầu bằng ước lượng và khoảng, phát hiện chủ đạo của bài trở thành một độ lớn cụ thể chứ không còn là một phán quyết có hay không.

Ví dụ: Phần tóm tắt của một khách hàng dùng dịch vụ Cố vấn Công bố của MAAS ban đầu chỉ nói rằng các khác biệt có ý nghĩa thống kê. Cố vấn góp ý rằng câu then chốt nên nêu độ lớn, và bạn ấy tự viết lại thành chương trình nâng điểm số thêm 4.1 điểm, 95% CI [0.8, 7.4], d = 0.52. Khi cách viết đó được lặp lại nhất quán ở phần kết quả và phần thảo luận, một người phản biện đã khen cách báo cáo là minh bạch.

Trả lời trực tiếp: Các lỗi thường gặp là báo cáo mức ý nghĩa mà không có effect size, đưa effect size mà thiếu confidence interval, trộn lẫn những thước không tương thích trong cùng một bài, coi nhãn của Cohen như một phát hiện, và làm tròn khoảng tin cậy mạnh tay tới mức mất nghĩa. Mỗi lỗi đều rẻ để sửa trước khi nộp và đắt để sửa sau khi người phản biện bắt được.

Bằng chứng: Lang và Altman (2015) xếp việc bỏ sót độ lớn hiệu ứng và bỏ sót confidence interval vào nhóm những lỗi phổ biến nhất khi báo cáo thống kê trên các tạp chí y sinh. Wasserstein và Lazar (2016) chỉ đích danh thói quen dựa quá nhiều vào ngưỡng 0,05 thay cho lối ước lượng như một vấn đề cứ lặp đi lặp lại.

Ví dụ: Một cố vấn MAAS đồng hành cùng một học viên cao học người Việt qua ba lượt rà phần thống kê. Ở lượt đầu, bạn ấy chốt effect size nào đi với giả thuyết nào, ở lượt thứ hai bạn ấy bổ sung mọi confidence interval còn thiếu, và ở lượt cuối bạn ấy thống nhất định dạng xuyên suốt phần tóm tắt, bảng biểu và thân bài. Học viên đó là tác giả trong suốt quá trình, còn cố vấn góp ý chứ không chạy phân tích thay.