COMM3000: vì sao con số bạn trích lớn gấp sáu lần thực tế?

Trả lời thẳng: COMM3000 Evidence-based Intervention Design and Evaluation là môn cử nhân 6 tín chỉ của UNSW Business School, do School of Economics giảng dạy vào Term 3 tại cơ sở Kensington. Môn học dựa trên giải quyết vấn đề (problem-based learning), gần với một môn tổng hợp, trong đó bạn đóng vai người tư vấn quản trị và xử lý một trong ba dạng bài toán: thiết kế can thiệp, quản trị rủi ro, hoặc đánh giá hiệu quả.

Đề cương môn học Term 3 năm 2025 liệt kê ba bài đánh giá, gồm một bài thuyết trình cá nhân chiếm 35%, một dự án nhóm chiếm 40%, và các bộ bài tập cá nhân (problem sets) chiếm 25%. Đề cương cũng gọi đây là một môn tổng hợp (synthesis course), nghĩa là bạn được kỳ vọng vận dụng và tích hợp kiến thức từ toàn bộ chương trình học, chứ không phải chứng minh mình vừa nắm một kỹ thuật mới. Cách đóng khung đó quyết định bạn được chấm thế nào. Ở một môn tổng hợp, người chấm không kiểm xem bạn có học được nội dung của riêng môn này hay không, mà kiểm xem bạn có chọn đúng công cụ từ ba năm học và biện minh được cho lựa chọn ấy hay không.

Một sinh viên vốn học tốt môn Econometrics từng viết một mô hình hồi quy OLS rất gọn ghẽ về mặt kỹ thuật, nhưng chỉ được điểm ở khung giữa, thấp hơn nhiều so với khung cao nhất mà dự án nhóm có thể đạt. Phương pháp không phải vấn đề. Bạn ấy chưa bao giờ giải thích vì sao phương pháp đó hợp với quyết định mà khách hàng này đang phải đưa ra, nên bài đọc lên như một màn trình diễn kỹ năng chứ không phải một lời tư vấn.

Trọng số và dạng bài đánh giá được điều chỉnh giữa các đợt mở lớp, nên bạn hãy coi các con số trên là hình dạng chung của bài đánh giá chứ không phải con số của chính mình, và đối chiếu lại với đề cương công bố cho kỳ bạn học. Nếu đã học COMM1190 hoặc COMM2501, bạn sẽ thấy thói quen xử lý dữ liệu từ hai môn đó dùng thẳng được cho các bộ bài tập cá nhân ở đây.

---

Trả lời thẳng: Cụm này đòi hỏi một phép so sánh. Muốn nói một can thiệp có tác dụng, bạn phải giải thích được chuyện gì đã xảy ra nếu không có can thiệp đó, và một phép đo trước và sau tự nó không trả lời được câu hỏi ấy. Barnett, van der Pols và Dobson (2005) cho thấy vì sao, nhất là khi can thiệp nhắm vào những trường hợp đang tệ bất thường.

Vấn đề không chỉ nằm ở chỗ nhiều thứ khác cũng thay đổi theo thời gian. Vấn đề là chính cách các chương trình chọn đối tượng tham gia đã cài sẵn một kết quả giả vào dữ liệu. Barnett, van der Pols và Dobson (2005), trên International Journal of Epidemiology, trình bày cơ chế này: khi những phép đo cao hoặc thấp bất thường được nối tiếp bởi các phép đo gần mức trung bình hơn, dao động tự nhiên trông giống hệt một thay đổi có thật. Hiện tượng đó gọi là hồi quy về trung bình (regression to the mean). Can thiệp lại thường nhắm vào đúng những trường hợp xấu bất thường tại thời điểm đo, và đó là điều kiện khiến hiệu ứng này lớn nhất. Một chương trình nhắm vào các chi nhánh kém nhất, các khách hàng ít gắn bó nhất hay các sinh viên điểm thấp nhất sẽ cho thấy cải thiện bất kể nó có làm gì hay không. Vì vậy một báo cáo trình bày sự cải thiện ấy như kết quả của mình thực chất mới đo được quy tắc chọn đối tượng, chứ chưa đo được can thiệp.

Một nhóm từng đánh giá tin nhắn nhắc gửi cho những khách đã lỡ một kỳ thanh toán, và tỷ lệ trả nợ tăng mạnh. Con số đó không trụ được trước câu hỏi chính những khách ấy sẽ làm gì nếu không được nhắc, vì lỡ một kỳ thanh toán đúng là kiểu tháng bất thường mà Barnett, van der Pols và Dobson (2005) mô tả là thường được nối tiếp bởi một tháng bình thường. Thêm một nhóm so sánh gồm những khách tương tự không nhận tin nhắn nào đã biến một con số không dùng được thành một phát hiện.

---

Trả lời thẳng: Con số đó lớn vì kho nghiên cứu đã công bố là một mẫu đã bị sàng lọc. Nghiên cứu có hiệu ứng lớn thường dễ được viết ra và dễ được nhận đăng hơn, còn can thiệp chạy bên trong một tổ chức thật vấp phải những ma sát mà thí nghiệm do nhà nghiên cứu thiết kế không gặp. DellaVigna và Linos (2022) đo được khoảng cách đó khi so hai nguồn bằng chứng.

DellaVigna và Linos (2022), công bố trên Econometrica, gom toàn bộ thí nghiệm do hai trong số những đơn vị khoa học hành vi lớn nhất nước Mỹ triển khai, gồm 126 thử nghiệm ngẫu nhiên có đối chứng (randomised controlled trial, RCT) trên 23 triệu người, rồi đem so với các nghiên cứu học thuật đã công bố. Trong các bài báo học thuật, hiệu ứng trung bình là 8,7 điểm phần trăm về tỷ lệ tham gia, tức tăng 33,4% so với nhóm đối chứng. Ở các đơn vị triển khai can thiệp trên quy mô thật, hiệu ứng trung bình là 1,4 điểm phần trăm, tức tăng 8,0%. Cả hai con số đều thật, nhưng chúng không thay thế được cho nhau, và trích con số thứ nhất trong khi đề xuất một can thiệp thuộc loại thứ hai là bạn đang nói quá lên khoảng sáu lần.

Khoảng cách giữa hiệu ứng đã công bố và hiệu ứng ở quy mô thật là mảnh bằng chứng hữu ích nhất bạn có thể mang vào bài của môn này, và nó có tác dụng theo cả hai hướng. Nó siết lại dự báo của bạn, đồng thời bảo vệ một hiệu ứng dự kiến khiêm tốn khỏi bị đọc thành một khuyến nghị yếu. Một can thiệp mang lại 1,4 điểm với chi phí gần như không đáng kể không phải là điều đáng thất vọng, mà đúng là hình dạng của một can thiệp tốt theo bằng chứng ở quy mô thật.

Một nhóm từng dự báo mức cải thiện 30% bằng cách trích một thí nghiệm nổi tiếng. Khi được hỏi chuyện gì sẽ xảy ra nếu hiệu ứng thật chỉ bằng một phần năm con số đó, họ không trả lời được, vì toàn bộ luận cứ kinh doanh dựng trên đúng con số nổi bật ấy. Dựng lại luận cứ quanh ước lượng ở quy mô thật cho ra một khẳng định nhỏ hơn nhưng trụ được trước chất vấn, và đó chính là thứ môn học đang kiểm tra.

---

Trả lời thẳng: Bạn bắt đầu từ việc chẩn đoán vì sao hành vi đó chưa xảy ra, chứ không bắt đầu từ một danh sách chiến thuật, và có thể dùng một khung như mô hình COM-B của Michie, van Stralen và West (2011). Phần lớn đề xuất yếu ở môn này chọn can thiệp trước rồi mới dựng lập luận sau, nên phần chẩn đoán thường bị bỏ trống.

Michie, van Stralen và West (2011), khi công bố khung của họ trên Implementation Science, xây nó quanh đúng vấn đề này, với lập luận rằng can thiệp quá thường được chọn vì quen tay chứ không vì phân tích. Nhóm tác giả viết: "Interventions are commonly designed without evidence of having gone through this kind of process, with no formal analysis of either the target behaviour or the theoretically predicted mechanisms of action" (Michie et al., 2011), tức can thiệp thường được thiết kế mà không qua phân tích chính thức nào về hành vi mục tiêu hay về cơ chế tác động mà lý thuyết dự đoán. Hệ COM-B của họ cho rằng một hành vi cần đủ ba thứ là năng lực (Capability), cơ hội (Opportunity) và động lực (Motivation), và giá trị thực tế của nó với bài của bạn nằm ở chỗ ba thứ đó dẫn tới ba cách chữa khác nhau. Nếu người ta không làm được việc đó thì cung cấp thêm thông tin chẳng giúp gì. Nếu họ làm được và muốn làm nhưng môi trường chặn lại thì thuyết phục là phí công. Gọi tên thứ nào trong ba thứ đang là nút thắt là bước chẩn đoán biến một đề xuất thành một lập luận, và đó cũng là bước hay bị bỏ qua nhất.

Một nhóm từng đề xuất một chiến dịch truyền thông để tăng tỷ lệ đăng ký một chương trình phúc lợi tại nơi làm việc. Chính dữ liệu phỏng vấn của họ cho thấy nhân viên đã hiểu chương trình và muốn tham gia, nhưng mẫu đăng ký đòi một loại giấy tờ mà phần lớn không có sẵn trong tay. Nút thắt là cơ hội chứ không phải năng lực hay động lực, đúng sự phân biệt mà Michie, van Stralen và West (2011) dựng COM-B quanh nó, nên chiến dịch truyền thông sẽ đổ ngân sách vào đúng thứ duy nhất không hỏng. Phát hiện ấy vốn nằm sẵn trong dữ liệu của nhóm, cái thiếu là một khung buộc họ nhìn vào đó.

---

Trả lời thẳng: Hiệu suất nằm ở tỷ số chứ không nằm ở con số tổng. Phần mô tả môn COMM3000 gọi tên hiệu quả (effectiveness) và hiệu suất (efficiency) tách riêng nhau, nên một khuyến nghị chỉ báo cáo mức tác động mà thiếu góc nhìn chi phí như Benartzi và cộng sự (2017) mới trả lời được nửa câu hỏi mà đề bài đặt ra cho bạn.

Benartzi và cộng sự (2017), trên Psychological Science, tính tỷ số tác động trên mỗi đồng chi ra cho các can thiệp hành vi, rồi đem so với các công cụ chính sách truyền thống như ưu đãi thuế và khuyến khích tài chính, và thấy các phương án hành vi thường có lợi thế. Chính phép so sánh đó mới là thứ có ý nghĩa cho bài của bạn. Một hiệu ứng lớn đạt được bằng cách tốn kém vẫn có thể là phương án tệ hơn, còn một hiệu ứng nhỏ đạt được gần như miễn phí lại có thể là phương án tốt hơn, và vì thế độ lớn hiệu ứng tự nó không gánh nổi một khuyến nghị. Nhóm tác giả cũng thận trọng rằng cần thêm nhiều phép tính nữa thì phép so sánh mới khái quát được, và bạn nên giữ sự thận trọng đó khi trích họ chứ đừng lược đi.

Hai phương án từng được trình cho một khách hàng. Phương án thứ nhất nâng tỷ lệ tham gia thêm 9% bằng một khoản trợ giá. Phương án thứ hai nâng thêm 3% bằng cách đổi lựa chọn mặc định, đúng loại cú hích (nudge) chi phí thấp mà Thaler và Sunstein (2008) phổ biến qua cuốn Nudge, và khớp với logic tác động trên mỗi đồng chi ra của Benartzi và cộng sự (2017). Phương án thứ hai được khuyến nghị và được khách hàng chấp nhận, vì báo cáo trình bày chi phí cho mỗi người tham gia tăng thêm chứ không chỉ trình bày tỷ lệ tham gia.

---

Trả lời thẳng: Bài thuyết trình kiểm tra xem phần lập luận có thật sự là của bạn hay không. Một báo cáo nhóm chiếm 40% có thể rất mạnh trong khi một thành viên lại không dựng lại nổi vì sao phần phân tích đi theo hướng đó, và với trọng số 35%, bài cá nhân là chỗ khoảng trống ấy lộ ra rõ nhất.

Đề cương mô tả bài thuyết trình là phần xem xét và đánh giá có suy nghĩ, đi xa hơn việc tóm tắt nội dung, dựa trên cả suy ngẫm lẫn tư duy phản biện, và gắn nó với năm chuẩn đầu ra chương trình của UNSW Business School, trong đó có kiến thức kinh doanh, giải quyết vấn đề và giao tiếp. Trên thực tế, điều này có nghĩa là phần hỏi đáp phía sau mới là phần được chấm. Một người trình bày đã chia việc rất hiệu quả và chỉ nắm phần của mình vẫn có thể nói trôi chảy, rồi khựng lại ngay ở câu hỏi đầu tiên về một lựa chọn do người khác đưa ra.

Một sinh viên phụ trách khâu làm sạch dữ liệu trên SPSS từng trình bày khuyến nghị của nhóm rất rõ ràng, rồi được hỏi vì sao nhóm so sánh lại được định nghĩa theo cách đó. Bạn ấy không phải người ra quyết định ấy nên không bảo vệ được nó, và điểm cá nhân của bạn ấy tụt khá xa so với mức tối đa của phần thuyết trình chiếm 35%. Cách chữa vừa không hào nhoáng vừa rẻ, là trước buổi thuyết trình, mỗi thành viên giải thích một quyết định không phải do chính mình đưa ra.

---

Trả lời thẳng: Sinh viên quốc tế hay mất điểm ở giọng của người tư vấn, thứ nằm giữa hai thói quen mà nhiều bạn mang theo. Thói quen thứ nhất là nhún nhường, khiến khuyến nghị bị làm mềm tới mức không còn là khuyến nghị. Thói quen thứ hai là lối báo cáo mô tả, trình bày phân tích thật kỹ rồi để người đọc tự rút ra kết luận.

Vai mà môn học giao cho bạn là cố vấn, và UNSW Business School chấm một cố vấn dựa trên chất lượng của một khuyến nghị được nói rõ ra trong điều kiện chưa chắc chắn. Viết rằng "tổ chức có thể cân nhắc một vài phương án" là cách tránh bị sai bằng cách không nói gì cả, và người chấm đọc câu đó đúng như vậy. Nước đi mạnh hơn là khuyến nghị một hướng hành động, nêu rõ điều kiện nào sẽ khiến bạn đổi ý, và gọi tên thứ bạn sẽ đo để biết điều đó. Cách này thận trọng hơn lối rào đón, vì nó phơi lập luận ra thay vì giấu lập luận đi.

Một bài từng kết lại bằng ba phương án không xếp hạng. Thêm hai câu, một câu gọi tên phương án được ưu tiên và một câu gọi tên bằng chứng từ mốc so sánh của DellaVigna và Linos (2022) có thể lật ngược nó, đã kéo phần khuyến nghị lên trọn một bậc điểm. Không có gì trong phần phân tích thay đổi.

---

Trả lời thẳng: Ở COMM3000, phần hỗ trợ có ích của cố vấn MAAS đến trước lúc phân tích được chốt chứ không phải sau đó. Cố vấn giúp bạn kiểm xem thiết kế đánh giá có phát hiện được hiệu ứng mình định khẳng định hay không, thử sức chịu đựng của con số hiệu quả bạn dự báo, và luyện sẵn cho phần hỏi đáp sau bài thuyết trình cá nhân. Phân tích và báo cáo đều là của bạn.

Việc đầu tiên là kiểm xem thiết kế đánh giá của bạn có thật sự phát hiện được hiệu ứng mà bạn định khẳng định hay không, trước khi bạn thu thập bất cứ dữ liệu nào, dựa trên đúng logic hồi quy về trung bình mà Barnett và cộng sự (2005) trình bày. Việc thứ hai là xem con số hiệu quả bạn dự báo có đứng vững hay không, bằng cách đối chiếu với mốc quy mô thật của DellaVigna và Linos (2022), để luận cứ kinh doanh trụ được qua câu hỏi khó đầu tiên. Việc thứ ba là tập trước những câu hỏi đến sau bài thuyết trình cá nhân, phần chiếm 35% điểm cuối kỳ và là nơi điểm cá nhân được hay mất. Thứ cố vấn thêm vào là câu hỏi khó, đặt ra lúc bạn vẫn còn kịp làm gì đó với câu trả lời.

Nếu bạn muốn có người soi lại thiết kế đánh giá trước khi cả nhóm chốt hướng làm, hãy gửi MAAS đề bài và phần dữ liệu bạn đang có.

---