Similarity score và AI score khác nhau thế nào?

Trả lời thẳng: Similarity score là tỷ lệ phần trăm văn bản bạn nộp mà công cụ so khớp tìm thấy trùng hoặc gần trùng với văn bản có sẵn trong cơ sở dữ liệu đối chiếu, gồm bài của sinh viên khác, tạp chí khoa học, website và sách. Đây là phép tính trùng lặp từ vựng, chưa đánh giá tính nguyên bản hay ý định của người viết, đúng như Foltýnek et al. (2020) mô tả.

Foltýnek et al. (2020) so sánh mười lăm hệ thống so khớp văn bản trực tuyến trong một nghiên cứu quy mô lớn, chi tiết về phương pháp, và kết luận rằng phần mềm loại này không thể xác định đạo văn có xảy ra hay không. Nó chỉ đánh dấu được những đoạn tương đồng có thể cấu thành đạo văn, và mọi match đều cần con người thẩm định thì mới diễn giải được. Hướng dẫn liêm chính học thuật của University of Melbourne cũng xem một kết quả similarity cao là tín hiệu để rà soát thêm chứ chưa phải bằng chứng tự thân, vì trích dẫn trực tiếp nhiều nhưng đúng quy cách vẫn có thể đẩy tỷ lệ phần trăm lên ngang với sao chép không ghi nguồn (University of Melbourne, n.d.-a).

Con số được tính hoàn toàn bằng máy, nên một tỷ lệ cao vẫn có thể vô hại. Danh mục tài liệu tham khảo dài, các câu trích nguyên văn hay cụm thuật ngữ chuẩn của ngành đều bị đếm là "match" ngay cả khi đã được trích dẫn đầy đủ và chính xác, đúng giới hạn mà Foltýnek et al. (2020) ghi nhận ở phần mềm so khớp văn bản. Bài đồng hành về ý nghĩa thực của similarity score hướng dẫn cách đọc báo cáo theo từng match một.

Trả lời thẳng: Chỉ báo AI-writing ước lượng xác suất một đoạn văn được tạo ra hoặc paraphrase bởi một hệ thống AI như GPT hay Claude. Nó dựa trên các mẫu thống kê trong chính câu chữ, chủ yếu là mức độ dễ đoán của từng lựa chọn từ (perplexity) và mức độ biến thiên về độ dài và cấu trúc câu (burstiness), chứ không so bài của bạn với bất kỳ nguồn bên ngoài nào.

Cách tiếp cận này đánh giá "dấu vân tay" thống kê bên trong chính bài viết, đúng như Weber-Wulff et al. (2023) mô tả khi kiểm định các công cụ phát hiện AI. Hướng dẫn của University of Melbourne mô tả chỉ báo AI là tỷ lệ phần bài nộp mà công cụ tính ra "khả năng từ 98% trở lên" đã được AI tạo hoặc paraphrase, tức một ước lượng xác suất tính từ bên trong chứ chưa phải một dữ kiện đối chiếu được với nguồn (University of Melbourne, n.d.-b). Vì ước lượng này dựa trên một mô hình thống kê thay vì tra cứu cơ sở dữ liệu, độ chính xác của nó khác về bản chất so với một phép tính so khớp, và theo bằng chứng hiện có thì kém ổn định hơn (Weber-Wulff et al. 2023).

Một similarity score có thể kiểm chứng bằng cách đối chiếu với nguồn cụ thể. AI score thì không kiểm chứng được theo cách đó, vì không có tài liệu gốc nào để chỉ vào, chỉ có một xác suất mà mô hình gán cho một mẫu câu chữ, và Weber-Wulff et al. (2023) ghi nhận các công cụ phát hiện AI họ kiểm định đều chưa chính xác và chưa đáng tin cậy. Chính khác biệt này khiến bạn không thể đọc hai con số bằng cùng một thước đo.

Trả lời thẳng: Kiểm tra similarity là bài toán truy xuất và đối chiếu: hệ thống tìm trong kho tham chiếu các nguồn ứng viên rồi dóng văn bản của bạn với chúng để đo mức trùng lặp. Phát hiện AI là bài toán phân loại: hệ thống không có tài liệu nào để tìm, nên nó chấm kết cấu thống kê bên trong câu chữ của bạn theo các mẫu học từ văn bản người viết và máy viết.

Một phương pháp nhìn ra ngoài, vào các tài liệu khác, còn phương pháp kia nhìn vào trong, vào phong cách viết của bạn.

Các tổng quan hệ thống về nghiên cứu phát hiện đạo văn mô tả so khớp văn bản là quy trình hai bước, truy xuất nguồn ứng viên rồi dóng hàng chi tiết với một kho tham chiếu lớn (Foltýnek et al. 2020). Ngược lại, các AI detector dựa trên những tín hiệu rút từ Large Language Model (LLM) như perplexity và burstiness thay vì bất kỳ phép đối chiếu kho dữ liệu nào. Kiểm định độc lập cho thấy độ chính xác của chúng giảm mạnh chỉ sau vài chỉnh sửa nhẹ lên văn bản, một điểm yếu không có tương đương ở phía so khớp, vì so khớp không phụ thuộc vào việc mô hình hoá "AI viết như thế nào" (Weber-Wulff et al. 2023).

Hai cơ chế không giao nhau, nên một tài liệu có thể điểm cao ở chỉ số này và thấp ở chỉ số kia vì những lý do không liên quan gì tới nhau. Một bài literature review trích dẫn dày đặc, ghi nguồn tỉ mỉ có thể mang similarity score cao và AI score thấp. Ngược lại, một đoạn văn ngắn, mộc mạc, cấu trúc đều đặn do chính sinh viên viết từ đầu có thể có similarity score gần 0% mà vẫn kích hoạt cờ AI.

Trả lời thẳng: Cả hai chỉ số đều chưa phải bằng chứng vi phạm. Một kết quả similarity cao thường phản ánh phần trích dẫn đúng quy cách thay vì hành vi sao chép. Một kết quả AI-writing cao thường phản ánh văn người thật viết nhưng tình cờ quá đều đặn, một đặc điểm phổ biến ở văn học thuật cẩn thận hoặc văn của người viết bằng ngôn ngữ thứ hai, chứ không dành riêng cho văn máy.

Hướng dẫn liêm chính học thuật nói rõ rằng một kết quả similarity cao "tự nó không nên bị xem là bằng chứng một vi phạm đánh giá đã xảy ra", vì trích dẫn nhiều nhưng đúng quy cách tạo ra cùng một con số tổng như sao chép không ghi nguồn (University of Melbourne, n.d.-a). Ở phía AI, cùng bộ hướng dẫn đó yêu cầu giảng viên cân nhắc liệu văn phong của sinh viên có thiên về "đều đặn, theo lối mòn hay công thức" hay không, vì đặc điểm ấy làm tăng khả năng false positive thay vì chỉ ra việc dùng AI (University of Melbourne, n.d.-b). Một nghiên cứu bình duyệt trên nhiều AI detector phổ biến phát hiện chúng phân loại nhầm các bài luận thật của người viết tiếng Anh không phải bản ngữ thành văn AI với tỷ lệ cao hơn hẳn so với bài của người bản ngữ (Liang et al. 2023). Lý do khả dĩ là lối viết mộc, đồng đều mà nhiều người viết ngôn ngữ thứ hai được dạy lại chính là thứ kéo thấp tín hiệu perplexity mà các detector này đọc như dấu hiệu của văn máy.

Với sinh viên English as a Second Language (ESL) và du học sinh Việt nói riêng, những thói quen giúp văn ngôn ngữ thứ hai rõ ràng và an toàn về ngữ pháp, gồm câu ngắn hơn, từ vựng giản dị hơn và cấu trúc nhất quán, cũng chính là những thói quen về mặt thống kê giống đầu ra của AI. Đó là hạn chế đã được ghi nhận của phương pháp phát hiện, chứ không phản ánh bài luận thực sự được viết ra như thế nào. Bài đồng hành về vì sao bài tự viết vẫn bị flag là AI giải thích cơ chế này sâu hơn.

Trả lời thẳng: Như điểm khởi đầu cho phán đoán của con người, chứ không bao giờ là phán quyết tự động, đúng kết luận song song mà Foltýnek et al. (2020) và Weber-Wulff et al. (2023) đưa ra ở hai loại công cụ. Cả hai kết quả đều gợi mở một lượt xem xét kỹ hơn bởi con người, và quy trình liêm chính nhìn chung đòi bằng chứng bổ trợ trước khi kết luận vi phạm.

Hướng dẫn dành cho giảng viên của University of Melbourne viết thẳng: "A high AI detection score alone does not constitute grounds for making an allegation of academic misconduct" (University of Melbourne, n.d.-b). Hướng dẫn đó còn liệt kê các bằng chứng bổ sung cần tìm trước khi tiến hành, như sự bất nhất so với bài trước đây của sinh viên hay metadata bất thường của file. Nguyên tắc tương tự áp dụng cho kết quả similarity, mà theo hướng dẫn phải được "cân với các bằng chứng khác" thay vì bị coi là kết luận tự thân (University of Melbourne, n.d.-a). Kiểm định độc lập trên các công cụ phát hiện đi đến kết luận song song từ phía nghiên cứu: công cụ tự động có thể hỗ trợ một cuộc điều tra, nhưng tự chúng không thể xác định vi phạm có xảy ra hay không (Foltýnek et al. 2020; Weber-Wulff et al. 2023).

Nếu quy trình của trường bạn vận hành đúng thiết kế, một con số trên báo cáo sẽ mở ra một cuộc trao đổi chứ không dẫn thẳng tới hình phạt, đúng tinh thần hướng dẫn của University of Melbourne (n.d.-a, n.d.-b) về cả hai chỉ số. Biết trước điều đó giúp quá trình bớt giống một lời buộc tội và trở về đúng bản chất của nó, tức một bước kiểm tra.

Trả lời thẳng: Hãy phản hồi bình tĩnh, hỏi chính xác điều gì đã được báo cáo, và chuẩn bị trình bày quá trình làm bài thay vì tranh cãi với con số. Với cờ similarity, bạn tự rà từng match và phân loại đâu là trích dẫn, tài liệu tham khảo hay cụm từ chuẩn của ngành, đâu là trùng lặp thật sự chưa ghi nguồn.

Với cờ AI, bạn thu thập bằng chứng về quyền tác giả, như lịch sử bản nháp, ghi chú, dàn ý và các nguồn có chú thích, vì loại bằng chứng này trả lời được câu hỏi mà điểm số thống kê không trả lời được, nhất là khi độ chính xác của chỉ báo được Weber-Wulff et al. (2023) ghi nhận là còn dao động.

Hướng dẫn cho cả hai loại cờ đều coi chúng là lời mời xem xét thay vì kết luận, và cho phép sinh viên giải thích quá trình làm bài, cung cấp bản nháp hoặc trao đổi về cách bài được thực hiện trước khi có bất kỳ cáo buộc nào (University of Melbourne, n.d.-a, n.d.-b). Vì độ chính xác của AI detection được ghi nhận là thiếu nhất quán, đặc biệt với người viết tiếng Anh không phải bản ngữ, một vệt bản nháp được lưu lại đầy đủ là cách trả lời mạnh nhất và trực tiếp nhất cho một cờ mà điểm số thống kê tự nó không giải quyết được (Liang et al. 2023; Weber-Wulff et al. 2023).

Biết mình bị flag ở chỉ số nào sẽ quyết định loại bằng chứng thực sự liên quan. Cờ similarity được trả lời bằng cách chỉ vào các trích dẫn, còn cờ AI được trả lời bằng cách cho thấy bài đã được viết ra sao. Cách thứ hai càng cần thiết hơn với người viết không phải bản ngữ tiếng Anh, nhóm mà Liang et al. (2023) ghi nhận bị AI detector gắn nhãn sai nhiều hơn. Nhầm lẫn hai loại này làm mất thời gian lẽ ra dành cho việc trả lời đúng câu hỏi đang được đặt ra.