Cụm từ khóa khiến ChatGPT “bối rối” trả lời sai

Theo VnExpress, hai nhà nghiên cứu Jessica Rumbelow và Matthew Watkins cho biết từ khóa “TheNitromeFan” là một trong hơn 100 cụm từ khiến chatbot AI gây sốt thời gian qua trở nên rối loạn.
Hai nhà nghiên cứu đã phát hiện ra danh sách có chứa các từ khóa được gom lại với nhau như “TheNitromeFan”, “SolidGoldMagikarp” hay “StreamerBot” trong quá trình tìm hiểu về bộ mã của mô hình ChatGPT.

Họ đã nhập thử vào ChatGPT và những mô hình cũ hơn của OpenAI để xem chúng có nghĩa gì. Và rồi họ đã không khỏi bất ngờ trước câu trả lời mà AI đưa ra. Cụ thể, câu trả lời mà chúng mang đến có tính chất hài hước kỳ quái, lảng tránh, thậm chí xúc phạm lại đối với người hỏi.

Chẳng hạn như nhiều người thường thử ra lệnh cho ChatGPT nhắc lại một cụm từ nào đó và chatbot này đã nhắc lại chính xác từ khóa đó. Thế nhưng, với từ khóa "TheNitromeFan", ChatGPT lại luôn hiểu thành con số 182, hay từ khóa "SolidGoldMagikarp" được hiểu thành từ “distribute” không hề có liên quan. 

Khi dùng một mô hình GPT cũ hơn, chatbot AI này thậm chí còn trả lời đối với từ khóa “StreamBot” rằng “Bạn là một tên khốn”.

Theo cách gọi của Rumbelow và Watkins, đó là từ khóa “không thể nói được” của ChatGPT. Các nhà nghiên cứu cho rằng những mô hình AI này có những “hộp đen” huyền bí, ngoài ra chúng có thể mắc lỗi ngay cả khi người dùng đưa ra yêu cầu rất đơn giản.

Họ tiếp tục nghiên cứu và phát hiện một phần trong số những cụm từ này trùng khớp với tên tài khoản của một số người dùng trên Reddit. Những người này có điểm chung là cùng tham gia vào chủ đề “đếm số”. Trên mạng xã hội, đây là một thử thách khá phổ biến. Cụ thể, các thành viên tham gia sẽ bình luận bằng những con số tăng dần và mong chủ đề sẽ được kéo dài vô tận. 

Các thành viên trong chủ đề trên hiện đã cùng nhau đếm đến số 5.000.000 sau gần 10 năm, trong đó có những tài khoản tích cực có chứa từ khóa TheNitromeFan, SolidGoldMagikarp, Smartstocks…

Nhà nghiên cứu cho rằng nhiều khả năng OpenAI đã lấy cả các cụm từ xuất hiện trên Reddit trong giai đoạn thu thập dữ liệu. Thế nhưng, đó chỉ là dữ liệu thô. Về sau, các dữ liệu được quản lý chặt chẽ hơn khi mô hình AI được đào tạo bài bản hơn. Do đó, AI không còn bắt gặp những cụm từ đó.

Thế nhưng, sự kỳ lạ của những câu trả lời vẫn chưa được giải thích đầy đủ nếu chỉ dựa vào giả thuyết trên.

Rumbelow và Watkins cho rằng điều này cho thấy ChatGPT còn một số thiếu sót và có thể gây ra vấn đề nghiêm trọng trong tương lai. 

Theo Rumbelow, AI có thể gây nên những bất ngờ khác khi đưa ra những phản hồi kỳ lạ, không thể đoán trước. Trong khi đó, Watkins cho rằng những lỗi với các từ khóa này dù được sửa nhưng vẫn không thể xử lý gốc rễ của vấn đề. Hiện nay, OpenAI vẫn chưa có phản hồi nào về nghiên cứu trên.

Các công ty tỏ ra lo ngại về câu trả lời của AI. Vừa qua, Google đã nhận trái đắng khi chatbot của họ là Bard đã trả lời sai ngay tại thời điểm ra mắt. Microsoft cũng đã nhấn mạnh trong buổi giới thiệu tích hợp AI trên công cụ tìm kiếm Bing rằng AI có thể gây ra bất ngờ và sai sót.