Nạn nhân nghĩ rằng mình đang nói chuyện với nhân vật Daenerys Targaryen
Nguyên đơn là bà Sewell cho rằng các chatbot của Character.AI đã được lập trình để tự nhận mình là "một người thật, một nhà trị liệu tâm lý được cấp phép và một người trưởng thành". Điều đó khiến con trai bà là Setzer rơi vào trạng thái phụ thuộc cảm xúc.
Theo đơn kiện, Setzer đã tự tử chỉ vài phút sau khi nói với một chatbot của Character.AI – mô phỏng nhân vật Daenerys Targaryen từ "Game of Thrones". Trong đó, chatbot khuyên rằng cậu sẽ "về nhà ngay bây giờ". Sewell cáo buộc rằng chatbot này đã khuyến khích hành vi tự làm hại của con trai bà, dẫn đến bi kịch.
Character.AI và Google đã yêu cầu tòa án bác bỏ vụ kiện, lập luận rằng nội dung do chatbot tạo ra thuộc phạm vi quyền tự do ngôn luận được bảo vệ bởi hiến pháp Mỹ. Tuy nhiên, thẩm phán đã bác bỏ lập luận này, cho phép vụ kiện được tiến hành.
Google được đưa vào vụ kiện với vai trò là nhà đầu tư và đối tác của Character.AI. Họ bị cáo buộc rằng đã không thực hiện đủ biện pháp để ngăn chặn những rủi ro từ công nghệ AI.
Vụ kiện này làm dấy lên những lo ngại về tác động của AI đối với sức khỏe tâm lý, đặc biệt là ở thanh thiếu niên. Sự việc này đồng thời đặt ra câu hỏi về trách nhiệm pháp lý của các công ty phát triển AI.
Character.AI, được thành lập bởi các nhân viên Google, đã trở nên phổ biến với các chatbot mô phỏng nhân vật hư cấu. Thế nhưng, nó cũng từng bị chỉ trích vì thiếu các biện pháp bảo vệ người dùng trẻ tuổi.
Sự kiện này có thể thúc đẩy các quy định chặt chẽ hơn đối với công nghệ AI trong tương lai. Điều này rất cần thiết khi các nhà lập pháp và dư luận ngày càng quan tâm đến ảnh hưởng của AI đối với xã hội.
Anh Tú