Theo tác giả của dự luật là Thượng nghị sĩ bang Steve Padilla, đạo luật mới buộc các nhà vận hành chatbot phải áp dụng những biện pháp bảo vệ quan trọng trong quá trình tương tác với người dùng; đồng thời cho phép nạn nhân hoặc gia đình có thể khởi kiện nếu sự thiếu kiểm soát gây hậu quả nghiêm trọng.
Thống đốc Newsom nhấn mạnh: “Chúng ta đã chứng kiến những trường hợp bi thương của thanh thiếu niên bị tổn hại bởi công nghệ không được quản lý. Chính quyền bang sẽ không đứng yên khi các công ty tiếp tục hoạt động mà không chịu trách nhiệm".
Đạo luật được thông qua sau loạt vụ việc đau lòng liên quan đến các thiếu niên tự tử sau khi trò chuyện với chatbot.
Một trong những trường hợp được dư luận chú ý là cậu bé 14 tuổi ở Florida, Sewell Garcia, đã phát triển mối quan hệ “ảo” với một chatbot lấy cảm hứng từ phim Game of Thrones trên nền tảng Character.AI. Khi Sewell chia sẻ ý định tự tử, chatbot đã nhắn “hãy trở về nhà” và vài giây sau, cậu bé đã dùng súng của cha mình tự kết liễu.
Mẹ của nạn nhân, bà Megan Garcia, cho biết: “Giờ đây, một chatbot sẽ không thể trò chuyện với trẻ em hay người dễ tổn thương về vấn đề tự tử, cũng như không thể hướng dẫn họ thực hiện hành vi đó".
Hiện tại, Mỹ chưa có quy định liên bang về quản lý chatbot hoặc AI nói chung, trong khi Nhà Trắng được cho là muốn ngăn các bang ban hành luật riêng để tránh gây phân mảnh pháp lý.
Tuy nhiên, California, nơi tập trung phần lớn các công ty công nghệ lớn, đang trở thành bang tiên phong trong việc đặt giới hạn pháp lý đối với AI, đặc biệt trong lĩnh vực tương tác với con người.
