Các nội dung lừa đảo, xuyên tạc bao gồm các bình luận ca ngợi cách Israel xử lý cuộc chiến ở Gaza, thường tự động xuất hiện ngay bên dưới các bài đăng từ các tổ chức tin tức toàn cầu và các nhà lập pháp Mỹ.

Trong một báo cáo bảo mật hàng quý, Meta cho biết các tài khoản được cho là của sinh viên Do Thái, người Mỹ gốc Phi và những công dân có liên quan khác, muốn nhắm mục tiêu vào độc giả ở Mỹ và Canada.

Meta cho rằng chiến dịch này là do công ty tiếp thị chính trị STOIC có trụ sở tại Tel Aviv thực hiện. STOIC đã không phản hồi về các cáo buộc.

Mặc dù Meta đã tìm thấy những bức ảnh do AI tạo ra trong các hoạt động gây ảnh hưởng kể từ năm 2019, nhưng đây là báo cáo đầu tiên tiết lộ việc sử dụng công nghệ AI tạo ra dựa trên văn bản kể từ khi nó xuất hiện vào cuối năm 2022.

Các nhà nghiên cứu lo ngại rằng AI có thể tạo ra văn bản, hình ảnh và âm thanh giống con người một cách nhanh chóng và rẻ tiền, dẫn đến các chiến dịch đưa thông tin sai lệch hiệu quả hơn và gây ảnh hưởng đến các cuộc bầu cử.

Các giám đốc điều hành an ninh của Meta cho biết họ đã sớm loại bỏ chiến dịch của Israel.

Theo Reuters, ngoài mạng STOIC, Meta đã đóng cửa một mạng có trụ sở tại Iran tập trung vào cuộc xung đột Israel-Hamas, mặc dù họ không xác định được bất kỳ việc sử dụng công cụ AI nào trong chiến dịch đó.

Meta và những gã khổng lồ công nghệ khác đang phải vật lộn với cách giải quyết khả năng lạm dụng các công nghệ AI mới, đặc biệt là trong các cuộc bầu cử.

Các nhà nghiên cứu cho biết, trình tạo hình ảnh từ các công ty bao gồm OpenAI và Microsoft tạo ra những bức ảnh có thông tin sai lệch liên quan đến bầu cử, mặc dù những công ty đó có chính sách chống lại nội dung lừa đảo.