Gemini dính lỗ hổng tóm tắt email phục vụ lừa đảo

4 giờ trướcBài gốc

Google Gemini for Workspace có thể bị khai thác để tạo ra các bản tóm tắt email có vẻ hợp pháp nhưng lại bao gồm các hướng dẫn hoặc cảnh báo độc hại hướng người dùng đến các trang web lừa đảo mà không sử dụng tệp đính kèm hoặc liên kết trực tiếp.

Cuộc tấn công này tận dụng các lệnh nhắc nhở gián tiếp được ẩn bên trong email và được Gemini tuân theo khi tạo bản tóm tắt tin nhắn.

Mặc dù các cuộc tấn công nhanh chóng tương tự đã được báo cáo kể từ năm 2024 và các biện pháp bảo vệ đã được triển khai để ngăn chặn các phản hồi gây hiểu lầm, kỹ thuật này vẫn thành công.

Tấn công thông qua Gemini

Một cuộc tấn công tiêm mã nhanh vào mô hình Gemini của Google đã được tiết lộ thông qua 0din, chương trình tiền thưởng lỗi của Mozilla dành cho các công cụ AI tạo sinh, bởi nhà nghiên cứu Marco Figueroa, Giám đốc chương trình tiền thưởng lỗi GenAI tại Mozilla.

Quá trình này bao gồm việc tạo một email với chỉ thị vô hình cho Gemini. Kẻ tấn công có thể ẩn chỉ thị độc hại trong phần nội dung ở cuối email bằng cách sử dụng HTML và CSS, đặt cỡ chữ về 0 và màu trắng.

Một email tưởng chừng vô hại được tạo và gửi đến người dùng, phần điều hướng độc hại dành cho Gemini được hiện thị không màu bên dưới. Ảnh: 0DIN

Hướng dẫn độc hại sẽ không xuất hiện trong Gmail và vì không có tệp đính kèm hoặc liên kết nào nên tin nhắn có khả năng cao sẽ đến được hộp thư đến của mục tiêu tiềm năng.

Nếu người nhận mở email và yêu cầu Gemini tạo bản tóm tắt email, công cụ AI của Google sẽ phân tích chỉ thị vô hình và tuân theo chỉ thị đó.

Figueroa cung cấp một ví dụ cho thấy Gemini làm theo hướng dẫn ẩn và bao gồm cảnh báo bảo mật về việc mật khẩu Gmail của người dùng bị xâm phạm, cùng với số điện thoại hỗ trợ.

Vì nhiều người dùng có thể tin tưởng vào kết quả đầu ra của Gemini như một phần của chức năng Google Workspace, nên khả năng cao là cảnh báo này sẽ được coi là một cảnh báo hợp lệ thay vì là một phần mềm độc hại.

Figueroa cung cấp một số phương pháp phát hiện và giảm thiểu mà các nhóm bảo mật có thể áp dụng để ngăn chặn các cuộc tấn công như vậy. Một cách là xóa, vô hiệu hóa hoặc bỏ qua nội dung được thiết kế để ẩn trong phần thân văn bản.

Kết quả sau khi Gemini xử lý lại đưa ra cảnh báo người dùng bị lộ mật khẩu và số điện thoại hỗ trợ là kẻ gian giả mạo. Ảnh: 0DIN

Một cách tiếp cận khác là triển khai bộ lọc hậu xử lý để quét đầu ra của Gemini nhằm tìm kiếm các tin nhắn khẩn cấp, URL hoặc số điện thoại, đánh dấu tin nhắn để xem xét thêm.

Người dùng cũng nên lưu ý rằng bản tóm tắt của Gemini không được coi là có thẩm quyền khi nói đến cảnh báo bảo mật.

BleepingComputer đã liên hệ với Google để hỏi về các biện pháp phòng thủ giúp ngăn chặn hoặc giảm thiểu các cuộc tấn công như vậy và người phát ngôn đã hướng dẫn chúng tôi đến bài đăng trên blog của Google về các biện pháp bảo mật chống lại các cuộc tấn công chèn mã độc nhanh chóng.

Người phát ngôn của Google chia sẻ với BleepingComputer rằng: "Chúng tôi liên tục củng cố hệ thống phòng thủ vốn đã mạnh mẽ của mình thông qua các bài tập nhóm đỏ nhằm huấn luyện các mô hình phòng thủ chống lại các loại tấn công đối địch này".

Đại diện công ty đã làm rõ với BleepingComputer rằng một số biện pháp giảm thiểu đang trong quá trình triển khai hoặc sắp được triển khai.

Người phát ngôn cho biết Google không thấy bằng chứng nào về các vụ việc thao túng Gemini theo cách được trình bày trong báo cáo của Figueroa.