Morris II: Новий рівень кіберзагрози з експериментальним вірусом на основі ШІ
Дослідники успішно протестували цього хробака Morris II і опублікували свої висновки, використовуючи два методи.
Група дослідників створила хробака першого покоління ШІ, який може красти дані, поширювати шкідливе програмне забезпечення і спамити інших через поштовий клієнт для поширення через кілька систем. Цей хробак був розроблений і успішно функціонує за призначенням у тестових середовищах, використовуючи популярні великі мовні моделі (LLM). На основі своїх висновків дослідники порадили розробникам GenAI, поділившись занепокоєнням щодо потенційних небезпек, які таке шкідливе програмування може мати. Команда поділилася науковими працями і опублікувала відео, що показує, як два методи використовуються для крадіжки даних і впливу на інші поштові клієнти.
Бен Нассі створив цього хробака з Cornell Tech, Став Коен з Ізраїльського технологічного інституту та Рон Біттон з Intuit. Вони назвали його “Morris II” на честь оригінального Morris, першого комп’ютерного хробака, який створив всесвітнє неподобство в інтернеті в 1988 році. Цей хробак працює, націлюючись на додатки Gen AI і навіть на поштові асистенти з підтримкою Gen AI, які генерують текст та зображення за допомогою моделей штучного інтелекту, таких як Gemini Pro, ChatGPT 4.0 та LLaVA.
Це працює за допомогою ворожого самореплікуючогося запиту, який використовується проти його моделей, подібно до того, як функціонує джейлбрейк для поширення токсичного вмісту за допомогою ШІ. Дослідники продемонстрували це, створивши поштову систему з цими генеративними двигунами ШІ і використовуючи самореплікуючийся запит за допомогою тексту або вбудованого в файл зображення.
Текстовий запит інфікує електронного помічника за допомогою LLM, використовуючи додаткові дані ззовні своєї системи, які потім відправляються до GPT-4 або Gemini Pro для створення текстового вмісту. Цей вміст робить джейлбрейк сервісу GenAI і, таким чином, успішно краде дані. Метод зображення кодує самореплікуючий запит у зображенні, змушуючи електронного помічника розсилати повідомлення, що містять пропаганду та образи всім, інфікуючи нові клієнти електронної пошти та пересилаючи заражені електронні листи. Під час обох процесів дослідники могли отримати конфіденційну інформацію, включаючи, але не обмежуючись, деталями кредитних карток та номерами соціального страхування.
Така функціональність черв’яка, навіть у контрольованому середовищі, доводить, що це вже не лише теоретична можливість і потребує серйозного розгляду з ефективними рішеннями, що мають бути впроваджені при виявленні таких шкідливих запитів.
Джерело: tomshardware.com
