- 9,433
- 18
- 8 Ноя 2022
Модели от OpenAI и Google под ударом. Смогут ли гиганты отрасли защитить своих пользователей?
В Для просмотра ссылки Войдиили Зарегистрируйся группа учёных продемонстрировала создание первого в своём роде вредоносного ИИ-червя, способного автоматически распространяться между генеративными ИИ-агентами, что открывает пути для потенциального кражи данных и рассылки спама. Этот прорыв указывает на новый вид кибератак, которые могут быть осуществлены в связанных, автономных экосистемах искусственного интеллекта.
Исследователи из Cornell Tech , включая Бена Насси, Става Коэна и Рона Биттона, разработали червя, названного Morris II в честь оригинального компьютерного червя Morris, который вызвал хаос в интернете в 1988 году. Эксперименты специалистов показали, как такой червь может атаковать почтового помощника на базе ИИ для кражи данных из электронных писем и рассылки спама, нарушая при этом некоторые меры безопасности в системах ChatGPT и Gemini .
Особое внимание в исследовании уделено «враждебным самовоспроизводящимся запросам», которые заставляют ИИ-модель в своём ответе генерировать новый запрос. Этот метод напоминает традиционные атаки типа SQL Injection и Buffer Overflow , говорят исследователи.
Для демонстрации возможностей червя исследователи создали почтовую систему, которая может отправлять и получать сообщения с использованием генеративного ИИ, подключаясь к ChatGPT, Gemini и открытой LLM под названием LLaVA. Специалисты обнаружили два способа эксплуатации системы: с использованием текстового самовоспроизводящегося запроса и встраивая самовоспроизводящийся запрос в изображение.
Исследование подчёркивает, что генеративные ИИ-черви являются новым риском безопасности, который должен беспокоить стартапы, разработчиков и технологические компании. Хотя генеративные ИИ-черви ещё не обнаружены в «дикой природе», эксперты в области безопасности считают, что риск их появления в будущем достаточно велик.
Исследователи сообщили о своих находках в Google и OpenAI, подчёркивая необходимость разработки более надёжных систем безопасности и предостерегая разработчиков от использования вредоносного ввода. Google отказалось комментировать исследование, в то время как представитель OpenAI отметил работу над усилением устойчивости своих систем к подобным атакам.
Некоторые способы защиты от потенциальных ИИ-червей уже существуют, например, использование традиционных подходов к безопасности и обеспечение участия человека в процессе принятия решений ИИ-агентами. Эксперты подчёркивают важность разработки безопасных приложений и мониторинга для предотвращения подобных угроз.
В Для просмотра ссылки Войди
Исследователи из Cornell Tech , включая Бена Насси, Става Коэна и Рона Биттона, разработали червя, названного Morris II в честь оригинального компьютерного червя Morris, который вызвал хаос в интернете в 1988 году. Эксперименты специалистов показали, как такой червь может атаковать почтового помощника на базе ИИ для кражи данных из электронных писем и рассылки спама, нарушая при этом некоторые меры безопасности в системах ChatGPT и Gemini .
Особое внимание в исследовании уделено «враждебным самовоспроизводящимся запросам», которые заставляют ИИ-модель в своём ответе генерировать новый запрос. Этот метод напоминает традиционные атаки типа SQL Injection и Buffer Overflow , говорят исследователи.
Для демонстрации возможностей червя исследователи создали почтовую систему, которая может отправлять и получать сообщения с использованием генеративного ИИ, подключаясь к ChatGPT, Gemini и открытой LLM под названием LLaVA. Специалисты обнаружили два способа эксплуатации системы: с использованием текстового самовоспроизводящегося запроса и встраивая самовоспроизводящийся запрос в изображение.
Исследование подчёркивает, что генеративные ИИ-черви являются новым риском безопасности, который должен беспокоить стартапы, разработчиков и технологические компании. Хотя генеративные ИИ-черви ещё не обнаружены в «дикой природе», эксперты в области безопасности считают, что риск их появления в будущем достаточно велик.
Исследователи сообщили о своих находках в Google и OpenAI, подчёркивая необходимость разработки более надёжных систем безопасности и предостерегая разработчиков от использования вредоносного ввода. Google отказалось комментировать исследование, в то время как представитель OpenAI отметил работу над усилением устойчивости своих систем к подобным атакам.
Некоторые способы защиты от потенциальных ИИ-червей уже существуют, например, использование традиционных подходов к безопасности и обеспечение участия человека в процессе принятия решений ИИ-агентами. Эксперты подчёркивают важность разработки безопасных приложений и мониторинга для предотвращения подобных угроз.
- Источник новости
- www.securitylab.ru
