- 9,316
- 18
- 8 Ноя 2022
Исследователи и не предполагали, что использовать ИИ-модели во вред может быть так просто.
<span style="font-family: var(--ui-font-family-primary, var(--ui-font-family-helvetica));">В совместном исследовании, проведенном учеными из Техниона — Израильского технологического института, Intuit и Корнелльского технологического университета, был разработан и протестирован новый вид компьютерного червя, способного атаковать популярные ИИ-модели. Речь идет о таких системах, как Gemini Pro (ранее известная как Bard AI), ChatGPT и LLaVA. Это тревожное открытие подпитывает растущую обеспокоенность по поводу безопасности систем ИИ в целом.</span>
Червь представляет собой программу для атак с нулевым щелчком. Он способен распространяться и выполнять вредоносные действия без какого-либо взаимодействия с пользователем.
Изучая возможные злонамеренные применения подобных технологий, исследователи подтверждают Для просмотра ссылки Войдиили Зарегистрируйся , озвученное еще в прошлом году. Тогда специалисты обращали внимание на риски, связанные с промпт-инжинирингом и взломом чат-ботов.
Согласно результатам экспериментов, червь заставляет нейросеть воспроизводить вредоносные входные данные и выполнять потенциально опасные действия. В одной из демонстраций он атаковал ИИ-ассистентов, предназначенных для работы с электронной почтой, похищая данные писем и рассылая спам.
В текст писем внедрялся вредоносный код, что приводило к "отравлению" баз данных почтовых клиентов. В результате даже такие известные модели, как ChatGPT и Gemini, начинали воспроизводить вредоносные команды.
В своей работе, которая получила название Для просмотра ссылки Войдиили Зарегистрируйся , ученые рассмотрели различные сценарии. Были использованы методы черного и белого ящика, проверена эффективность червя против разных типов данных — текста и изображений. Результаты подчеркивают потенциальные угрозы, которые подобные атаки представляют для растущих экосистем генеративного ИИ.
Масштабы этой угрозы выходят за рамки чистой теории. По мере того, как все больше компаний интегрируют возможности генеративного ИИ в свои приложения, риск их эксплуатации становится все более реальным и ощутимым.
Бет Линкер, старший директор по ИИ и SAST в Synopsys Software Integrity Group, подчеркнула важность проделанной работы: "Данная атака наглядно показывает, что проактивные агенты на базе генеративного ИИ могут стать мишенями для злонамеренной эксплуатации. По мере появления новых инструментов с использованием нейросетей, обещающих оптимизировать нашу цифровую деятельность, организациям критически важно тщательно взвешивать предоставляемые этим инструментам разрешения и внедрять надежные защитные меры".
Хотя научная работа предоставляет ценные сведения об уязвимостях современных систем генеративного ИИ, она также служит призывом к действию для всех вовлеченных сторон в разных областях.
<span style="font-family: var(--ui-font-family-primary, var(--ui-font-family-helvetica));">В совместном исследовании, проведенном учеными из Техниона — Израильского технологического института, Intuit и Корнелльского технологического университета, был разработан и протестирован новый вид компьютерного червя, способного атаковать популярные ИИ-модели. Речь идет о таких системах, как Gemini Pro (ранее известная как Bard AI), ChatGPT и LLaVA. Это тревожное открытие подпитывает растущую обеспокоенность по поводу безопасности систем ИИ в целом.</span>
Червь представляет собой программу для атак с нулевым щелчком. Он способен распространяться и выполнять вредоносные действия без какого-либо взаимодействия с пользователем.
Изучая возможные злонамеренные применения подобных технологий, исследователи подтверждают Для просмотра ссылки Войди
Согласно результатам экспериментов, червь заставляет нейросеть воспроизводить вредоносные входные данные и выполнять потенциально опасные действия. В одной из демонстраций он атаковал ИИ-ассистентов, предназначенных для работы с электронной почтой, похищая данные писем и рассылая спам.
В текст писем внедрялся вредоносный код, что приводило к "отравлению" баз данных почтовых клиентов. В результате даже такие известные модели, как ChatGPT и Gemini, начинали воспроизводить вредоносные команды.
В своей работе, которая получила название Для просмотра ссылки Войди
Масштабы этой угрозы выходят за рамки чистой теории. По мере того, как все больше компаний интегрируют возможности генеративного ИИ в свои приложения, риск их эксплуатации становится все более реальным и ощутимым.
Бет Линкер, старший директор по ИИ и SAST в Synopsys Software Integrity Group, подчеркнула важность проделанной работы: "Данная атака наглядно показывает, что проактивные агенты на базе генеративного ИИ могут стать мишенями для злонамеренной эксплуатации. По мере появления новых инструментов с использованием нейросетей, обещающих оптимизировать нашу цифровую деятельность, организациям критически важно тщательно взвешивать предоставляемые этим инструментам разрешения и внедрять надежные защитные меры".
Хотя научная работа предоставляет ценные сведения об уязвимостях современных систем генеративного ИИ, она также служит призывом к действию для всех вовлеченных сторон в разных областях.
- Источник новости
- www.securitylab.ru
