- 9,497
- 18
- 8 Ноя 2022
Исследователи из Университета Торонто и MIT показали, как можно создать триггеры, которые активируются только на определенных изображениях.
Ученые из Университета Торонто и Массачусетского технологического института (MIT) Для просмотра ссылки Войдиили Зарегистрируйся , как внедрить “заднюю дверь” в нейронные сети, которая позволяет злоумышленникам манипулировать их поведением. Исследование было опубликовано в журнале IEEE Transactions on Neural Networks and Learning Systems.
Нейронные сети - это алгоритмы машинного обучения, которые способны выполнять сложные задачи, такие как распознавание лиц, перевод текстов и анализ изображений. Однако они также подвержены атакам, которые могут нарушить их работу или использовать их в злонамеренных целях.
Одна из таких атак - это “бекдор”, которая заключается в том, что злоумышленник внедряет скрытый триггер в нейронную сеть, который активируется при определенных условиях. Например, если на изображении появляется определенный символ или цвет, нейронная сеть может выдавать неверный ответ или передавать конфиденциальную информацию.
Ученые разработали метод, который позволяет внедрять бекдоры в нейронные сети таким образом, что она остается незаметной для обычных методов обнаружения. Они использовали технику, называемую “переобучением”, которая заключается в том, что нейронная сеть запоминает определенные примеры из обучающего набора данных, а не обобщает их. Таким образом, они смогли создать триггеры, которые работают только на определенных изображениях, а не на всех.
Ученые провели эксперименты на нескольких типах нейронных сетей и показали, что их метод может эффективно внедрять в них бекдоры. Они также показали, что их метод устойчив к различным способам защиты от таких атак.
Ученые подчеркивают, что их исследование не призывает к использованию бекдоров в нейронных сетях, а наоборот - предупреждает о потенциальной угрозе и стимулирует разработку более надежных методов обнаружения и предотвращения таких атак.
Ученые из Университета Торонто и Массачусетского технологического института (MIT) Для просмотра ссылки Войди
Нейронные сети - это алгоритмы машинного обучения, которые способны выполнять сложные задачи, такие как распознавание лиц, перевод текстов и анализ изображений. Однако они также подвержены атакам, которые могут нарушить их работу или использовать их в злонамеренных целях.
Одна из таких атак - это “бекдор”, которая заключается в том, что злоумышленник внедряет скрытый триггер в нейронную сеть, который активируется при определенных условиях. Например, если на изображении появляется определенный символ или цвет, нейронная сеть может выдавать неверный ответ или передавать конфиденциальную информацию.
Ученые разработали метод, который позволяет внедрять бекдоры в нейронные сети таким образом, что она остается незаметной для обычных методов обнаружения. Они использовали технику, называемую “переобучением”, которая заключается в том, что нейронная сеть запоминает определенные примеры из обучающего набора данных, а не обобщает их. Таким образом, они смогли создать триггеры, которые работают только на определенных изображениях, а не на всех.
Ученые провели эксперименты на нескольких типах нейронных сетей и показали, что их метод может эффективно внедрять в них бекдоры. Они также показали, что их метод устойчив к различным способам защиты от таких атак.
Ученые подчеркивают, что их исследование не призывает к использованию бекдоров в нейронных сетях, а наоборот - предупреждает о потенциальной угрозе и стимулирует разработку более надежных методов обнаружения и предотвращения таких атак.
- Источник новости
- www.securitylab.ru
