- 9,513
- 18
- 8 Ноя 2022
Исследование показывает, как LLM-модели создают дезинформацию, которую сложно распознать.
Исследователи из Иллинойского технологического института выявили, что дезинформация, генерируемая большими языковыми моделями (Large Language Model, LLM ), представляет собой более серьёзную угрозу по сравнению с дезинформацией, созданной человеком. Для просмотра ссылки Войдиили Зарегистрируйся ученых будет представлено на предстоящей международной конференции International Conference on Learning Representations.
Проблема обусловлена тем, что LLM-модели активно насыщают интернет сомнительным контентом. Например, аналитическая компания NewsGuard Для просмотра ссылки Войдиили Зарегистрируйся 676 сайтов, генерирующих новости с минимальным участием человека, а также отслеживает ложные нарративы, созданные с помощью ИИ.
Дезинформация в исследовании возникает из-за того, что ChatGPT и другие LLM с открытым исходным кодом, включая Llama и Vicuna, создают контент на основе созданных человеком наборов дезинформационных данных, таких как Politifact, Gossipcop и CoAID. Затем 8 детекторов LLM оценили образцы, созданные человеком и машиной. Образцы дезинформации от LLM и человека имели одинаковые семантические детали, но различались стилем и формулировками из-за разных авторов и подсказок для генерации контента. Исследователи подчеркнули, что стиль дезинформации ИИ затрудняет её обнаружение по сравнению с человеческими текстами.
Авторы работы выделяют 4 стратегии создания дезинформации LLM: перефразирование информации, переписывание текста, открытая генерация и манипуляция информацией. Специалисты также отмечают, что LLM могут быть проинструктированы написать произвольную дезинформацию без справочного источника и могут создать фактически неверный материал в результате внутренней ошибки, которую в отрасли называют галлюцинацией ИИ.
В заключение исследователи призывают к совместным усилиям различных сторон, включая научное сообщество, правительства, веб-сервисы и общественность, для борьбы с распространением дезинформации, генерируемой LLM. Ведь такая информация представляет серьёзную угрозу для безопасности в интернете и общественного доверия, особенно учитывая лёгкость, с которой злоумышленники могут использовать LLM для массового создания обманчивого контента.
Исследователи из Иллинойского технологического института выявили, что дезинформация, генерируемая большими языковыми моделями (Large Language Model, LLM ), представляет собой более серьёзную угрозу по сравнению с дезинформацией, созданной человеком. Для просмотра ссылки Войди
Проблема обусловлена тем, что LLM-модели активно насыщают интернет сомнительным контентом. Например, аналитическая компания NewsGuard Для просмотра ссылки Войди
Дезинформация в исследовании возникает из-за того, что ChatGPT и другие LLM с открытым исходным кодом, включая Llama и Vicuna, создают контент на основе созданных человеком наборов дезинформационных данных, таких как Politifact, Gossipcop и CoAID. Затем 8 детекторов LLM оценили образцы, созданные человеком и машиной. Образцы дезинформации от LLM и человека имели одинаковые семантические детали, но различались стилем и формулировками из-за разных авторов и подсказок для генерации контента. Исследователи подчеркнули, что стиль дезинформации ИИ затрудняет её обнаружение по сравнению с человеческими текстами.
Авторы работы выделяют 4 стратегии создания дезинформации LLM: перефразирование информации, переписывание текста, открытая генерация и манипуляция информацией. Специалисты также отмечают, что LLM могут быть проинструктированы написать произвольную дезинформацию без справочного источника и могут создать фактически неверный материал в результате внутренней ошибки, которую в отрасли называют галлюцинацией ИИ.
В заключение исследователи призывают к совместным усилиям различных сторон, включая научное сообщество, правительства, веб-сервисы и общественность, для борьбы с распространением дезинформации, генерируемой LLM. Ведь такая информация представляет серьёзную угрозу для безопасности в интернете и общественного доверия, особенно учитывая лёгкость, с которой злоумышленники могут использовать LLM для массового создания обманчивого контента.
- Источник новости
- www.securitylab.ru
