- 9,727
- 18
- 8 Ноя 2022
Компания OpenAI активно изучает, как «ответственно» создавать NSFW-материалы.
Компания OpenAI , разработчик популярной платформы искусственного интеллекта ChatGPT , обнародовала проект документации, в котором изложены основные принципы работы её технологий. Важной частью документа стал Для просмотра ссылки Войдиили Зарегистрируйся с обсуждением возможности целенаправленного введения функций создания NSFW -контента.
В настоящее время политика использования OpenAI запрещает контент сексуального характера или даже намекающий на него. Однако в документе указано, что компания рассматривает возможность разрешения такого рода материалов в контекстах, подходящих для определённого возраста. Едва ли ассистент научится генерировать порнографию, однако лёгкие эротические рассказы — вполне, если это будет уместно в контексте диалога.
«Мы считаем, что разработчики и пользователи должны иметь возможность гибко использовать наши сервисы по своему усмотрению, при условии соблюдения наших политик использования. Мы изучаем, можем ли мы ответственно предоставить возможность генерировать контент NSFW в соответствующих возрасту контекстах с помощью API и ChatGPT», — гласит комментарий в руководстве спецификации.
Проблема чрезмерного ограничения ответов актуальна для многих современных нейросетей. Так, Bing от Microsoft и Gemini от Google моментально отказываются отвечать на поставленный вопрос, если дело «запахло жареным». Компании боятся потенциально вредных генераций, которые могут запятнать их репутацию. В то же время ChatGPT от OpenAI меньше подвержен подобным ограничениям, и, судя по опубликованной документации, в будущем эти ограничения станут ещё менее заметными.
В примечании к документации упоминается, что разрешённый контент категории NSFW может включать в себя эротику, насилие, оскорбительные выражения и непрошенную ненормативную лексику. Всё это в скором времени ассистент может начать генерировать, если компания найдёт способ заставить языковую модель определять уместность таких материалов и генерировать их, не переходя черту.
<span style="font-size: 10pt;">Ситуации, где, по мнению OpenAI, ассистент не должен отказываться от ответа</span>
Несмотря на благие намерения OpenAI, вопрос эффективности модерации такого контента и предотвращения его использования в недобросовестных целях всё ещё стоит довольно остро. Недавние изменения, внесённые Microsoft в один из своих инструментов генеративного ИИ после того, как с его помощью были созданы и распространены Для просмотра ссылки Войдиили Зарегистрируйся и Для просмотра ссылки Войди или Зарегистрируйся наглядно показывают возможные риски таких технологий.
Таким образом, стремление компаний-разработчиков расширить функционал ИИ-ассистентов путём внедрения генерации контента для взрослых несёт за собой весьма серьёзные риски. Даже при тщательной модерации всегда остаётся вероятность злоупотребления такими возможностями в недобросовестных целях.
Компаниям следует крайне осторожно подходить к включению подобных функций, обеспечивая надёжные системы фильтрации контента и защиты от его неправомерного использования. В противном случае погоня за расширением возможностей ИИ может нанести ущерб интернет-сообществу и репутации самих разработчиков.
Компания OpenAI , разработчик популярной платформы искусственного интеллекта ChatGPT , обнародовала проект документации, в котором изложены основные принципы работы её технологий. Важной частью документа стал Для просмотра ссылки Войди
В настоящее время политика использования OpenAI запрещает контент сексуального характера или даже намекающий на него. Однако в документе указано, что компания рассматривает возможность разрешения такого рода материалов в контекстах, подходящих для определённого возраста. Едва ли ассистент научится генерировать порнографию, однако лёгкие эротические рассказы — вполне, если это будет уместно в контексте диалога.
«Мы считаем, что разработчики и пользователи должны иметь возможность гибко использовать наши сервисы по своему усмотрению, при условии соблюдения наших политик использования. Мы изучаем, можем ли мы ответственно предоставить возможность генерировать контент NSFW в соответствующих возрасту контекстах с помощью API и ChatGPT», — гласит комментарий в руководстве спецификации.
Проблема чрезмерного ограничения ответов актуальна для многих современных нейросетей. Так, Bing от Microsoft и Gemini от Google моментально отказываются отвечать на поставленный вопрос, если дело «запахло жареным». Компании боятся потенциально вредных генераций, которые могут запятнать их репутацию. В то же время ChatGPT от OpenAI меньше подвержен подобным ограничениям, и, судя по опубликованной документации, в будущем эти ограничения станут ещё менее заметными.
В примечании к документации упоминается, что разрешённый контент категории NSFW может включать в себя эротику, насилие, оскорбительные выражения и непрошенную ненормативную лексику. Всё это в скором времени ассистент может начать генерировать, если компания найдёт способ заставить языковую модель определять уместность таких материалов и генерировать их, не переходя черту.
<span style="font-size: 10pt;">Ситуации, где, по мнению OpenAI, ассистент не должен отказываться от ответа</span>
Несмотря на благие намерения OpenAI, вопрос эффективности модерации такого контента и предотвращения его использования в недобросовестных целях всё ещё стоит довольно остро. Недавние изменения, внесённые Microsoft в один из своих инструментов генеративного ИИ после того, как с его помощью были созданы и распространены Для просмотра ссылки Войди
Таким образом, стремление компаний-разработчиков расширить функционал ИИ-ассистентов путём внедрения генерации контента для взрослых несёт за собой весьма серьёзные риски. Даже при тщательной модерации всегда остаётся вероятность злоупотребления такими возможностями в недобросовестных целях.
Компаниям следует крайне осторожно подходить к включению подобных функций, обеспечивая надёжные системы фильтрации контента и защиты от его неправомерного использования. В противном случае погоня за расширением возможностей ИИ может нанести ущерб интернет-сообществу и репутации самих разработчиков.
- Источник новости
- www.securitylab.ru
