- 9,437
- 18
- 8 Ноя 2022
Новая ИИ-система спасает мир от фейков и дезинформации.
Google DeepMind Для просмотра ссылки Войдиили Зарегистрируйся ИИ-систему SAFE, предназначенную для фактчекинга результатов больших языковых моделей.
LLM -модели, подобные ChatGPT , за последние пару лет научились писать научные работы, отвечать на вопросы и даже решать математические задачи. Однако основной проблемой таких систем является точность: каждый результат модели требует ручной проверки на корректность, что значительно снижает их ценность.
В новом проекте исследователи DeepMind создали ИИ-приложение, которое автоматически проверяет правильность ответов LLM и выявляет неточности.
Основной метод фактчекинга результатов LLM заключается в поиске подтверждающих источников в Google. Команда DeepMind применила аналогичный подход: специалисты разработали LLM-модель, которая анализирует утверждения в ответах ИИ, а затем ищет в Google сайты, которые могут быть использованы для верификации, после чего сравнивает два ответа для определения точности. Новая система получила название Search-Augmented Factuality Evaluator (SAFE).
В ходе тестирования системы исследовательская группа проверила примерно 16 000 фактов из ответов нескольких LLM, в том числе ChatGPT, Gemini, PaLM. Результаты сравнивались с выводами людей, занимающихся фактчекингом. Выяснилось, что SAFE совпала с находками людей в 72% случаев. При анализе разногласий между SAFE и людьми исследователи обнаружили, что в 76% случаев права оказывалась система SAFE.
Команда DeepMind Для просмотра ссылки Войдиили Зарегистрируйся SAFE в GitHub, предоставив возможность использовать систему всем желающим для повышения точности и надёжности ответов LLM-моделей.
Google DeepMind Для просмотра ссылки Войди
LLM -модели, подобные ChatGPT , за последние пару лет научились писать научные работы, отвечать на вопросы и даже решать математические задачи. Однако основной проблемой таких систем является точность: каждый результат модели требует ручной проверки на корректность, что значительно снижает их ценность.
В новом проекте исследователи DeepMind создали ИИ-приложение, которое автоматически проверяет правильность ответов LLM и выявляет неточности.
Основной метод фактчекинга результатов LLM заключается в поиске подтверждающих источников в Google. Команда DeepMind применила аналогичный подход: специалисты разработали LLM-модель, которая анализирует утверждения в ответах ИИ, а затем ищет в Google сайты, которые могут быть использованы для верификации, после чего сравнивает два ответа для определения точности. Новая система получила название Search-Augmented Factuality Evaluator (SAFE).
В ходе тестирования системы исследовательская группа проверила примерно 16 000 фактов из ответов нескольких LLM, в том числе ChatGPT, Gemini, PaLM. Результаты сравнивались с выводами людей, занимающихся фактчекингом. Выяснилось, что SAFE совпала с находками людей в 72% случаев. При анализе разногласий между SAFE и людьми исследователи обнаружили, что в 76% случаев права оказывалась система SAFE.
Команда DeepMind Для просмотра ссылки Войди
- Источник новости
- www.securitylab.ru
