Google и Стэнфорд разработали защиту от галлюцинаций для чат-ботов с ИИ
Одним из наиболее критикуемых видов поведения чат-ботов на базе искусственного интеллекта (ИИ) являются так называемые галлюцинации, когда ИИ убедительно отвечает на вопрос, предоставляя вам фактически неверную информацию. Проще говоря, ИИ всё выдумывает, пытаясь удовлетворить своего пользователя.
Это не проблема для инструментов, использующих генеративный ИИ для создания изображений или видео. В конце концов, известный эксперт Андрей Карпати, который только недавно покинул OpenAI, зашёл так далеко, что заявил, что способность галлюцинировать – это самая большая особенность больших языковых моделей (LLM), лежащих в основе технологии генеративного ИИ.
Однако галлюцинации категорически запрещены в текстовых чат-ботах на основе LLM, где пользователь ожидает, что предоставленная информация фактически точна.
Предотвращение галлюцинаций ИИ – это технологическая задача, и непростая. Однако, как сообщает Marktechpost.com, похоже, что Google DeepMind и Стэндфордский университет нашли обходное решение.
Исследователи разработали систему на основе LLM – Search-Augmented Factuality Evaluator или SAFE – которая, по сути, проверяет факты в развёрнутых ответах, генерируемых чат-ботами с ИИ. Их результаты доступны в виде препринта на arXiv вместе со всем экспериментальным кодом и наборами данных.
Система анализирует, обрабатывает и оценивает ответы в четыре этапа, чтобы проверить их точность и актуальность. Во-первых, SAFE разбивает ответ на отдельные факты, пересматривает их и сравнивает с результатами поиска Google. Система также проверяет соответствие отдельных фактов исходному вопросу.
Новости партнеров
Похожие публикации
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.