По мере приближения релиза GPT-5 в прессе и блогах распространяется масса слухов. Последний из них — о неком «модуле против галлюцинаций», который якобы будет встроен в новую модель. Как всегда, блогеры и журналисты написали массу глупостей, поэтому в этой статье разберёмся, что на самом деле представляет собой Universal Verifier.
Сначала — что такое галлюцинации
Сам термин «галлюцинации» в применении к нейросетям крайне неудачен, потому что создаёт неверное представление о природе проблемы. В обыденном понимании галлюцинации — это результат помрачения сознания, что-то болезненное и искажённое. Но применительно к языковым моделям суть совсем в другом.
Как работает предсказание текста
Целью нейросети в большой языковой модели является предсказание следующего слова в тексте.
«Бегемот живёт в»
нейросеть может предложить варианты:
«Африке» или «реке»
Но если мы дадим небольшой модели что-то редкое — например:
— она не будет знать точного ответа. Однако она попробует догадаться.
Зная, что слово «амадина» — это птица, а «Аммоноидеи» звучит похоже, модель может выдать:
или
«Аммоноидеи живут в небе»
хотя на самом деле аммоноидеи — это ископаемые улитки, и в гнёздах они, разумеется, не жили.
Что такое галлюцинации на самом деле
«Галлюцинация» — это попытка нейросети угадать правильный ответ в условиях, когда точного знания у неё нет. Чем больше модель и чем объёмнее её обучающие данные, тем чаще она знает правильный ответ — и тем реже происходят такие ошибки.
При этом подобные «галлюцинации» свойственны и людям. Достаточно вспомнить интернет-дискуссии, где участники с азартом обсуждают, «в чём был неправ Эйнштейн», не имея при этом ни малейшего представления о его теориях.
При этом «галлюцинации», при том, что они создают много проблем, еще несут в себе и определённую пользу: креативность и способность строить предположения в незнакомых ситуациях. Например, даже если точный ответ не известен, часто возникает необходимость выдвинуть гипотезу, пусть даже не всегда верную, но которую в дальнейшем можно будет проверить и уточнить.
Вернемся теперь к тому, что написала пресса про новый "модуль против галлюцинаций" в GPT-5
Например, в статье на Habr и во многих других источниках, утверждается, что GPT-5 получит специальный «модуль против галлюцинаций» — Universal Verifier. Описывают его как фильтр, который будет работать в реальном времени: если GPT-5 выдаст ответ с галлюцинацией, модуль это обнаружит и заставит модель переписать ответ.
Почему это ерунда
Хотя подобный модуль в принципе можно представить, в оригинальных источниках ничего подобного не утверждается. Смысл Universal Verifier — совсем другой.
Чтобы это понять, придётся немного отойти в сторону и вспомнить, как обучаются современные рассуждающие модели.
Как работает обучение с подкреплением
Такие модели, как o3, дообучаются с помощью обучения с подкреплением (Reinforcement Learning). Им дают множество задач с известным ответом, и за каждое решение — верное или ошибочное — модель получает обратную связь. Постепенно она учится находить правильные решения.
Именно благодаря этому методу были достигнуты громкие результаты — например, золотая медаль на международной математической олимпиаде.
Ограничения традиционного подхода
Но есть проблема: такой подход требует проверки миллионов решений. Он работает только там, где ответ можно легко и автоматически проверить — например, в математике или программировании. А вот в менее формализованных областях — дизайне, юриспруденции, литературе — такой способ не подходит.
Там качество решения приходится оценивать вручную, что делает масштабирование практически невозможным.
Что такое Universal Verifier на самом деле
И вот здесь как раз и появляется Universal Verifier.
Реальное назначение Universal Verifier
Согласно материалу издания The Information, Universal Verifier — это отдельная нейросеть, задача которой — автоматически оценивать качество решений в тех областях, где нет чёткого «правильного» ответа.
Это позволяет перенести механизм обучения с подкреплением на задачи, которые раньше не поддавались автоматизации. В теории это может дать огромный рывок вперёд.
Ключевое отличие
Важно, что не просто выбрасываем все ответы, в которых модель не уверена при общении с пользователем, а стараемся оценить, насколько предположения модели хороши или плохи на этапе обучения модели
Сама идея не нова. Например, ещё в 2016 году мы в MeanoTek использовали похожий подход для генерации рекламных объявлений. Наша нейросеть-верификатор оценивала, насколько сгенерированный текст корректен и привлекателен, и эта оценка использовалась как сигнал для дообучения генератора.
Новизна же предлагаемого OpenAI решения состоит в масштабе и универсальности применения этой техники.
Готовы внедрить ИИ в свой бизнес?
Мы поможем выбрать подходящую модель и интегрировать её в ваши процессы
Получить консультациюИтог: что на самом деле делает Universal Verifier
Universal Verifier — это не «фильтр галлюцинаций» в готовой модели. Это инструмент обучения, позволяющий дообучать рассуждающие модели в областях, где невозможно автоматически проверить ответ.
Если задумка сработает, эффект будет гораздо глубже, чем просто снижение количества ошибок. Речь идёт о расширении границ применимости ИИ — на задачи, которые до сих пор считались слишком «размытыми» для автоматизации.
При этом сами галлюцинации никуда не исчезнут. Более того — они, скорее всего, останутся неотъемлемой чертой любого интеллекта, будь то искусственный или человеческий. Просто у более умной модели будет меньше ошибок.
Частота галлюцинаций снизится — но явление как таковое вряд ли исчезнет полностью.