В OpenAI придумали, как отучить ChatGPT от вранья

По словам исследователей OpenAI, несмотря на глобальное всезнание искусственного интеллекта, иногда чат-бот скатывается во вранье. Дезинформация происходит, когда ИИ не знает точного ответа, поэтому в момент неопределенности выдает ложные сведения:

— Эти«галлюцинации» вызывают много проблем в областях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы сорвать гораздо более масштабное решение.

Чтобы отучить ChatGPT от вранья, OpenAI планирует научить искусственный интеллект награждать себя за каждый правильный шаг рассуждений, а не только за окончательный вывод. Исследователи назвали этот подход «контролем процесса». Такой метод может привести к созданию более близкого к нам ИИ, поскольку с этой стратегией «цепочки мыслей» ChatGPT будут походить на человеческие.

По словам Карла Коббе, штатного математика OpenAI, «обнаружение и смягчение логических ошибок модели является критическим шагом на пути к созданию согласованного искусственного интеллекта общего назначения». Он также добавил, что для обучения специальной модели OpenAI открыла доступ к сопроводительному набору данных из 800 000 меток.

Параллельно с этим Сара Майерс Вест, управляющий директор Института AI Now, заявила, что OpenAI не предоставила основных деталей о данных, использованных для обучения и тестирования GPT-4:

— Все еще существует огромная непрозрачность, которая препятствует любым значимым усилиям по обеспечению подотчётности в области ИИ, даже когда эти системы уже непосредственно влияют на людей.

Наш канал в Telegram. Присоединяйтесь!

Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро