Чат-боты разучились говорить «я не знаю»

Большие чат-боты, основанные на искусственном интеллекте (ИИ), стали чаще ошибаться при ответах на сложные вопросы, как показало исследование, опубликованное в журнале Nature.

Хосе Эрнандес-Оралло из Валенсийского исследовательского института искусственного интеллекта в Испании исследовал работу трех крупнейших чат-ботов, использующих передовые ИИ-модели. Он отметил, что чат-боты перестали отвечать "я не знаю" на сложные вопросы, но стали допускать больше ошибок. Эрнандес-Оралло предположил, что стремление отвечать любой ценой заложено в моделях создателями.

Ученые изучили три семейства крупных языковых моделей (LLM), включая GPT OpenAI, BLOOM и модель, разработанную группой BigScience. В результате тестирования было выявлено, что модели стали более интеллектуальными, но также начали допускать ошибки вместо признания незнания ответа. Команда исследователей обнаружила, что все модели иногда давали неправильные ответы даже на простые вопросы. Эрнандес-Оралло заявил, что люди не могут контролировать эти модели.

Ученые считают, что создателям моделей следует предусмотреть возможность для чат-ботов пропускать вопросы, на которые они не знают ответа, чтобы избежать введения пользователей в заблуждение. В конце сентября исследователи из фирмы AMCI Testing обнаружили, что новая версия автопилота Tesla проявляет склонность к рискованным действиям, в том числе проезду на красный свет и почти вызвавший ДТП.

Источник и фото - lenta.ru