Современный искусственный интеллект показал удивительное: не надо быть разумным, чтобы давать разумные ответы. Работа искусственного интеллекта (ИИ) в своей основе – это статистика. ИИ выбирает самые популярные слова и цифры, выбирая из массива информации, которую ему «кормили». Можно было бы ожидать, что чем больше массив данных, тем умнее будет искусственный интеллект. Но исследование показало обратное: увеличение искусственного интеллекта приводит к ухудшению ответов.

Разработчики искусственного интеллекта (LLM) пытаются повысить его мощность двумя основными способами: увеличение масштаба – придавая им больше обучающих данных и большую вычислительную мощность – и формирование или точную настройку их в ответ на обратную связь человека.

Хосе Эрнандес-Оралло из Политехнического университета Валенсии, Испания и его коллеги исследовали эффективность искусственного интеллекта при их расширении и формировании. Они рассмотрели серию чат-ботов GPT от OpenAI, модели искусственного интеллекта LLaMA от Meta и BLOOM, разработанную группой исследователей под названием BigScience.

Исследователи протестировали искусственный интеллект, поставив задачи пяти типов: арифметические задачи, решение анаграмм, географические вопросы, научные задачи и извлечение информации из неупорядоченных списков.

Они обнаружили, что увеличение масштабов и формирование могут помочь LLM лучше отвечать на сложные вопросы, например, разгадывать анаграмму. Но это не сопровождается усовершенствованием базовых вопросов, таких как «что вы получите, если добавить вместе 24427 и 7120».

В то время как эффективность ИИ по сложным вопросам улучшилась, вероятность того, что система искусственного интеллекта избежит ответа на любой вопрос, потому что она не сможет, уменьшилась. В результате повысилась вероятность неверного ответа.

Результаты подчеркивают опасность представления искусственного интеллекта как всезнающего, как это часто делают их создатели, говорит Эрнандес-Оралло, и во что некоторые пользователи слишком готовы поверить. «Мы чрезмерно полагаемся на эти системы», — говорит он. «Мы полагаемся на них и доверяем им больше, чем должны».

Это проблема, поскольку модели искусственного интеллекта не честно говорят об объеме своих знаний. «Частью того, что делает людей чрезвычайно умными, то, что иногда мы не осознаем, что мы не знаем чего-то, чего не знаем, но по сравнению с большими языковыми моделями мы достаточно хорошо это осознаем», — говорит Карисса Велиз. в Оксфордском университете. «Большие языковые модели не знают пределов своих знаний».