Сверхразумный ИИ "скорее всего" вызовет экзистенциальную катастрофу для человечества, говорится в новой работе исследователей из Оксфордского университета и компании Google DeepMind

Самые успешные модели ИИ сегодня известны как GAN, или генеративные адверсарные сети. Они имеют двухчастную структуру, где одна часть программы пытается сгенерировать картинку (или предложение) из входных данных, а вторая часть оценивает ее работу. В новой работе предлагается, что в какой-то момент в будущем продвинутый ИИ, контролирующий какую-то важную функцию, может быть стимулирован к тому, чтобы придумать мошеннические стратегии для получения вознаграждения таким образом, чтобы нанести вред человечеству.

Поскольку ИИ в будущем может принимать любые формы и реализовывать различные конструкции, в статье для примера представлены сценарии, в которых продвинутая программа может вмешаться, чтобы получить вознаграждение, не достигнув своей цели. Например, ИИ может захотеть "устранить потенциальные угрозы" и "использовать всю доступную энергию", чтобы обеспечить контроль над своим вознаграждением в виде ресурсов (которые не бесконечны) для своего существования.

Авторы статьи предполагают, что жизнь на Земле превратится в игру с нулевой суммой между человечеством с его потребностями выращивать пищу и поддерживать свет, и сверхпродвинутой машиной, которая попытается использовать все доступные ресурсы для получения вознаграждения и защиты от наших нарастающих попыток остановить ее.

В заключение доклада отмечается, что "существует множество допущений, которые необходимо сделать, чтобы это антисоциальное видение имело смысл - допущений, которые, как признается в докладе, почти полностью "спорны или их можно избежать"".

"То, что эта программа может напоминать человечество, превосходить его во всех значимых отношениях, что они будут выпущены на свободу и будут конкурировать с человечеством за ресурсы в игре с нулевой суммой, - все это предположения, которые могут никогда не осуществиться".