Уже не обязательно видеть реальность вокруг — ее можно в прямом эфире редактировать. Возможность такого показало приложение TransforMR, разработанное специалистами Porsche.

Система искусственного интеллекта TransforMR в реальном времени обнаруживает автомобили и людей в объективе камеры, удаляет их, а затем заменяет их компьютерными моделями CGI в режиме реального времени.

Для такой работы требуется большая вычислительная мощность, поэтому результаты работы прототипа не идеальны. Исправления часто являются случайными, а модели CGI выглядят так, как будто они заимствованы из 3D Movie Maker.

Команда авторов TransforMR говорит, что хотя отдельные элементы их работы были выполнены ранее, вся система как единое целое является новой.

TansforMR может работать на обычных смартфонах и планшетах, но для отправки данных в облако требуется подключение 4G. Изображения обрабатываются таким образом, чтобы объекты не просто закрывались, как в приложениях Snapchat Ar или Memoji от Apple, а полностью редактировались. Объекты обнаруживаются, сегментируются, затем закрашиваются фоном, создавшим искусственный интеллект. После этого на место оригинала размещается модель CGI.

Модель TransforMR нуждается в значительном улучшении. Частота кадров составляет всего 15 кадров в секунду при низком качестве изображения. Задержка редактирования составляет от 50 до 100 миллисекунд. Но команда разработчиков говорит, что эти аспекты относительно легко улучшить.

«Основное ограничение заключается в том, что большие изображения требуют очень больших вычислительных ресурсов, — сказал Мохаммед Кари, исследователь технологий машинного обучения в Porsche. — Итак, для рисования мы оперируем очень маленькими изображениями, работая с изображениями 512 x 512”.

Одним из ключевых элементов системы, говорит Кари, является использование распознавания поз. Это означает, что, когда система обнаруживает человека, она идентифицирует 18 отдельных суставов в теле. Поэтому замена CGI может быть привязана к движению цели в реальном времени. Другие системы дополненной реальности часто просто идентифицируют объекты.

Нетрудно представить, что TransforMR является идеальным для интеграции в очки дополненной реальности. Пользователи могли выбрать тему оформления для своего дня, заменяя обычные объекты другими.

Кари отмечает, что это возможно, но потребует огромных аппаратных затрат. Современные очки дополненной реальности не способны на такое. Текущие технологии не позволяют реализовать возможности TransforMR в очках.

Созданную технологию в Porsche планируется использовать для развлечений пассажиров и водителей, когда они стоят в пробке, говорит руководитель направления искусственного интеллекта компании Тобиас Гроссе-Пуппендаль.