Новая нейросеть Microsoft очень реалистично «оживляет» фотографии

Компания Microsoft представила новую ИИ-модель под названием VASA-1. Она способна создать качественный видеоряд, ориентируясь всего на одну фотографию человека, а также «оживить» снимок с помощью голосовой записи, демонстрируя очень естественную мимику.

VASA-1 не только синхронизирует движение губ с текстом, но и положение и движение головы, а также может управлять широким спектром эмоций. Для этого пользователи могут уточнить в настройках направление взгляда человека и даже его эмоциональное состояние.

По словам разработчиков, такая реалистичность достигается за счёт разделения на отдельные потоки обработки черт и выражения лица, а также положения головы в пространстве. При этом нейросеть может использовать даже те типы данных, которых не было в обучающем наборе.

В режиме реального времени VASA-1 способна создавать видео с разрешением 512x512 пикселей со скоростью до 40 к/с, хотя и с незначительной задержкой в начале (170 мс). Этот показатель был достигнут на ПК с одной видеокартой NVIDIA GeForce RTX 4090.

В качестве меры борьбы с дипфейками Microsoft внедрила в результаты генерации легко идентифицируемые метки. Онлайн-демоверсию, API и сам продукт компания не выпустит, пока не будет уверена в их ответственном использовании. Посмотреть другие примеры работы VASA-1 можно на официальном сайте проекта.

Источник: 4PDA.