В июне 2024 года компания Luma AI представила новую нейросеть под названием Dream Machine. Она способна генерировать реалистичные пятисекундные видеоролики из фотографий и текстовых описаний.
Однако из-за высокой нагрузки сервис иногда испытывает технические сбои. Более подробную информацию о том, как использовать сервис, можно найти в нашем материале.
Почти каждый активный пользователь интернета знаком с созданием простых изображений с помощью приложений на базе искусственного интеллекта (ИИ). Однако создание высококачественных видео оставалось сложной задачей. ИИ-видео часто отличались отсутствием естественной мимики, лишними частями тела, артефактами или резкими изменениями в расположении объектов. Видеоролики казались скомканными, состоящими из несвязанных кадров.
Но нейросеть Dream Machine, разработанная командой Luma AI, по качеству создаваемых видео и дополнительным функциям опередила многие аналоги. Особенно привлекательной оказалась возможность «оживлять» старые семейные фотографии. В интернете стали появляться видео, где люди с семейных фотографий начинают двигаться, при этом качество изображения остаётся высоким и плавным, а персонажи не меняются от кадра к кадру.
По словам разработчиков, Dream Machine способна создавать точные, связные и насыщенные событиями видео с высокой скоростью — 120 кадров за 120 секунд. Нейросеть обучена понимать, как люди и животные взаимодействуют с окружающим миром, что позволяет создавать реалистичные видео, где объекты движутся естественно.
Однако из-за высокого спроса сервис работает с перебоями и фактически недоступен для тестирования в пробном режиме.
В целом, по заявлениям разработчиков, нейросеть обладает следующими возможностями:
- Создание реалистичных видео длительностью 5 секунд (кинематографичных, драматичных и с плавными движениями);
- Преобразование фотографий и текста в видео (запросы принимаются на английском языке);
- Имитация движения камеры.
Как и многие современные нейросети, Dream Machine имеет свои ограничения. Среди них разработчики выделяют четыре основных:
- Трансформация объектов. Нейросеть не всегда корректно обрабатывает объекты, что приводит к дефектам. Например, при развороте машины может появиться передний бампер вместо заднего;
- Движение. ИИ может неправильно интерпретировать действия. Например, собака вместо бега может повиснуть в воздухе;
- Текст. Создание читаемого текста на видео остаётся сложной задачей. Dream Machine может генерировать текст, но он часто бывает нечитаемым или содержит ошибки;
- Проблема «Януса». Пример этой проблемы — видео, где у белого медведя во время разворота появляется вторая голова.
Для устранения этих проблем рекомендуется более чётко формулировать запросы.
Нейросеть формально доступна всем желающим. Для создания или «оживления» изображений необходимо зарегистрироваться на сайте. Под одним аккаунтом можно создать до 30 бесплатных видео в месяц, но не более пяти в день. При необходимости можно воспользоваться платной подпиской, стоимость которой составляет около 2 тысяч рублей в месяц.
Dream Machine предлагает несколько методов создания видео и «оживления» фото:
- Текстовое описание. Необходимо подробно описать, что должно быть в кадре, какое действие, атмосферу и эмоции. Рекомендуется избегать сложных конструкций и жаргона;
- Текстовое описание с подсказками. Этот метод следует использовать, если вы не уверены в своём описании. Нейросеть дополнит и уточнит ваш запрос;
- Использование изображений. Можно загружать свои фотографии или изображения, созданные с помощью других нейросетей. Для улучшения качества видео рекомендуется также использовать текстовое описание.