Что значит «оживить фото» с технической точки зрения

Image-to-video (i2v) — это класс моделей, которые берут одно изображение и генерируют последовательность кадров, создающих иллюзию движения. От text-to-video (генерация видео из текста) это отличается тем, что i2v привязано к конкретному исходному кадру: лицу, позе, фону. Внешность человека должна остаться узнаваема на всём протяжении видео.

Модель обучена на видеоданных и предсказывает движение, которое выглядит правдоподобно: наклон головы, покачивание, смену мимики. Она не оживляет фото в прямом смысле слова. Как и с фотогенерацией, результат — это сгенерированное видео, а не запись реальности.

Самая сложная техническая задача — согласованность кадров (temporal consistency). Лицо, одежда и фон должны быть стабильны от начала до конца видео, без дрожания и плавания. Основная часть вычислений идёт на это, и поэтому i2v-модели требуют намного больше ресурсов, чем обычная фотогенерация.

Как это работает в Hoty: пошагово

1. Исходное фото. Источником может быть новое загруженное фото или уже готовый результат из истории аккаунта — во втором случае фото проходит стандартную модерацию заранее, поэтому повторная проверка не требуется.

2. Выбор видео-эффекта. Среди эффектов выбирается «оживление в видео» — стоимость в монетах показывается до подтверждения запроса, как и для фото-эффектов.

3. Генерация. Запрос попадает в очередь обработки. I2v-модель анализирует ваше исходное изображение и вычисляет движение для каждого кадра. Это занимает больше времени, чем фото, но всё происходит в фоне, и вы видите прогресс на экране.

4. Результат. Готовое видео появляется в вашей истории. Его можно скачать или сразу продлить на несколько секунд.

Разница между «новой загрузкой» и «уже готовым результатом» как источником не только в удобстве: повторное использование уже промодерированного фото ускоряет процесс, поскольку системе не нужно заново проверять исходник — он уже прошёл проверку на этапе первой генерации.

Что именно можно получить: типы движения

I2v-модель создаёт естественное, тонкое движение: поворот головы, изменение взгляда, мимика, дыхание, волосы и ткань покачиваются, едва заметное движение фона. Это не анимация со сложной хореографией. Это короткий, правдоподобный ролик из нескольких секунд, где фото как будто приходит в движение.

Качество полностью зависит от исходного фото. Резкое, хорошо скомпонованное изображение даёт правдоподобное движение. Размытое фото даст худший результат.

Модель не выдумывает новые объекты или события. Она оживляет то, что уже есть в кадре. Это главное отличие от text-to-video, где видео создаётся с нуля по текстовому описанию, без привязки к конкретной фотографии.

Продление видео: как получить более длинный ролик

Вы можете продлить готовое видео прямо из истории. Источник — само видео, не новое фото. Это отдельный эффект под названием video extend, и он стоит дешевле, чем генерация с нуля, потому что использует уже пройденную модерацию.

Продление шаг за шагом удобнее, чем заказать одно длинное видео сразу. Длинные видео сложнее для модели и обычно дают больше артефактов.

Система берёт последний кадр вашего видео как точку старта и генерирует продолжение, которое совпадает со стилем и движением предыдущей части. Поэтому вы можете продлевать несколько раз подряд, постепенно наращивая общую длину.

Как выбрать исходное фото для лучшего результата

Используйте резкое фото с хорошим светом и без размытия. На тёмном или шумном кадре модель хуже считывает движение. Лицо, которое видно полностью и повёрнуто прямо или чуть набок, даёт лучший результат.

Простой фон с минимумом деталей снижает артефакты. Однородный фон модели обрабатывать легче, чем сложную сцену.

Разрешение фото тоже важно. Маленькое или сильно сжатое изображение даёт модели мало деталей для расчётов, и видео получается размытым и нечётким. Фото среднего или высокого разрешения без сильного цифрового зума обычно дают чистый результат.

Ограничения технологии

Оживление фото имеет ограничения. Ролики короткие, несколько секунд за запуск, продление добавляет немного. Движение ограничено тем, что выглядит правдоподобно. Необычные углы или низкое качество фото дают артефакты: деформацию краёв, нестабильное освещение.

Как и с фото, каждая загрузка проходит модерацию до списания монет. Эффект доступен только для вашего собственного фото или фото, на котором человек дал согласие.

Видео требует больше вычислений, чем фото. Нужно обработать не одно изображение, а целую последовательность. Поэтому видео-эффекты обычно стоят дороже и занимают больше времени, чем аналогичные фото-эффекты. Если вам в основном нужны фото, выбирайте фото-эффекты. Видео заказывайте отдельно только для кадров, которые вы действительно хотите оживить.

Частые вопросы

Читайте также