Хотя OpenAI сворачивает свои усилия на рынке генерации видео с закрытием своего приложения Sora, ByteDance в четверг подтвердила, что её новая аудио- и видеомодель Dreamina Seedance 2.0 сейчас развёртывается на её платформе редактирования CapCut.
ByteDance заявляет, что модель позволяет создателям контента подготавливать, редактировать и синхронизировать видео- и аудиоконтент, используя текстовые подсказки, изображения или справочные видео.
Поэтапное развёртывание начнётся с пользователей CapCut в Бразилии, Индонезии, Малайзии, Мексике, Филиппинах, Таиланде и Вьетнаме, со временем будут добавлены дополнительные рынки.
Новость о запуске в CapCut появляется после недавнего сообщения о том, что глобальное развёртывание модели было приостановлено, пока компания работает над решением вопросов интеллектуальной собственности, вызвавших критику со стороны Голливуда по поводу предполагаемых нарушений авторских прав. Это, вероятно, объясняет ограниченное число рынков, где модель в настоящее время доступна в CapCut.
В Китае модель доступна пользователям приложения Jianying компании ByteDance.
Видеомодель работает без справочных изображений, даже если создатель использует всего несколько слов для описания интересующей его сцены, говорится в объявлении ByteDance. CapCut также хорошо справляется с отрисовкой реалистичных текстур, движения и освещения с учётом различных визуальных перспектив и углов обзора, что компания отмечает может использоваться для редактирования, улучшения или коррекции собственного видеоматериала создателя.
Ещё один вариант использования — это возможность для создателей тестировать потенциальные идеи на основе ранних концепций или эскизов перед съёмкой реального видео.
Кроме того, Dreamina Seedance 2.0 можно использовать для широкого спектра контента, включая рецепты готовки, фитнес-уроки, бизнес- или обзоры продуктов, а также видео с движением или боевыми сценами, где модели генерации видео на основе ИИ исторически сталкивались с трудностями, как объясняет компания.
При запуске модель поддерживает клипы длительностью до 15 секунд с шестью соотношениями сторон.
В CapCut модель будет развёртываться в различных областях, включая функции редактирования, такие как AI Video, и инструменты генерации, такие как Video Studio. Она также появится на платформе генерации ИИ ByteDance Dreamina и на его маркетинговой платформе Pippit.
Учитывая способность создавать реалистичный контент, ByteDance говорит, что добавила ограничения безопасности, поэтому модель не будет иметь возможность создавать видео из изображений или видео, содержащих реальные лица. CapCut также будет блокировать неавторизованное создание интеллектуальной собственности. (Однако если бы ограничения работали должным образом, модель была бы доступна прямо сейчас в Соединённых Штатах. Вероятно, всё ещё проводятся дополнительные доработки.)
Контент, созданный Dreamina Seedance 2.0, также будет содержать невидимый водяной знак, который поможет идентифицировать контент, созданный с помощью модели, когда он распространяется за пределами платформы, добавила ByteDance. Это может помочь в таких вещах, как запросы на удаление от правообладателей в случае, если модель допустит прохождение контента, защищённого авторскими правами.
ByteDance говорит, что будет сотрудничать с экспертами и творческими сообществами по мере развёртывания модели, чтобы совершенствовать и улучшать возможности модели.