Сбербанк представил новую версию генеративного ИИ — Kandinsky 6.0 Video, которая способна не только создавать видео, но и озвучивать их синхронно. Теперь для получения готового ролика с голосом достаточно просто описать сцену в тексте или загрузить первый кадр с кратким описанием звукового сопровождения. При этом в текущей версии максимальная длительность видео с озвучкой ограничена пятью секундами, но команда разработчиков обещает вскоре увеличить этот лимит.
«Наша цель — сделать генеративный ИИ таким же привычным инструментом для творчества, как текстовый редактор или камера смартфона, — говорит Антон Фролов, старший вице-президент Сбербанка, руководитель блока по развитию генеративного ИИ. — Это открывает новые возможности для всех: от обычных пользователей до профессиональных креаторов. А самое главное: модель Kandinsky 6.0 Video мы предоставляем разработчикам бесплатно и без каких-либо ограничений. Кто угодно может использовать её для создания собственных сервисов».
Что же делает Kandinsky 6.0 Video особенной? Во-первых, это мультимодальная модель — она одновременно «видит» и «слышит» то, что генерирует. Это значит, что диалоги и звуковые эффекты идеально синхронизированы с движением губ персонажей, а фоновая музыка или шум ветра точно вписываются в картинку. Если же звук не нужен, модель легко обойдёт эту функцию. Но главное преимущество — способность создавать даже те объекты, которых не было в обучающих данных. Например, если пользователь попросит сгенерировать персонажа из новой игры или фильма, модель найдёт визуальные референсы и создаст его с высокой точностью.
Звуковое сопровождение в Kandinsky 6.0 Video охватывает широкий спектр: от живых диалогов и цифровых эффектов до звуков шагов, шума дождя или проезжающей машины. В одном ролике можно смонтировать диалог, добавить музыку — от испанской гитары до саундтрека к динамичной погоне, или создать атмосферу для сонного вечера с помощью лоу-фая. Возможности модели действительно безграничны.
Для разработчиков Kandinsky 6.0 Video доступна в открытом коде под лицензией MIT, что означает бесплатное использование и интеграцию в любые продукты. Модель уже поддерживается популярными платформами для работы с нейросетями, такими как FAL, Diffusers, FastVideo, ComfyUI, SGLang и vLLM-omni. Это значит, что разработчикам не придётся писать интеграцию с нуля — достаточно подключить Kandinsky 6.0 Video к уже существующему проекту.
В Сбербанке подчёркивают, что обновление пригодится всем, кто работает с видео — будь то личные проекты или профессиональный контент. Вот несколько примеров, как модель может упростить жизнь разным категориям пользователей:
— Авторы соцсетей смогут создавать короткие ролики с озвученными репликами или фоновыми звуками без микрофона, актёров и сложного монтажа.
— Малому бизнесу поможет сделать голосовые рекламные ролики о товарах или услугах без съёмочной группы.
— Маркетологи и специалисты по SMM смогут быстро собрать тестовые ролики с диалогами и фирменной атмосферой для соцсетей и мессенджеров.
— Преподаватели оживят старые фотографии или портреты исторических личностей, добавив озвученные реплики для урока истории или литературы.
— Дизайнеры смогут создать черновой ролик со звуком для презентации идеи или питча.
Kandinsky 6.0 Video — это шаг вперёд в доступности и удобстве создания видео для всех, кто хочет делиться идеями, рассказывать истории или просто экспериментировать с творчеством.
