Lipdub Playground está em directo

Saímos do cinema mudo na década de 1920 com o advento do som sincronizado. Hoje, estamos deixando os vídeos silenciosos de IA no passado com o lançamento do Lipdub Playground.

Desenvolvido pelo modelo Lipdub 2.0 da Captions, o Lipdub Playground permite que você adicione uma voz aos seus vídeos gerados por IA. Basta digitar e assistir seu personagem falar o roteiro fornecido em voz alta, com movimentos labiais e linguagem corporal sincronizados.

Tecnologia de sincronização labial de ponta‍

O modelo Lipdub 2.0 da Captions permite que qualquer pessoa gere movimentos labiais (que podem ser sincronizados com o áudio) em ambientes dinâmicos (para este caso de uso, cenas complicadas geradas por IA). É um modelo baseado em transformador de vários estágios que gera movimentos labiais e linguagem corporal. Também é zero, o que significa que requer apenas alguns segundos de entrada de vídeo e pode lidar com situações complexas, como caminhadas e filmagens em 4K.

Como funciona: ‍

Escolha seu personagem: Comece selecionando um de nossos personagens pré-gerados de IA ou faça o upload de seu próprio vídeo de IA.
Dica profissional: se você estiver enviando seu próprio vídeo de IA, tente usar um em que seu personagem tenha um leve movimento labial. Isso fornece mais dados para nosso modelo de trabalho, resultando em uma saída melhor.

Compartilhe um script: Em seguida, é hora de dar algumas falas ao seu personagem. Comece colando ou digitando um roteiro para seu personagem ler em voz alta. Como alternativa, faça o upload de sua própria gravação de voz e seu personagem falará seu áudio em voz alta.

‍Gere seu vídeo: Nosso modelo proprietário Lipdub dará vida ao seu personagem de IA e falará as palavras que você escreveu ou gravou. O Lipdub Playground simplifica o áudio para vídeo, esteja você criando vídeos de marketing, projetos pessoais ou conteúdo para contar histórias. Experimente você mesmo o Lipdub Playground aqui.
‍