Runway AI, uma empresa de inteligência artificial (IA) com foco em modelos de geração de vídeo, anunciou um novo recurso na terça-feira. Chamado de Act-One, o novo recurso está disponível no mais recente Gen-3 Alpha Large Language Model (LLM) da empresa e supostamente captura com precisão expressões faciais de um vídeo de origem e depois as reproduz em um personagem gerado por IA em um vídeo . O recurso resolve um grande problema na tecnologia de geração de vídeo com IA, que converte pessoas reais em personagens de IA sem perder expressões realistas.
Capacidade Runway Act-One introduzida no Gen-3 Alpha
Em uma postagem no blog, a empresa de inteligência artificial detalhou a nova capacidade de geração de vídeo. Runway afirmou que a ferramenta Act-One pode criar conteúdo animado e de ação ao vivo usando performances de vídeo e voz como entradas. A ferramenta tem como objetivo oferecer performances expressivas de personagens em vídeos gerados por IA.
Apresentamos o primeiro ato. Uma nova maneira de gerar performances expressivas de personagens no Gen-3 Alpha usando um único vídeo de direção e imagem de personagem. Não é necessária captura ou manipulação de movimento.
Saiba mais sobre o Ato Um abaixo.
(1/7) pic.twitter.com/p1Q8lR8K7G
– Faixa (@runwayml) 22 de outubro de 2024
Os vídeos gerados por IA mudaram significativamente o processo de criação de conteúdo de vídeo, já que as pessoas agora podem gerar vídeos direcionados usando prompts de texto em linguagem natural. No entanto, existem certas limitações que têm impedido a adaptação desta tecnologia. Uma dessas limitações é a falta de controles para alterar as expressões de um personagem em um vídeo ou melhorar seu desempenho em termos de pronúncia de uma frase, gestos e movimentos oculares.
No entanto, com o Act-One, a Runway está tentando preencher essa lacuna. A ferramenta, que funciona apenas com o modelo Gen-3 Alpha, simplifica o processo de animação facial, que muitas vezes pode ser complexo e exigir fluxos de trabalho de várias etapas. Hoje, animar esses tipos de personagens requer a gravação de vídeos de um indivíduo de vários ângulos, a manipulação manual do rosto e a captura de seus movimentos faciais separadamente.
A Runway afirma que o Act-One substitui o fluxo de trabalho e o torna um processo de duas etapas. Os usuários agora podem gravar um vídeo deles mesmos ou de um ator a partir de uma câmera de ponto único, que também pode ser um smartphone, e selecionar um personagem de IA. Feito isso, afirma-se que a ferramenta captura fielmente não apenas expressões faciais, mas também pequenos detalhes, como movimentos oculares, microexpressões e estilo de expressão.
Destacando o alcance desse recurso, a empresa afirmou na postagem do blog: “O modelo mantém expressões faciais realistas e traduz com precisão as performances em personagens com proporções diferentes do vídeo original. “Essa versatilidade abre novas possibilidades para design e animação inventivos de personagens.”
Um dos pontos fortes do modelo é produzir resultados cinematográficos e realistas em um grande número de ângulos de câmera e distâncias focais. Permitindo-lhe gerar performances emocionais com uma profundidade de caráter anteriormente impossível, abrindo novos caminhos para a expressão criativa.
(4/7) pic.twitter.com/JG1Fvj8OUm
– Faixa (@runwayml) 22 de outubro de 2024
Em particular, embora o Act-One possa ser usado para personagens animados, ele também pode ser usado para personagens de ação ao vivo em uma sequência cinematográfica. Além disso, a ferramenta também pode capturar detalhes mesmo que o ângulo do rosto do ator seja diferente do ângulo do rosto do personagem de IA.
Este recurso está sendo implementado gradualmente para todos os usuários; No entanto, como funciona apenas com Gen-3 Alpha, aqueles no nível gratuito receberão uma quantidade limitada de tokens para gerar vídeos com esta ferramenta.
