Pesquisadores do Intel Labs, em colaboração com especialistas acadêmicos e do setor, introduziram uma técnica inovadora para gerar movimento humano realista e direcionável a partir de entradas esparsas e multimodais. O seu trabalho, destacado na Conferência Europeia sobre Visão Computacional (ECCV 2024), centra-se na superação dos desafios de gerar comportamentos humanos naturais e físicos em personagens humanóides de alta dimensão. Esta pesquisa faz parte de uma iniciativa mais ampla do Intel Labs para promover a visão computacional e o aprendizado de máquina.
A Intel Labs e seus parceiros apresentaram recentemente seis artigos de ponta na ECCV 2024, uma importante conferência organizada pela European Pc Imaginative and prescient Affiliation (ECVA).
O artigo Gerando movimentos humanos fisicamente realistas e direcionáveis a partir de entradas multimodais apresentou inovações, incluindo uma nova estratégia de defesa para proteger modelos de texto para imagem contra ataques de pink teaming baseados em immediate e o desenvolvimento de um conjunto de dados em grande escala projetado para melhorar a consistência espacial nestes modelos. Entre essas contribuições, o artigo destaca a dedicação da Intel ao avanço da modelagem generativa, ao mesmo tempo em que prioriza práticas responsáveis de IA.
Gerando movimentos humanos realistas usando entradas multimodais
O Masked Humanoid Controller (MHC) da Intel é um sistema inovador projetado para gerar movimento semelhante ao humano em ambientes de física simulada. Ao contrário dos métodos tradicionais que dependem fortemente de dados de captura de movimento totalmente detalhados, o MHC foi desenvolvido para lidar com dados de entrada esparsos, incompletos ou parciais de diversas fontes. Essas fontes podem incluir controladores VR, que podem rastrear apenas os movimentos das mãos ou da cabeça; entradas de joystick que fornecem apenas comandos de navegação de alto nível; rastreamento de vídeo, onde certas partes do corpo podem estar ocluídas; ou mesmo instruções abstratas derivadas de prompts de texto.
A inovação da tecnologia reside na sua capacidade de interpretar e preencher lacunas onde os dados estão faltantes ou incompletos. Isso é conseguido através do que a Intel chama de Recuperar, Combinar e Concluir (CCC) capacidades:
- Alcançar: Este recurso permite que o MHC recupere e ressincronize seu movimento quando ocorrem interrupções, como quando o sistema inicia em um estado de falha, como um personagem humanóide que caiu. O sistema pode corrigir rapidamente seus movimentos e retomar o movimento pure sem retreinamento ou ajustes manuais.
- Combinar: O MHC pode combinar diferentes sequências de movimento, como mesclar movimentos da parte superior do corpo de uma ação (por exemplo, acenar) com ações da parte inferior do corpo de outra (por exemplo, caminhar). Esta flexibilidade permite a geração de comportamentos inteiramente novos a partir de dados de movimento existentes.
- Completo: Quando recebe entradas esparsas, como dados de movimento parcial do corpo ou diretivas vagas de alto nível, o MHC pode inferir e gerar de forma inteligente as partes que faltam no movimento. Por exemplo, se apenas os movimentos dos braços forem especificados, o MHC pode gerar autonomamente movimentos correspondentes das pernas para manter o equilíbrio físico e o realismo.
O resultado é um sistema de geração de movimento altamente adaptável que pode criar movimentos suaves, realistas e fisicamente precisos, mesmo com diretivas incompletas ou subespecificadas. Isso torna o MHC best para aplicações em jogos, robótica, realidade digital e qualquer cenário onde seja necessário movimento semelhante ao humano de alta qualidade, mas os dados de entrada sejam limitados.
O impacto do MHC nos modelos de movimento generativo
O Masked Humanoid Controller (MHC) faz parte de um esforço mais amplo da Intel Labs e seus colaboradores para construir modelos generativos de forma responsável, incluindo aqueles que potencializam tarefas de geração de texto para imagem e 3D. Tal como discutido no ECCV 2024, esta abordagem tem implicações significativas para indústrias como a robótica, a realidade digital, os jogos e a simulação, onde a geração de movimentos humanos realistas é essential. Ao incorporar entradas multimodais e permitir que o controlador faça uma transição perfeita entre os movimentos, o MHC pode lidar com condições do mundo actual onde os dados do sensor podem ser ruidosos ou incompletos.
Este trabalho da Intel Labs está ao lado de outras pesquisas avançadas apresentadas no ECCV 2024, como a sua nova defesa para modelos de texto para imagem e o desenvolvimento de técnicas para melhorar a consistência espacial na geração de imagens. Juntos, esses avanços demonstram a liderança da Intel no campo da visão computacional, com foco no desenvolvimento de tecnologias de IA seguras, escaláveis e responsáveis.
Conclusão
O Masked Humanoid Controller (MHC), desenvolvido pela Intel Labs e colaboradores acadêmicos, representa um passo crítico no campo da geração de movimento humano. Ao lidar com o complexo problema de controle de geração de movimentos realistas a partir de entradas multimodais, o MHC abre caminho para novas aplicações em VR, jogos, robótica e simulação. Esta pesquisa, apresentada na ECCV 2024, demonstra o compromisso da Intel em promover a IA responsável e a modelagem generativa, contribuindo para tecnologias mais seguras e adaptáveis em vários domínios.
