Sumário
HumanRF traz avatares 3D de alta resolução para NeRFs. Por trás disso está uma startup de IA para mídia sintética.
Neural Radiance Fields (NeRFs) aprendem representações 3D de fotos ou vídeos e podem renderizar objetos individuais ou cenas inteiras. Algumas variantes são especializadas em mover cenas ou objetos, outras experimentam recursos de edição e outros tentam renderizar pessoas fotorrealisticamente. Os NeRFs são considerados uma das tecnologias de IA que desempenharão um papel importante em gráficos 3D, videoconferência ou, no futuro, no metaverso.
Pesquisadores da startup de IA de mídia sintética Synthesia UCL London e TU Munich agora apresentam HumanRF, um método para aprender NeRFs de alta resolução de humanos em movimento.
ActorsHQ é um conjunto de dados de resolução de 12 MP de pessoas em movimento.
A equipe está treinando o HumanRF em seu próprio conjunto de dados. ActorsHQ consiste em 39.765 quadros de movimento humano dinâmico capturados usando vídeo multivisualização. A equipe usou um sistema proprietário de aquisição multicâmera combinado com uma matriz de LED para iluminação global. O sistema de câmeras consiste em 160 câmeras Ximea de 12 MP operando a 25 quadros por segundo e uma matriz de iluminação de 420 LEDs.
Como resultado, o ActorsHQ fornece dados com resolução muito maior do que os conjuntos de dados mais antigos, que atingem uma resolução máxima de 4 MP. O conjunto de dados contém quatro mulheres e quatro homens realizando 20 movimentos selecionados aleatoriamente.
HumanRF pode aprender longas sequências de movimentos em alta qualidade
Com o HumanRF, a equipe apresenta um método NeRF que captura esses dados de alta resolução e obtém reconstruções temporalmente consistentes de atores humanos, mesmo para sequências longas, ao mesmo tempo em que exibe detalhes de alta resolução. A equipe é inspirada pelo Nvidia Instant-NGP mas adiciona uma dimensão de tempo às codificações usadas lá.
Os resultados são impressionantes, e a equipe espera que o HumanRF e o conjunto de dados ActorsHQ, que também foi lançado, permitam mais avanços na reconstrução fotorrealista de humanos virtuais. No futuro, a equipe planeja explorar métodos para controlar a articulação dos atores treinados. Isso poderia permitir que a Synthesia desenvolvesse seus próprios produtos, de simples gravações 2D a avatares 3D dinâmicos.
A equipe planeja disponibilizar o código e o conjunto de dados no Site do projeto HumanRF. Mais informações e exemplos podem ser encontrados lá.