Sumário
O PHORUM AI do Google mostra como avatares 3D impressionantes podem ser criados a partir de uma única foto.
Digitalizações 3D de alta qualidade prontamente disponíveis de pessoas têm inúmeras aplicações, como processamento de imagem, varejo on-line para provas virtuais, telepresença e, é claro, como avatares digitais no metaverso para AR e VR.
Até agora, no entanto, esses modelos dependiam de escaneamento automático complexo por um sistema multicâmera, criação manual por artistas ou uma combinação de ambos. Mesmo os melhores sistemas de câmera ainda produzem artefatos que devem ser limpos manualmente.
Inteligência artificial deve simplificar este processo e permitir avatares 3D de alta qualidade de algumas ou mesmo apenas uma única foto. Para conseguir isso, os modelos correspondentes precisam reconstruir a geometria 3D e várias propriedades de superfície, como cor, refletividade, sombreamento ou vetores normais.
PHORUM do Google supera modelos alternativos de IA
Vários projetos tentam essa tarefa, mas não fornecem todas as propriedades de superfície relevantes e muitas vezes ainda dependem de módulos individuais no processo que não são aprendidos.
Pesquisadores do Google agora estão demonstrando PÓRUM, um sistema para reconstruir avatares 3D a partir de uma única fotografia. O PHORUM é um sistema de IA treinável de ponta a ponta e calcula várias propriedades, como albedo (brilho de um corpo) e informações de sombreamento que sistemas alternativos ignoraram no passado.
O PHORUM foi treinado usando uma mistura de imagens computadas contra um fundo de imagem HDR e malhas associadas. No total, a equipe usou 217 varreduras de pessoas em várias poses, roupas e, ocasionalmente, segurando bolsas ou outros objetos. Com modificações adicionais, como cores diferentes para roupas, o conjunto de dados inclui quase 190.000 imagens.
O PHORUM produz resultados mais realistas do que métodos alternativos como PIFu e adiciona detalhes de roupas que não são visíveis, como a parte de trás de um par de calças. Devido às inúmeras propriedades de superfície cocalculadas, os avatares 3D também podem ser inseridos em novos ambientes digitais. Por exemplo, a iluminação da nova imagem pode ser transferida para o avatar 3D, que pode ser inserido em uma foto de grupo.
Sistemas como o PHORUM precisam de mais dados
Os avatares 3D reconstruídos pelo PHORUM também podem ser animados posteriormente – o sistema de IA também teria o potencial de simplificar o trabalho com digitalizações 3D para CGI e videogames.
O PHORUM ainda tem limitações na reconstrução de roupas largas, muito grandes e não ocidentais, disseram os pesquisadores. Em alguns casos, as costas e a frente de uma pessoa digital não combinam. Por exemplo, uma calça tem um tecido diferente na frente e atrás. Esses problemas podem ser resolvidos com conjuntos de dados mais geograficamente e culturalmente diversos, dizem os pesquisadores.
Além disso, a resolução dos avatares 3D gerados é bastante baixa – por exemplo, as imagens de treinamento têm uma resolução de 512 por 512 Pixels e os resultados têm uma resolução semelhante. Assim, uma aplicação prática do PHORUM na indústria atualmente não é uma opção.
Mas a tecnologia provavelmente pode alcançar melhor qualidade de imagem no futuro, por exemplo, com upscalers de IA, melhores dados de treinamento e outras arquiteturas. Um desenvolvimento semelhante pode ser visto com o uso de GANs ou modelos de difusão como em DALL-E 2 .
Mais detalhes sobre o PHORUM e mais exemplos podem ser encontrados no página do projeto Github .