Sumário
O PAC-NeRF demonstra como os NeRFs podem aprender a estrutura geométrica e as propriedades físicas dos objetos a partir do vídeo.
Os campos de radiância neural (NeRFs) são uma poderosa tecnologia de renderização baseada em IA que pode ser usada para produção de vídeo, reconstrução 3D e outras tarefas. Eles aprendem a representar e renderizar a estrutura geométrica e iluminação de cenas e objetos de vídeo. Mas ainda há limitações: as cenas são estáticas e não representam as propriedades físicas dos objetos.
Pesquisadores da UC Los Angeles, University of Maryland, MIT CSAIL, Columbia University, UMass Amherst e o MIT-IBM Watson AI Lab estão agora levando os NeRFs um passo adiante: PAC-NeRF (Physics Augmented Continuum Neural Radiance Fields) aprende os campos geométricos estrutura e propriedades físicas dos objetos. Isso permite que a rede represente cenas dinâmicas e as propriedades físicas aprendidas possam ser usadas para outros pipelines no futuro.
Vídeo à esquerda, centro PAC-NeRF, reconstrução de partículas à direita. | Vídeos: Li et al.
PAC-NeRF segue as leis de conservação da mecânica contínua
Os pesquisadores estão desenvolvendo uma arquitetura para o PAC-NeRF que obriga a rede a seguir as leis de conservação da mecânica contínua durante o treinamento. Dessa forma, a equipe garante que o NeRF modele apenas estados fisicamente plausíveis. A representação usada “combina perfeitamente a renderização neural eficiente com o método de ponto material (MPM) para simulação robusta de física diferenciável”.
O PAC-NeRF pode representar objetos com propriedades de fluidos newtonianos e não newtonianos, bem como materiais elásticos, plasticina ou areia. Atualmente, treinar uma malha leva 1,5 horas em uma GPU Nvidia 3090, renderizar uma imagem leva cerca de um segundo. A equipe vê seu próprio método como significativamente superior às abordagens mais antigas que renunciam ao aprendizado da estrutura geométrica ou não incorporam as leis físicas.
O PAC-NeRF deve ser capaz de modelar mais materiais no futuro
A equipe vê a necessidade atual de ângulos de câmera fixos com câmeras sincronizadas e calibradas como uma limitação. Além disso, a cena deve ter um fundo simples e facilmente removível. A maioria dos exemplos mostrados, portanto, usa filmagens de uma simulação física, mas também há um exemplo do mundo real.
Vídeo à esquerda, centro PAC-NeRF, reconstrução de partículas à direita. | Vídeo: Li et al.
No futuro, a equipe planeja estender a estrutura do MPM usada para treinar objetos com outras propriedades físicas, como tecido, materiais rígidos ou simulações de corpos conjuntos.
Mais exemplos estão disponíveis no página do projeto PAC-NeRF.