RecolorNeRF pode alterar a cor de objetos ou iluminação em NeRFs. Isso permite um processamento de imagem fácil para cenas 3D fotorrealistas.
Os Campos de Radiância Neural aprendem representações 3D de uma cena, substituindo métodos mais antigos, como a fotogrametria. Uma vez aprendida, a cena pode ser renderizada de diferentes ângulos ou exportada como um objeto 3D.
Pesquisadores da Universidade de Hong Kong e da Universidade de Hong Kong (Shenzhen) apresentam agora o RecolorNeRF, um método para alterar seletivamente as cores na rede neural.
Photoshop básico para NeRFs
De acordo com a equipe, RecolorNeRF é a primeira abordagem que pode modificar diretamente NeRFs fotorrealistas em alta qualidade. Os pesquisadores dividem a cena em diferentes camadas em uma paleta de cores aprendida, que eles podem modificar. Dessa forma, eles podem editar o NeRF diretamente e depois renderizar a cena como de costume.
No artigo, a equipe mostra que o método produz resultados realistas mesmo em cenas complexas do mundo real. Por exemplo, RecolorNeRF muda a cor de um carro ou a grama verde atrás do carro.
Análise semântica para processamento NeRF complexo
O RecolorNeRF fornece uma maneira fácil de alterar as cores em um NeRF. Porém, como as camadas são decompostas apenas no nível da cor, o método modifica a cor de todos os objetos que possuem a mesma cor. Atualmente, não é possível alterar apenas um único objeto.
Ainda assim, métodos como o RecolorNeRF mostram o potencial dos NeRFs no mundo da computação gráfica. No futuro, será possível um processamento NeRF mais complexo.
A equipe chinesa também está planejando melhorias para o RecolorNeRF: a segmentação semântica pode decompor a cena em várias camadas com base em informações semânticas em vez de apenas uma paleta de cores, permitindo o processamento direcionado de objetos individuais no futuro.
Mais exemplos e o código estão disponíveis no página do projeto RecolorNeRF .