Sumário
A nova IA gráfica do Google renderiza cenas 3D fotorrealistas a partir de filmagens em 360 graus e permite que os NeRFs sejam usados em configurações do dia a dia.
Neural Radiance Fields (NeRFs) são redes neurais artificiais que podem aprender uma representação volumétrica de um objeto a partir de uma série de imagens e também renderizar esse objeto a partir de novos pontos de vista. Para renderizações fotorrealistas, os NeRFs contam com uma técnica semelhante ao traçado de raios.
A tecnologia fez grandes avanços recentemente: ela cria cenas impressionantes, renderiza cada vez mais rápido e pode ser treinada mais rapidamente. Os pesquisadores da Nvidia, portanto, veem cada vez mais inteligência artificial como um alternativa real aos métodos tradicionais de renderização .
NeRFs têm problemas com cenas complexas
Mas os resultados mais impressionantes até agora vieram de modelos fotográficos que podem ser renderizados sem fundo ou objetos reais mostrados em um espaço confinado a partir de um ângulo de visão relativamente estável.
Para cenas “ilimitadas”, onde a câmera pode apontar em qualquer direção e o conteúdo pode estar a qualquer distância – ou seja, cenas 3D completas comparáveis a um jogo de computador – os NeRFs falharam até agora.
O fundo desfocado pode ser visto na borda dos vídeos. | Vídeo: Google
Nesses casos, os sistemas de IA produzem renderizações borradas e de baixa resolução e exibem artefatos de imagem porque não aprendem corretamente a escala de objetos próximos e distantes.
Portanto, para renderizar objetos do mundo real que estão na frente de fundos naturais, como um jardim, os NeRFs são adequados apenas se a câmera não se mover ao redor do objeto, mas apontar firmemente na mesma direção.
Mip-NeRF 360 renderiza impressionantes imagens de 360 graus
Os pesquisadores do Google estão demonstrando o mip-NeRF 360, um sistema de IA que permite renderizações em 360 graus de objetos do mundo real com planos de fundo complexos. Para conseguir isso, os pesquisadores melhoraram o método de treinamento, como a aplicação de uma estratégia grosseira para fina que usa intervalos de raios grossos e finos para amostrar a cena.
O resultado são imagens fotorrealistas de 360 graus nas quais detalhes ainda mais finos, como grama ou folhas ao fundo, ainda são visíveis. O Mip-NeRF 360 também gera informações detalhadas de profundidade para cada cena.
Vídeo: Google
As limitações do sistema estão com detalhes muito finos, segundo o Google. A qualidade também diminui quando a câmera está muito longe do centro da cena e o tempo de treinamento é de várias horas, como em muitas outras arquiteturas NeRF.
Mais informações estão disponíveis no mip-NeRF 360 página do projeto.
Leia mais sobre Inteligência Artificial:
- Google Maps: a tecnologia AI permite o Street View 3D
- Nvidia Instant-NGP: os gráficos AI estão em alta
- Inteligência artificial para pilotar caças americanos em 2024