Sumário
O Google mostra ruas renderizadas por IA. Eles poderiam ajudar carros autônomos a encontrar seu caminho e ativar o Google Maps Street View em 3D em tempo real.
Neural Radiance Fields (NeRFs) são uma das inúmeras tecnologias de IA que podem um dia substituir as abordagens clássicas de renderização. Os NeRFs são redes neurais que podem aprender representações de objetos e cenas 3D de várias fotos e, em seguida, renderizá-las em 3D em tempo real a partir de vários pontos de vista.
Pesquisadores do Google demonstraram diversos avanços nos últimos dois anos, como visualizações extremamente detalhadas de pontos de referência ou renderização em tempo real de NeRFs que, de outra forma, exigiriam vários segundos de computação por imagem (veja o vídeo abaixo).
A Nvidia também está pesquisando NeRFs e revelou recentemente Instant-NGP um método que acelera bastante o treinamento de IA de redes neurais que, de outra forma, exige muito tempo e computação. Inteligência artificial está se tornando cada vez mais uma alternativa para os métodos de renderização tradicionais.
Bloco NeRF renderiza extensa cena 3D pela primeira vez
Até agora, no entanto, os NeRFs foram usados apenas para renderizar objetos ou salas individuais. Agora, o Google está demonstrando uma abordagem com Block-NeRF que pode renderizar a maior cena 3D já renderizada com IA: Alamo Square em San Francisco, composta por oito ruas.
Isso é possível graças a uma rede de múltiplos NeRFs, cada um responsável por um quarteirão separado na cidade. A divisão separa o tempo de renderização do tamanho da cena, permite escalar para ambientes de qualquer tamanho e permite atualizações por bloco para alterações como canteiros de obras.
Os carros da câmera fornecem dados de treinamento
Os NeRFs de bloco foram treinados com quase 2,8 milhões de imagens capturadas ao longo de três meses por carros equipados com câmeras. As diferentes condições de iluminação e clima das gravações permitem que as redes NeRF exibam as cenas da estrada também em diferentes condições.
Pedestres, carros e outros objetos em mudança são automaticamente filtrados pelo sistema durante o treinamento de IA. No entanto, as sombras dos veículos ainda são visíveis em algumas imagens, e a mudança da vegetação resulta em árvores e arbustos desbotados ao longo da estrada.
Os NeRFs individuais foram treinados entre nove e 24 horas em 32 chips TPUv3 fabricados pelo Google. A renderização de uma imagem de 1200 por 900 Pixels de um único NeRF leva 5,9 segundos.
NeRFs de vários blocos podem renderizar em paralelo, o que é necessário em algumas cenas em que os blocos se sobrepõem. A renderização à distância também está desbotada. No entanto, melhorias já estão planejadas, disse a equipe.
NeRFs podem habilitar Google Maps Street View em 3D
O Google cita o treinamento de veículos autônomos ou outros robôs, bem como suporte para mapeamento aéreo, como aplicações potenciais para NeRFs de bloco. O projeto foi desenvolvido em parceria com Empresa Waymo da Alphabet especializada em direção autônoma.
Os ambientes 3D detalhados podem ser usados, por exemplo, para planejar e testar rotas. No futuro, NeRFs adicionais também podem representar dinamicamente veículos individuais na cena renderizada para simular o tráfego, disse a equipe.
O Google também planeja incorporar melhorias de treinamento e tempo de renderização no Block NeRF, tornando-o muito mais eficiente em termos de energia e mais rápido para renderizar ruas inteiras. Isso pode abrir novos casos de uso para Block-NeRFs, como uma variante 3D do serviço Street View do Google no Google Maps.
Existem mais exemplos de renderização no Página do projeto Waymo para Block-NeRF .
Leia mais sobre Inteligência Artificial:
- Deepmind: MuZero economiza muito dinheiro para o Google
- GT Sophy: Sony treinou “IA sobre-humana” para Gran Turismo
- Vigilância AI: rastreamento por drone se aproxima