Sumário
Com o RawNeRF, os cientistas do Google apresentam uma nova ferramenta para síntese de imagem que pode criar cenas 3D bem iluminadas a partir de fotos 2D escuras.
No verão de 2020, uma equipe de pesquisa do Google apresentou pela primeira vez “Campos de radiação neural” (NeRF) : Simplificando, um sistema de IA reconhece onde os raios de luz terminam nas imagens. Com base nisso, o sistema pode criar automaticamente uma cena 3D a partir de várias fotos da mesma cena 2D. Imagine uma espécie de fotogrametria automatizada que reduz o esforço manual e o número de fotos enquanto gera cenas 3D flexíveis e personalizáveis de alta qualidade.
Nos últimos dois anos, as equipes do Google demonstraram regularmente novos casos de uso para NeRFs, como para Visualização Imersiva do Google Maps ou para renderizar Street View em 3D com base em fotografias e dados de profundidade.
RawNeRF processa imagens RAW
Com o RawNeRF, a equipe de pesquisa em torno do pesquisador de IA Ben Mildenhall agora apresenta um NeRF que pode ser treinado com dados de câmera RAW. Esses dados de imagem contêm toda a faixa dinâmica de uma cena.
De acordo com a equipe de pesquisa, graças ao treinamento de dados RAW, o RawNERF pode “reconstruir cenas de imagens extremamente ruidosas capturadas na quase escuridão”. Além disso, o ponto de vista da câmera, o foco, a exposição e o mapeamento de tom podem ser alterados após o fato.
“O treinamento direto em dados brutos transforma efetivamente o RawNeRF em um denoiser multi-imagem capaz de combinar informações de dezenas ou centenas de imagens de entrada”, escreve a equipe.
Se você ainda está na CVPR e tem resistência para passar por outra sessão de pôsteres, confira o RawNeRF amanhã de manhã! Exploramos o fato de que o NeRF é surpreendentemente robusto ao ruído da imagem para reconstruir cenas diretamente dos dados brutos do sensor HDR. pic.twitter.com/CEeXWSmt9Q
– Ben Mildenhall (@BenMildenhall) 24 de junho de 2022
você pode baixar RawNeRF do Github . Lá você também encontra Mip-NeRF 360 que pode renderizar cenas 3D fotorrealistas a partir de filmagens em 360 graus e Ref-NeRF .