Sumário
Neural Radiance Fields (NeRFs) podem renderizar cenas 3D fotorrealistas de fotos e vídeos. A ferramenta de código aberto Nerfstudio facilita a introdução à nova tecnologia de visualização.
Os métodos de gráficos neurais estão se desenvolvendo rapidamente. Empresas como a Nvidia estão apostando nelas e investindo em Métodos de renderização baseados em IA, como DLSS e hardware correspondente.
Quando se trata de renderizar conteúdo 3D, os Neural Radiance Fields (NeRFs) são considerados candidatos importantes para uma tecnologia de renderização chave do futuro. Os NeRFs são redes neurais que aprendem uma representação 3D de uma cena a partir de imagens 2D e, em seguida, podem renderizá-la a partir de novos pontos de vista.
Vídeos, por exemplo, podem ser transformados em cenas 3D fotorrealistas, ou fotos de objetos individuais podem ser transformadas em renderizações 3D individuais e realistas .
Nvidia, Google, Deepmind e Meta investem em NeRFS
Ultimamente, Nvidia, Google e Meta revelaram métodos NeRF cada vez mais rápidos e melhores que permitem retratos 3D e poderia um dia revolucione o Street View ou transferir objetos mais rapidamente para o metaverso. O Google já usa uma variante da tecnologia em Visualização imersiva do Google para mapas do Google.
Semelhante a outras tecnologias de IA, o acesso aos NeRFs até agora foi limitado pelos altos requisitos de poder de computação e pela falta de ferramentas acessíveis. Um grupo de pesquisadores lançou agora Nerfstudio uma biblioteca Python que fornece um processo simplificado de ponta a ponta para criar, treinar e visualizar NeRFs.
Lançamento do ?nerfstudio?, uma biblioteca python plug-and-play para criar facilmente seus próprios NeRFs! @nerfstudioteam é um repositório de código aberto amigável para contribuidores com um visualizador da Web em tempo real que facilita a criação de vídeos legais ️https://t.co/zw0ZPqIZ4chttps://t.co/NZM8GPjNrF #nerfstudio 1/ pic.twitter.com/hmTz8ePjW1
– Angjoo Kanazawa ?? (@akanazawa) 5 de outubro de 2022
Nerfstudio torna mais fácil começar com NeRFs
Cada etapa na criação de NeRFs é modularizada no Nerfstudio, escreve a equipe. O software foi projetado para fornecer uma experiência amigável ao explorar a tecnologia. Além da API e de uma interface web limpa, o Nerfstudio oferece tutoriais e documentação.
Para começar, o grupo recomenda ganhar experiência inicial com o NeRF incluído de uma cena de Lego criada no Blender. Posteriormente, você pode se aventurar no treinamento com suas próprias imagens.
Renderização incrível por @brenthyi ! Capturado em um telefone (sem drone envolvido) #nerfacto #NeRF #neuralrendering #IA #computervision #nerfstudio pic.twitter.com/lRegSdfNTa
– nerfstudio (@nerfstudioteam) 13 de outubro de 2022
O Nerfstudio ainda requer conhecimento rudimentar de código – e algum tempo e disposição para ler os manuais. Porque, semelhante ao início da atual corrida de Stable Diffusion, a preparação de dados, o treinamento e outras etapas devem ser feitas usando código. O treinamento real pode ser seguido no visualizador da Web, onde caminhos de câmera personalizados podem ser inseridos e renderizados em um vídeo fly-through do NeRF.
O código, exemplos e informações estão disponíveis no Nerfstudio github . Instruções e mais ajuda estão disponíveis no Página de documentos do Nerfstudio bem como no Discord do Nerfstudio .