How to generate photorealistic images with DALL-E 2

Como gerar imagens fotorrealistas com DALL-E 2

por

Em primeiro lugar: Sim, com o DALL-E você pode obter imagens fotorrealistas impressionantes. Mas a pergunta é: o que você entende pelo termo “fotorrealismo”?

Autor: Vladimir Alexeev

Nossa percepção é supersaturada pela mídia. Nossas expectativas podem abranger “a mesma qualidade da vida real”. Mas isso é, cá entre nós, uma grande mentira. Uma boa fotografia não transfere a realidade da “vida real” para o papel fotográfico ou arquivo digital. Em vez disso, é uma realidade encenada: um ângulo específico, iluminação, lente, etc.

Resumindo, o que você vê não é a “realidade”; em vez disso, é uma interpretação de uma fotografia.

Com o DALL-E 2, obtemos uma interpretação artificial do nosso mundo. Para ficar simples e superficial aqui, vamos segmentar o fotorrealismo em

  • Emulando a realidade: abordagem para trazer uma imagem de forma mais convincente (alinhando-se com as expectativas e experiências dos espectadores)
  • Emulation Medium: meta-abordagem para simular diferentes técnicas fotográficas, câmeras e estilos.

Uma Lomografia realista não parece fotorrealista, mas deve nos convencer de seu “realismo”. E DALL-E pode fazê-lo.

Emulando a realidade: o que há em um prompt?

Se você inserir um prompt de conteúdo sem nenhum modificador e esse conteúdo tiver um caráter relativamente objetivo ou figurativo, você já obterá imagens fotorrealistas.

Por exemplo, inserindo “Um Apple ” obterá uma série de imagens fotorrealistas da maçã. Nem mais nem menos.

De fato, se você adicionar o modificador “by Magritte”, este suplemento mudará drasticamente todo o caráter do prompt:

As coisas ficarão complicadas se você tentar criar imagens paradoxais, que sem dúvida não estavam no conjunto de dados do treinamento DALL-E, como: Um gato dirigindo uma bicicleta.

1675118237 666 Como gerar imagens fotorrealistas com DALL E 2

Aqui você vê como o DALL-E tenta reproduzir seu prompt, mas falha. Você pode ajudar a IA adicionando um modificador de artista: Um gato dirigindo uma bicicleta, uma ilustração de Michael Sowa.

O antropomorfismo de animais é típico para ilustrações de livros, portanto, essa tarefa é fácil para DALL-E com o modificador apropriado.

1675118238 203 Como gerar imagens fotorrealistas com DALL E 2

Claro, tudo é possível — e com o prompt certo, você pode criar uma fotografia de um gato dirigindo uma bicicleta, por exemplo, adicionando um modificador correcional “mas como fotografia”: Um gato dirigindo uma bicicleta, uma ilustração de Michael Sowa, mas como fotografia.

1675118239 328 Como gerar imagens fotorrealistas com DALL E 2

Agora, mesmo que não totalmente, quase alcançamos o fotorrealismo de nossa visão exigida:

  • Criamos um conteúdo (gato de bicicleta)
  • Nós o deixamos fantasiar sobre situações absurdas e irreais por meio de um truque de “ilustração”
  • Trouxemos essa visão estranha de volta aos reinos “fotográficos” pelo modificador final.

Mas e o fotorrealismo? Sobre a emulação da Realidade?

A magia da lente

Os usuários do DALL-E trocam ideias, observações e experiências em nosso Discord. Uma das descobertas interessantes da comunidade DALL-E Discord foi a seguinte: se você adicionar especificações de lente como modificadores, obterá imagens especialmente “fotorrealistas”, típicas de sessões fotográficas com essas especificações.

Ou o conjunto de dados de treinamento para DALL-E foi muito bem rotulado ou até mesmo considerou metadados nos arquivos de imagem. Aqui estão exemplos de lentes (obrigado, Sharif).

Observação: devido às regras da OpenAI, não publicamos retratos humanos fotorrealistas. Mas podemos fazê-lo com animais e objetos.

Sigma 85 mm f/1.4 – boa para uma lente de retrato

  • Um retrato de um cachorro em uma biblioteca, Sigma 85 mm f/1.4.
  • Uma maçã mordida pendurada no galho de uma macieira, Sigma 85 mm f/1.4
  • Um copo plástico na calçada de uma cidade grande, Sigma 85 mm f/1.4
Como gerar imagens fotorrealistas com DALL E 2

É assim que o fotorrealismo se parece. Você pode literalmente ver cada pelo do pelo do cachorro. E o fundo da biblioteca é um lindo bokeh.

Sigma 85 mm f/8 – menos profundidade de campo e fundo mais nítido (menos bokeh)

  • Um retrato de um cachorro em uma biblioteca, Sigma 85 mm f/8
  • Uma maçã mordida pendurada no galho de uma macieira, Sigma 85 mm f/8
  • Um copo plástico na calçada de uma cidade grande, Sigma 85 mm f/8
1675118240 994 Como gerar imagens fotorrealistas com DALL E 2

Observe como o fundo está brilhando através do copo de plástico translúcido.

Sigma 24 mm f/8 – ângulo mais amplo, distância focal menor

  • Um retrato de um cachorro em uma biblioteca, Sigma 24 mm f/8
  • Uma maçã mordida pendurada no galho de uma macieira, Sigma 24 mm f/8
  • Um copo plástico na calçada de uma cidade grande, Sigma 24 mm f/8
1675118241 749 Como gerar imagens fotorrealistas com DALL E 2

Sigma 24 mm f/8, velocidade do obturador de 1/10 s – desfoque de movimento, velocidade do obturador mais lenta

Se você deseja capturar alguém em movimento, esta é a configuração certa.

  • Cachorro correndo em uma biblioteca, Sigma 24 mm f/8, velocidade do obturador de 1/10 s
  • Uma maçã mordida esvoaça ao vento forte no galho de uma macieira, em motion blur, Sigma 24 mm f/8, 1/10 seg.
  • Um copo de plástico é levado pelo vento na calçada de uma cidade grande, Sigma 24 mm f/8, 1/10 seg.
1675118242 818 Como gerar imagens fotorrealistas com DALL E 2

Curiosamente, DALL-E hesitou em desfocar a maçã, então temos que adicionar explicitamente “in motion blur” para mais movimento. Provavelmente não havia muitas imagens desfocadas da maçã no conjunto de dados (uma vez que as classificamos anteriormente como “falha na foto”).

Velocidade do obturador Sigma 24 mm f/8 1/1000 seg – movimento, mas imagem nítida – com velocidade do obturador mais lenta

  • Cão correndo em uma biblioteca, Sigma 24 mm f/8 1/1000 seg. obturador
  • Uma maçã mordida, capturada no momento da queda, Sigma 24 mm f/8, obturador de 1/10 seg
  • Copo plástico com líquido sendo capturado no momento em que é virado pelo vento na calçada de uma cidade grande, Sigma 24 mm f/8, obturador 1/1000 seg
1675118242 245 Como gerar imagens fotorrealistas com DALL E 2

Curiosamente, no caso da imagem do cachorro, aqui vemos um fenômeno de desintegração — a imagem é nítida, mas perde seu fotorrealismo.

Procurar os metadados de uma foto pode trazer mais ideias sobre como obter a qualidade desejada. Por exemplo, usando esta configuração arquitetônica, você pode recriar fotos de interiores convincentes:

Interior de um apartamento luminoso com estantes, quadros e janelas com vista para a megapolis, Nikon D810 | ISO 64 | distância focal 20 mm (Voigtländer 20 mm f3.5) | abertura f/9 | tempo de exposição 1/40 seg (DRI)

1675118243 223 Como gerar imagens fotorrealistas com DALL E 2

Encontrando as configurações certas

Usando coleções de fotos populares como Unsplash ou Flickr, você pode aprender mais sobre as configurações, pois os metadados estão sempre incluídos na descrição da imagem. Um exemplo é este foto maravilhosa do japonês Momiji .

De acordo com o Flickr, as seguintes configurações da câmera estavam em uso: Autumn Momiji, Nikon D810, ƒ/2.5, distância focal: 85,0 mm, tempo de exposição: 1/800, ISO: 200

Então, vamos tentar reproduzir o motivo e as configurações:

1675118244 840 Como gerar imagens fotorrealistas com DALL E 2

Ou vamos criar uma foto com pessoas dançando, como nesta foto . Pessoas dançando à noite, vistas de trás, pôr do sol, Canon EOS 1000D, ƒ/3.5, distância focal: 18,0 mm, tempo de exposição: 1/5, ISO 400, flash ligado.

1675118245 671 Como gerar imagens fotorrealistas com DALL E 2

trilhas leves

Se você deseja criar uma foto noturna de um carro com faixas de luz, precisa trabalhar com ISO: Um carro passa pelo fotógrafo à noite com luzes, visto de fora, 24 mm, f8, 1,6 s, ISO 1000.

1675118246 51 Como gerar imagens fotorrealistas com DALL E 2

Teleobjetiva? Mas é claro! Esta bela lua foto foi tirada com as seguintes configurações. Vamos tentar torná-lo mais interessante e adicionar um pássaro. Foto de uma lua com um pássaro voando em primeiro plano, Canon EOS Digital Rebel XTi, 100-300 mm Canon f/5.6, tempo de exposição: 1/160, ISO 400

1675118246 129 Como gerar imagens fotorrealistas com DALL E 2

Você pode experimentar infinitamente diferentes lentes, aberturas e valores ISO. O principal é a sua ideia e conceito de como e como deve ser.

luz de estúdio

Outro grande truque é usar o modificador Studio Light. Vamos apenas comparar o prompt “One apple” e o prompt “One apple, studio light”.

1675118247 145 Como gerar imagens fotorrealistas com DALL E 2

Todo objeto ridículo e chato (desculpe, Apple ) torna-se profundo e visualmente impressionante.

1675118248 824 Como gerar imagens fotorrealistas com DALL E 2

Suponho que, no conjunto de dados, havia tantas fotografias de estúdio que DALL-E sabe como criar uma imagem perfeita. Ainda estamos no começo. Como você pode ver, o DALL-E pode reproduzir imagens “fotorrealistas” de maneiras muito variadas e interessantes (no sentido de “realidade emulada”). Para mais atualizações sobre IA e arte, confira Merzmensch Kosmopol no Twitter .

Artigos Relacionados