Modelos de imagem de IA geram duplicatas de material de treinamento – estudo

Nota do pesquisador: os modelos de difusão podem reproduzir o material de treinamento, potencialmente criando duplicatas. No entanto, a probabilidade de isso acontecer é baixa, pelo menos para Stable Diffusion.

O fato de que as imagens geradas por IA não podem ser completamente separadas do material de treinamento é rapidamente aparente ao usar vários modelos de IA, devido a marcas d’água desbotadas ou assinaturas de artistas.

Pesquisadores de várias instituições importantes na indústria de IA, incluindo Google, Deepmind, ETH Zurich, Princeton University e UC Berkeley, estudaram Difusão estável e do Google Imagen . Eles descobrem que os modelos de difusão podem memorizar e reproduzir exemplos de treinamento individual.

Mais de 100 imagens de treinamento replicadas com Stable Diffusion

Os pesquisadores extraíram mais de 100 “réplicas quase idênticas” de imagens de treinamento, variando de fotos de identificação pessoal a logotipos protegidos por direitos autorais. Primeiro, eles definiram o que “memorizar” significava neste contexto. Como eles estavam trabalhando com imagens de alta resolução, correspondências únicas não eram adequadas para definir “memorizar”, eles escrevem .

Em vez disso, eles definem uma noção de memorização aproximada com base em várias métricas de semelhança de imagem. Usando o CLIP, eles compararam vetor por vetor as 160 milhões de imagens de treinamento nas quais a Stable Diffusion foi treinada.

103 de 175 milhões de imagens Stable Diffusion podem ser consideradas plagiadas

O processo de extração é dividido em duas etapas:

1. Gere o maior número possível de imagens de exemplo usando os prompts aprendidos anteriormente.
2. Execute a inferência de associação para separar as novas gerações do modelo das gerações que vieram dos exemplos de treinamento armazenados.

A primeira etapa, disseram eles, foi trivial, mas muito computacionalmente intensiva, especialmente com 500 imagens para cada um dos 350.000 prompts de texto. Os pesquisadores os extraíram das legendas das imagens duplicadas com mais frequência no material de treinamento.

Para reduzir a carga computacional, eles removeram mais ruído por etapa de geração, embora a qualidade da imagem fosse prejudicada. Em uma segunda etapa, marcaram as gerações que se assemelhavam às imagens de formação.

No total, eles geraram 175 milhões de imagens dessa forma. Para 103 imagens, eles encontraram uma similaridade tão alta entre a imagem gerada e a original que as classificaram como duplicatas. Então a chance é muito baixa, mas não é zero.

Em Imagen , os pesquisadores seguiram o mesmo procedimento do Stable Diffusion, mas para reduzir a carga computacional, eles selecionaram apenas os 1000 prompts duplicados com mais frequência. Para estes, geraram novamente 500.000 imagens, 23 das quais eram semelhantes ao material de treinamento.

“Isso é significativamente maior do que a taxa de memorização na Stable Diffusion e demonstra claramente que a memorização nos modelos de difusão é altamente dependente das configurações de treinamento, como tamanho do modelo, tempo de treinamento e tamanho do conjunto de dados”, concluíram. De acordo com a equipe, o Imagen é menos privado do que o Stable Diffusion para imagens duplicadas e não duplicadas no conjunto de dados.

De qualquer forma, os pesquisadores recomendam a limpeza de conjuntos de dados duplicados antes de treinar a IA. Eles dizem que isso reduz, mas não elimina, o risco de criar duplicatas.

Além disso, o o risco de duplicatas aumenta para pessoas com nomes ou aparências incomuns, eles dizem. Por enquanto, a equipe não recomenda o uso de modelos de difusão em áreas onde a privacidade é uma preocupação maior, como a área médica.

Estudo alimenta debate sobre IA e direitos autorais

A semelhança entre imagens geradas com modelos de difusão e os dados de treinamento é de particular interesse no contexto do atual debate sobre direitos autorais entre a Getty Images e vários artistas .

Os modelos de difusão são a base de todos os modelos de imagem de IA relevantes hoje, como meio da jornada , DALL-E 2 , e apenas Stable Diffusion. Os geradores de imagens de IA também foram criticados por incluir dados confidenciais nos dados de treinamento, que podem ser recuperados posteriormente por prompts. A Stable Diffusion já anunciou que futuramente planeja usar conjuntos de dados de treinamento com conteúdo licenciado e oferecer uma opção de exclusão para artistas que não desejam contribuir para o treinamento de IA.

A estudo publicado em dezembro de 2022 chegou a uma conclusão semelhante sobre os modelos de difusão como o estudo descrito neste artigo. Os modelos de difusão “copiariam descaradamente” seus dados de treinamento. Embora os pesquisadores deste estudo tenham examinado apenas uma pequena parte do conjunto de dados LAION-2B, eles ainda encontraram cópias.