Uma organização pró-chinesa supostamente usou avatares com inteligência artificial para espalhar propaganda online.
Isso foi relatado pela Graphika, uma empresa especializada em análise baseada em IA de comunidades online. De acordo com o relatório, a organização pró-chinesa “Spamouflage”, supostamente especializada em operações de spam, “quase certamente” distribuiu pela primeira vez conteúdo de vídeo com avatares de IA no Facebook, Twitter e YouTube, entre outros sites, no final de novembro de 2022. Esses vídeos foram “quase certamente” criados usando o software de vídeo AI do provedor Synthesia, com sede no Reino Unido.
Âncoras falsas em um estúdio de notícias falsas
Especificamente, de acordo com a Graphika, a Spamouflage distribuiu dois vídeos apresentando um âncora masculino e feminino sob a marca de mídia “Wolf News” (veja a imagem da capa). Diz-se que a Spamouflage distribuiu conteúdo sob esta marca no passado.
Os âncoras “Anna” e “Jason” são baseados em gravações originais de atores, com as vozes originais substituídas por vozes sintéticas em vários idiomas, e os lábios e expressões faciais adaptados ao idioma e declarações usando tecnologia AI.
O ator e a atriz podem ser vistos em inúmeros outros vídeos online criados por empresas que utilizam o serviço Synthesia.
Propaganda deepfake
Os vídeos de propaganda usam uma composição de imagens de arquivo e notícias de fontes online e são narrados por vozes sintéticas. Por exemplo, os âncoras de notícias da IA falam sobre a repetição hipócrita da retórica vazia contra a violência armada nos EUA e a importância da cooperação EUA-China para a recuperação da economia global, incluindo o papel crucial da China.
os vídeos violar as regras de Synthesia , que afirmam que o serviço de IA está disponível apenas para fins comerciais com estrita moderação. “Conteúdo político, sexual, pessoal, criminal e discriminatório não é tolerado ou aprovado”, afirma o site.
Acreditamos que o uso de produtos de IA disponíveis comercialmente permitirá que agentes de operações de influência criem conteúdo enganoso de alta qualidade em maior escala e velocidade. Nas semanas desde que identificamos a atividade descrita neste relatório, vimos outros atores agirem rapidamente para adotar exatamente as mesmas táticas. Mais recentemente, isso envolveu atores não identificados usando as mesmas ferramentas de IA para criar vídeos direcionados a conversas online em Burkina Faso.
Graphika
Se as suspeitas de Graphika estiverem corretas, esta seria a primeira uso confirmado de vídeos deepfake para propaganda política. A vídeo deepfake de Zelenskyy do ano passado também era suspeito de ser manipulado por IA, mas isso não pôde ser verificado até agora.
Recentemente, A OpenAI também alertou contra o uso indevido de IA para propaganda usando grandes modelos de linguagem . Essas campanhas são mais fáceis de escalar com IA e podem até operar em tempo real.
Graphika publicou sua pesquisa no relatório “Deepfake até você conseguir “. Os vídeos deepfake descritos podem ser vistos online em O jornal New York Times . Leia nosso artigo para saber mais sobre a história dos deepfakes .