Sumário
Grandes modelos de linguagem podem simular subpopulações humanas. Por que isso pode ser uma boa notícia para a pesquisa social e útil para a guerra de informação.
Quando você pensa em preconceitos em modelos de IA, imediatamente vêm à mente exemplos negativos de racismo e sexismo automatizados. Nos últimos anos, modelos de linguagem especialmente grandes como o GPT-3 da OpenAI mostraram que são capazes de reproduzir com eloquência os piores preconceitos da humanidade ou até mesmo inventar novos.
Grandes quantidades de texto são coletadas da Internet para treinar os modelos e, apesar da filtragem e de outros métodos, sempre são encontrados vieses nos dados.
No entanto, para um modelo como o GPT-3, que apenas prevê o próximo token em uma série de tokens, a natureza de um viés não faz diferença – inúmeros vieses podem ser encontrados na rede neural. Parece ser um recurso, não um bug. Pesquisadores de IA da TU Darmstadt, por exemplo, mostraram que considerações deontológicas e éticas sobre ações “certas” e “erradas” também podem ser encontradas em modelos de linguagem.
Os vieses GPT-3 do OpenAI são matizados
Pesquisadores da Brigham Young University agora demonstram que o viés algorítmico no GPT-3 é refinado e demograficamente correlacionado. Com o condicionamento adequado, as distribuições de resposta de uma variedade de populações diferentes podem ser replicadas.
Para fazer isso, os autores do artigo usam milhares de histórias sociodemográficas de várias grandes pesquisas nos EUA como entradas para o GPT-3. Juntamente com algumas informações obtidas nas pesquisas, eles fazem as perguntas do modelo GPT-3 e verificam se o sistema de IA gera respostas semelhantes a pessoas reais com dados demográficos semelhantes.
Em um exemplo, por exemplo, eles adicionaram autodescrições de democratas e republicanos fortes ao campo de solicitação e, em seguida, fizeram com que o modelo GPT-3 descrevesse os dois partidos com marcadores.
Eles concluem que seu modelo produz resultados “tendenciosos tanto a favor quanto contra grupos e perspectivas específicos de maneiras que correspondem fortemente aos padrões de resposta humana ao longo de eixos demográficos refinados”.
De acordo com a equipe, as informações contidas no GPT-3 vão muito além da semelhança superficial: “Ele é matizado, multifacetado e reflete a complexa interação entre ideias, atitudes e contexto sociocultural que caracterizam as atitudes humanas”.
GPT-3 como ferramenta para ciências sociais ou guerra de informação?
Modelos de linguagem como o GPT-3 podem, portanto, fornecer uma ferramenta nova e poderosa para melhorar a compreensão dos humanos e da sociedade em uma variedade de disciplinas, disseram os pesquisadores.
Mas eles também alertam para o potencial uso indevido: em conjunto com outros avanços computacionais e metodológicos, as descobertas podem ser usadas para testar grupos humanos especificamente quanto à sua suscetibilidade a desinformação, manipulação ou engano.
Como resume Jack Clark, especialista em IA e editor do boletim informativo Import AI: “A simulação de ciências sociais é legal, mas você sabe que outras pessoas acham isso legal? Guerra de informação facilitada por IA de espectro total! Como modelos como o GPT3 podem, em alto nível, simular como diferentes populações humanas respondem a certas coisas, podemos imaginar pessoas usando esses modelos para simular guerra de informação em larga escala e operações de influência, antes de realizá-las na internet”.