Sumário
Meta IA e Papers with Code responderam às críticas da Galactica: A demonstração permanece offline. Os modelos ainda estão disponíveis para pesquisadores interessados em trabalhar e replicar os resultados do artigo.
O CEO da Meta-IA, Yann LeCun, defendeu o projeto no Twitter, dizendo que o Galactica foi feito para ser uma demonstração, não um produto acabado e não um substituto para o trabalho científico e pensamento por conta própria, mas uma conveniência – muito parecido com um assistente de direção em um carro. .
“Artigos reais conterão ciência nova e interessante. Isso incluirá artigos cujos autores usaram a Galactica para ajudá-los a escrever esses artigos”, escreve LeCun. De acordo com LeCun, o projeto agora está “pausado” .
Debate sobre a interação humana com IA
Em última análise, o debate é menos sobre a incapacidade da Galactica de fornecer resultados precisos o tempo todo. Em vez disso, trata-se do risco de uso indevido quando os humanos adotam os resultados da Galactica sem questionamentos, por exemplo, por conveniência e, assim, consciente ou inconscientemente, aumentam a quantidade e a qualidade da desinformação no processo científico.
Houve debates semelhantes sobre o risco de uso indevido quando o GPT-3 foi introduzido pela primeira vez, por exemplo, no contexto de um possível excesso de notícias falsas. Como resultado, a OpenAI lançou o GPT-3 apenas de forma incremental e hoje emprega vários métodos para reduzir o risco de uso indevido.
No entanto, modelos de linguagem grandes igualmente poderosos estão agora disponíveis como código-fonte aberto. Uma inundação de Fake News impulsionada pela IA parece ainda não ter se materializado.
Os oponentes da Galactica podem objetar que o modelo de linguagem é usado em um contexto acadêmico onde a precisão é particularmente importante. No futuro, no entanto, os pesquisadores podem usar modelos de linguagem regular para apoiar seu trabalho, que por sua vez pode ser ainda menos preciso do que o Galactica. Parar de trabalhar na Galactica não parece uma solução sensata, muito menos definitiva, para o problema delineado.
Artigo original:
Há apenas dois dias, a Meta apresentou o “Galactica”, um grande modelo de linguagem (LLM) treinado com dados científicos. Supõe-se que simplifique a pesquisa científica e agilize as tarefas rotineiras. Alguns cientistas advertem contra o modelo.
Juntamente com a plataforma “Papers with Code”, a Meta AI treinou o grande modelo de linguagem Galactica com 48 milhões de peças de dados científicos, como artigos, livros didáticos e material de referência.
Em benchmarks de raciocínio ou tarefas matemáticas, o Galatica obteve melhores resultados do que outros modelos de linguagem, alguns dos quais maiores. Mas a relevância – principalmente na ciência – está nos detalhes.
A Galactica é uma ameaça para a ciência?
No Twitter, alguns cientistas estão se manifestando, criticando duramente a comunicação da Galactica e da Meta sobre o modelo de linguagem. A Meta AI chamou isso de primeiro passo em direção a uma nova interface para a ciência.
A essência da crítica: como todos os grandes modelos de linguagem, Galactica pode produzir informações falsas de forma convincente. Estes podem estar grosseiramente incorretos ou apenas sutilmente errados, como uma data ou referência incorreta.
PROBLEMA: “Os pesquisadores estão enterrados sob uma massa de papéis, cada vez mais incapazes de distinguir entre o significativo e o inconseqüente.”
SOLUÇÃO: construa um modelo que gere resmas ilimitadas de texto que soe plausível, mas pode conter erros graves @PapersWithCode pic.twitter.com/m88BsSMjTU
— Dan Elton (@moreisdifferent) 16 de novembro de 2022
Gary Marcus chama a Galactica de perigo para a ciência. Se o modelo de linguagem não for interrompido, este seria o “ponto de inflexão em um aumento gigantesco no fluxo de desinformação”, escreve Marcus, chamando-o de “evento histórico”.
Um texto da Wikipedia sobre Marcus gerado pela Galactica continha 85% de informações incorretas, de acordo com o pesquisador, mas foi formulado de forma plausível. Um “sistema de IA decente” poderia verificar essas informações online, mas a Galactica não fornece esse recurso, disse Marcus.
“Isso não é brincadeira. Galactica é engraçado, mas os usos que serão feitos não são.”
Comentários falsos para papéis falsos
Michael Black, diretor do Instituto Max Planck para Sistemas Inteligentes em Tübingen, Alemanha, conduziu seus próprios testes nos quais a Galactica citou artigos inexistentes. Galactica, disse ele, era um projeto de pesquisa interessante, mas não útil para o trabalho científico e perigoso.
“Galactica gera texto que é gramatical e parece real. Este texto se transformará em submissões científicas reais. Será realista, mas errado ou tendencioso. Será difícil de detectar. Isso influenciará a maneira como as pessoas pensam”, escreve Black.
Isso pode levar a uma nova era de “falsificações científicas profundas”, diz ele, na qual os pesquisadores recebem citações de artigos que nunca escreveram. Essas citações falsas seriam então transferidas para outros jornais. “Que bagunça isso vai ser”, escreve Black.
Uma sugestão de possíveis alucinações de IA não é suficiente, diz ele: “A caixa de Pandora está aberta e não seremos capazes de colocar o texto de volta”.
Galactica não é um acelerador para a ciência e nem mesmo é útil como auxiliar de escrita, disse Black. Pelo contrário, distorce a pesquisa e é um perigo.
Se vamos ter artigos científicos falsos, podemos muito bem ter revisões falsas de artigos falsos. E então também podemos ter cartas de referência falsas para acadêmicos falsos que são promovidos a titulares em universidades falsas. Posso então me aposentar, pois não há mais nada para eu fazer.
Michael Black
Crítica fundamental da pesquisa de modelos de linguagem
A linguista Emily Bender, da Universidade de Washington, encontra palavras particularmente fortes. Ela se refere à publicação da Galactica como lixo e pseudociência.
“Os modelos de linguagem não têm acesso à ‘verdade’ ou a qualquer tipo de ‘informação’ além da informação sobre a distribuição de formas de palavras em seus dados de treinamento. E, no entanto, aqui estamos nós. Mais uma vez”, escreve Bender.
Bender e seu colega Chirag Shah já haviam criticado o uso de grandes modelos de linguagem como mecanismos de busca, particularmente os planos do Google nessa área, em um artigo cientifico março 2022 .
A busca baseada em modelos de linguagem pode levar a uma maior proliferação de notícias falsas e maior polarização, argumentam eles, porque um sistema de busca precisa ser capaz de fazer “mais do que combinar ou gerar uma resposta”.
Ele precisa oferecer aos usuários maneiras diferentes de interagir e entender as informações, em vez de “apenas recuperá-las com base em noções programadas de relevância e utilidade”, escrevem os pesquisadores.
Na visão deles, a busca de informações é “uma atividade social e contextualmente situada com um conjunto diversificado de objetivos e necessidades de suporte que não deve ser reduzida a uma combinação de correspondência de texto e algoritmos de geração de texto”.
Críticas semelhantes à Galactica estão se acumulando no Twitter. Meta AI e Papers with Code ainda não comentaram, mas desativaram o recurso de demonstração do site da Galactica.