Sumário
O ChatGPT da OpenAI surpreendeu as pessoas com respostas, reações e soluções convincentes – tanto positivas quanto negativas. A plataforma de codificação Stack Overflow, em particular, experimentou o lado negativo e baniu temporariamente o ChatGPT.
Nós relatamos sobre o aspectos positivos do ChatGPT especificamente sua capacidade de lidar com as consultas do usuário de maneira flexível e contextual, mesmo quando elas vão além da geração de texto.
Mas também há o outro lado: o ChatGPT tem pouca ou nenhuma conexão com o mundo real e, por isso, às vezes gera erros ridículos – que o sistema então apresenta de forma confiante. O exemplo a seguir ilustra isso de forma impressionante.
– Angelo Zuffianò (@Agz5885) 5 de dezembro de 2022
Stack Overflow responde ao spam do ChatGPT
Devido a essa propensão a erros, o Stack Overflow, uma plataforma popular entre os programadores, baniu o ChatGPT até novo aviso. No Stack Overflow, os programadores se reúnem para discutir soluções para problemas de código. Eles costumam citar exemplos de código.
A proibição é temporária e se aplica a todas as áreas do Stack Overflow. A exceção são os textos “sobre mim” nas contas de usuário. A maioria dos conteúdos gerados pelo ChatGPT apareceu nos comentários, escreve a equipe do mod.
Os usuários não têm mais permissão para postar respostas e linhas de código geradas pelo ChatGPT nos comentários. Desde o lançamento do ChatGPT em 1º de dezembro, “um grande número de pessoas está postando muitas respostas (…) (milhares)” de respostas geradas pelo ChatGPT, de acordo com os mods.
Esses comentários teriam que ser lidos em detalhes por uma pessoa experiente para determinar se continham informações falsas. Isso “inundou” a atual infraestrutura de curadoria de qualidade.
É simplesmente muito fácil usar o ChatGPT para gerar respostas que provavelmente estão erradas, mas parecem ser a solução, a equipe do moderador escreve em uma declaração .
“Como a taxa média de obtenção de respostas corretas do ChatGPT é muito baixa, a postagem de respostas criadas pelo ChatGPT é substancialmente prejudicial ao site e aos usuários que estão perguntando ou procurando respostas corretas.”
As próximas etapas serão discutidas com os funcionários e usuários do Stack Overflow.
Os modelos de linguagem grandes são prejudiciais ou úteis? As discussões ficam mais intensas
Uma discussão semelhante sobre a qualidade do conteúdo de grandes modelos de linguagem e especialmente sobre informações falsas geradas por IA vem ocorrendo pelo menos desde a introdução do GPT-2. Naquela época, a OpenAI anunciou que lançaria apenas o modelo de linguagem de forma incremental para evitar a geração em massa de conteúdo falso.
Lançar a versão completa do GPT-2 era “muito perigoso”, disse a empresa em fevereiro de 2019. Hoje, o muito mais poderoso GPT-3 está disponível para todos, e parece que a distopia Fake News ainda não se tornou realidade.
Recentemente, um projeto da Meta foi atingido pelas críticas do LLM: Uma demonstração do Modelo de linguagem científica Galactica teve que ser colocado offline algumas horas após sua apresentação. Havia protestos vocais da comunidade de pesquisa de que a Galactica publicou informações falsas com alto grau de convicção e também a associou a citações parcialmente inventadas.
Os defensores dos modelos de linguagem grandes argumentam que esses problemas podem ser resolvidos principalmente por meio de testes práticos. Além disso, eles argumentam, os modelos são autocompletar poderosos que não foram inventados para substituir os humanos, que ainda teriam que realizar verificações e inferências.
A decisão do Stack Overflow contra o conteúdo do ChatGPT, de todas as coisas de uma plataforma de codificação cujo público-alvo deve estar aberto a essas inovações, fortalece as posições dos críticos do sistema. Considerando o rápido desenvolvimento de modelos de linguagem, no entanto, é apenas um instantâneo.