Stanford DetectGPT e GPTZeroX: novas ferramentas para reconhecimento de texto AI

O texto AI está inundando os sistemas educacionais e a Internet. Ferramentas de reconhecimento confiáveis ​​permitiriam mais controle. Duas dessas ferramentas são DetectGPT e GPTZeroX.

O DetectGPT está sendo desenvolvido por uma equipe de pesquisa da Universidade de Stanford liderada por Eric Mitchell. A ideia é que o texto gerado por um LLM “tende a ocupar regiões de curvatura negativa da função de probabilidade logarítmica do modelo”. Essa propriedade ocorre em muitos modelos de linguagem grandes, dizem os pesquisadores.

Com base nessa observação, a abordagem DetectGPT define um novo critério baseado em curvatura para julgar se uma passagem foi gerada com um LLM com base na reformulação em comparação com o texto original. Simplificando, a geração de linguagem segue um padrão matemático que o DetectGPT pode identificar.

Q rápida:

Como esperamos que a função logarítmica de probabilidade se pareça na vizinhança de uma amostra de modelo?

Nossa hipótese é que as amostras de um modelo geralmente estão em máximos locais de sua função de probabilidade logarítmica ou, mais geralmente, em áreas de curvatura negativa.

Spoiler: são! pic.twitter.com/tu29ZUaLes

– Eric (@_eric_mitchell_) 27 de janeiro de 2023

De acordo com a equipe de pesquisa, seu método classifica o texto AI 95 por cento do tempo nos cenários que eles testaram, superando os métodos de disparo zero existentes. O DetectGPT também é tão bom ou significativamente melhor do que os modelos de reconhecimento personalizados treinados em milhões de exemplos em alguns conjuntos de dados, escreve o pesquisador participante Chelsea Finn.

Para alcançar esse desempenho, o DetectGPT não requer um classificador separado, um conjunto de dados de comparação de texto real e gerado ou marca d’água explícita, como OpenAI é dito ter em desenvolvimento . O cientista da computação Tom Goldstein, da Universidade de Maryland, também apresentou um artigo científico sobre marcas d’água para grandes modelos de linguagem há alguns dias descrevendo taxas de reconhecimento promissoras e inúmeras questões em aberto.

O reconhecimento de texto AI tem muitas questões em aberto

Apesar da alta taxa de reconhecimento, DetectGPT ainda tem muitas limitações: Entre outras coisas, o método requer que as probabilidades de log do modelo possam ser avaliadas. Modelos de API como GPT-3 forneceriam os dados necessários, mas a avaliação custa dinheiro porque o texto questionável deve primeiro ser processado pelo modelo. DetectGPT também seria mais computacionalmente intensivo do que outros métodos.

Além disso, existem muitas variáveis ​​na geração de texto, como humanos pós-processando um texto de IA, que talvez seja o cenário mais comum. De acordo com Mitchell, o reconhecimento de texto AI ainda atinge uma precisão de 0,9 AUROC (a escala de classificação usada, equivalente a 90%) quando 15% do texto AI foi modificado. No entanto, à medida que o grau de modificação aumenta, a precisão diminui constantemente.

Outra questão em aberto é se os LLMs podem ser feitos para gerar texto explicitamente que não é reconhecido pelos detectores usando prompts especiais. Este cenário não foi investigado pela equipe DetectGPT.

GPTZeroX para o sistema educacional

A equipe GPTZero também apresenta um novo produto: GPTZeroX é projetado para educação e é baseado em novos modelos de detecção em comparação com as versões anteriores. Os modelos estão sendo constantemente atualizados e houve alguns avanços recentes, escreve a equipe.

O GPTZeroX fornece acesso à API para processamento de texto em massa, pontua um texto de forma holística e pode destacar frases individuais de IA. O sistema gera uma probabilidade de que um texto foi gerado por uma IA. Uma avaliação científica do GPTZero ainda não está disponível.

Demonstração GPTZeroX. | Vídeo: Edward Tian

O sistema é baseado na detecção de dois fatores alinhados com autores humanos: Perplexidade, a aleatoriedade em uma frase, e Burstiness, a aleatoriedade geral de todas as frases em um texto.

A tese: os bots tendem a produzir frases simples, enquanto os humanos se expressam com vários graus de complexidade dentro de um texto. O criador de GPTZero, de 22 anos, Edward Tian, ​​é formado em ciência da computação e jornalismo em Princeton.

Os detectores de texto AI são uma ajuda, não uma solução

Além das questões em aberto sobre a confiabilidade mencionadas acima, há outras boas razões pelas quais a educação, em particular, não deve considerar os detectores de texto de IA como uma solução para o problema potencial de plágio de IA em larga escala.

A razão mais importante é que existem propósitos legítimos para o uso de modelos linguísticos na escrita, como tradução e aprimoramento estilístico. Modelos mais novos, como o DeepL Write, se esforçam para otimizar parágrafos inteiros de acordo com regras de estilo comuns. Dessa forma, a ferramenta ajuda escritores inexperientes a produzir textos mais legíveis de acordo com as regras comuns da boa redação.

No futuro, o conteúdo de um texto poderá ser inteiramente concebido por um ser humano, mas o próprio texto poderá ser em grande parte escrito por uma máquina. O pesquisador do DetectGPT, Eric Mitchell, espera que a ferramenta de sua equipe sinalize os textos como gerados por máquina se eles contiverem mais de 30% de texto de IA – um limite que é alcançado rapidamente.

O sistema educacional, portanto, faria bem em se preparar para um futuro em que o texto gerado por IA é onipresente e usar detectores apenas como uma opção adicional para casos difíceis de plágio. Na pior das hipóteses, os detectores irão desencorajar os alunos de usar tais ferramentas porque eles podem ser falsamente rotulados como plagiadores – e os potenciais ganhos de eficiência dessas novas ferramentas cairiam no esquecimento.

Sam Altman, CEO da OpenAI, prevê que os detectores de texto AI terão uma meia-vida de alguns meses antes que os métodos estejam disponíveis para enganá-los.