Investigação da CNET mostra muitas falhas em artigos escritos por IA

Atualização de 25 de janeiro de 2023:

Connie Guglielmo, editora-chefe da CNET, lança outra declaração sobre artigos de IA publicados desde novembro: Segundo a nota, 77 artigos curtos foram criados usando IA, ou cerca de um por cento do conteúdo publicado desde novembro. Os editores primeiro criaram rascunhos usando IA, depois os editaram e expandiram antes de publicar.

Os editores revisaram todos os artigos de IA publicados depois que um erro foi descoberto e criticado externamente: eles encontraram informações incorretas em 41 dos 77 artigos. Um “pequeno número” de artigos exigiu grandes correções e vários exigiram pequenas correções, como nomes de empresas incompletos, números transpostos ou redação imprecisa, de acordo com Guglielmo.

O uso da ferramenta de IA será retomado assim que os editores estiverem confiantes de que os processos editoriais estão evitando erros humanos e de IA. A CNET também promete mais transparência e melhores verificações de plágio.

“Estamos comprometidos em melhorar o mecanismo de IA com feedback e informações de nossas equipes editoriais para que nós – e nossos leitores – possamos confiar no trabalho com o qual ele contribui”, escreveu Guglielmo.

Artigo original de 23 de janeiro de 2023:

A CNET usa IA para escrever cópias genéricas, às vezes incorretas, de mecanismos de pesquisa sobre tópicos financeiros. A revista de tecnologia dos EUA interrompe a prática após críticas generalizadas.

Em meados de janeiro, Gael Breton, especialista em conteúdo de mecanismos de busca, descobriu que a CNET havia publicado mais de 70 artigos de consultoria financeira otimizados para o Google usando “tecnologia automatizada”. Os artigos foram publicados sob o nome “CNET Money Staff”, que mais tarde foi alterado para “CNET Money”. Esta não é uma atribuição clara a um editor-robô.

CNET confirmou seu uso de tecnologia AI para histórias financeiras gerais logo após a revelação de Breton. A revista disse que queria “ver se a tecnologia pode ajudar nossa ocupada equipe de repórteres e editores com seu trabalho de cobrir tópicos de uma perspectiva de 360 ​​graus”.

Embora a CNET tenha dito que a cópia foi cuidadosamente revisada antes da publicação, alguns deles continham erros gritantes . Isso é especialmente ruim porque os artigos sobre finanças pessoais geralmente incluem anúncios de produtos financeiros, alguns com base no pagamento por desempenho.

CNET se afasta da cópia gerada por IA

De acordo com uma revelação do concorrente da CNET The Verge, executivos da editora já comunicaram internamente que não querem mais publicar textos gerados por IA por enquanto. A editora-chefe Connie Guglielmo diz que a acusação de que a CNET publicou secretamente os textos de IA é inapropriada: a revista fez isso “silenciosamente”.

Diz-se que a equipe da CNET teve pouca percepção da tecnologia usada. A Red Ventures supostamente desenvolveu o sistema. O grupo editorial adquiriu a CNET em 2020. A equipe de gerenciamento da CNET planeja fornecer aos funcionários mais informações sobre a ferramenta de IA e uma versão prévia nos próximos dias.

Outros portais de SEO, como Bankrate e Creditcards.com, também estão renunciando ao conteúdo gerado por IA por enquanto. Como a CNET, eles também são propriedade da Red Ventures.

A Red Ventures também desenvolveu uma ferramenta de texto que insere automaticamente números atuais, como taxas de juros, em artigos financeiros. Essa ferramenta permanecerá em operação.

CNET como modelo para spammers de SEO

A estratégia de texto AI da CNET, bem-sucedida pelo menos nos rankings do Google, forçou a equipe de busca do Google a se justificar, já que havia anunciado anteriormente que trataria o texto gerado por AI como spam.

O porta-voz da pesquisa do Google, Danny Sullivan, explicou as boas classificações da CNET dizendo que o Google se concentra em “conteúdo útil” em vez de como um conteúdo é criado. O objetivo é remover conteúdo inútil da pesquisa, disse Sullivan. Não importa se foi escrito por humanos ou máquinas, acrescentou.

Alguns profissionais de SEO interpretar a declaração de Sullivan como um passe livre para direcionar massas de texto gerado por IA para boas classificações do Google. Mesmo os erros no texto da CNET não tiveram efeito no bot de busca do Google.

Além do ChatGPT isso representa outro risco para o negócio principal do Google: se o gigante das buscas não controlar o spam de IA, isso levará a uma desvalorização dos resultados de pesquisa do Google e, assim, atingirá sua principal fonte de receita.

Preso entre a busca por chatbot e a ameaça de spam de IA, o Google precisa adaptar seus produtos a uma nova era. Segundo o New York Times, essa transformação já está bem encaminhada .

Se o sucesso da CNET é tão fácil de replicar para SEOs é questionável: as classificações da cópia de IA beneficiam tanto quanto a cópia humana da marca de publicação bem conhecida e altamente vinculada da CNET.

É possível que o Google consiga tratar o texto AI de maneira diferente, dependendo de onde ele vem. Isso daria aos editores mais margem de manobra nas técnicas de automação, enquanto o spam de IA ainda poderia ser limitado pelo Google.

No entanto, esse processo provavelmente exigiria uma enorme quantidade de coordenação por parte do Google e dificilmente seria justo. Além disso, o Google pode ser forçado a se justificar se usar ferramentas de texto AI para resultados de pesquisa no futuro, por exemplo, na forma de um chatbot .