Sumário
A plataforma de rotulagem de dados Surge AI comparou os resultados do Google e do ChatGPT para 500 consultas de pesquisa – e chama o ChatGPT de “ameaça existencial” para o Google.
Para o estudo, a Surge obteve cinco consultas básicas de pesquisa de informações de 100 trabalhadores. As consultas de pesquisa deveriam estar relacionadas ao conhecimento antes de 2022, pois o treinamento ChatGPT cobre apenas o conhecimento até então.
ChatGPT está um pouco à frente do Google
Os funcionários reenviaram sua consulta ao Google e como uma solicitação ao ChatGPT. Eles então avaliaram os resultados e as respostas: ChatGPT saiu na frente em 42% dos casos, e Google em 40% – embora o ChatGPT não seja otimizado para pesquisa.
A avaliação qualitativa mostra que o ChatGPT teve mais outliers para cima e para baixo, resultados que foram categorizados como “incríveis”, mas também como “muito ruins” e “horríveis”.
Especialmente para consultas de código, o ChatGPT é considerado superior, pois reproduz diretamente o código concreto em vez de links para sites que contêm o código correspondente – ou não.
Edwin Chen, da Surge, ex-funcionário do Google, vê os resultados do estudo como muito positivos para o ChatGPT, já que sua interface nem é otimizada para busca ou conectada à Internet. Com WebGPT OpenAI já introduziu uma tecnologia AI que pode procurar informações na Internet.
“O Google deveria ser a empresa de IA matadora; por um tempo, foi. Mas com modelos de linguagem transformadores avançando, seu reinado – e domínio como o mecanismo de busca mais inteligente do mundo – está prestes a ser usurpado?” escreve Chen.
Formatação e conveniência versus precisão e multimídia
Uma olhada na análise detalhada de resultados de pesquisa individuais e respostas de bate-papo mostra que os funcionários da Surge AI preferiram particularmente o conveniência e respostas pré-escritas do ChatGPT sobre pesquisas manuais em vários sites.
“Enquanto o Google me oferecia uma ampla quantidade de informações, o que acabou me levando a uma resposta útil, o ChatGPT simplificou os resultados que eu estava procurando”, escreveu um participante do estudo.
A favor do ChatGPT, de acordo com o estudo são sua capacidade de consolidar informações de várias fontes em uma resposta, sua interface minimalista sem anúncios e a capacidade do ChatGPT de lidar com consultas complexas.
“O ChatGPT é muito útil para eliminar a necessidade de visitar várias páginas da web para obter uma resposta completa”, avaliou um participante do estudo.
o exemplos de ChatGPT negativos são respostas com informações incorretas que, no entanto, o modelo apresenta com a mesma segurança das informações corretas, e recusa em responder, por exemplo, sobre temas relacionados a referências mais atuais.
“Gosto do formato da resposta da IA – ou seja, o fato de fornecer um exemplo de citação instantaneamente – mas é muito impreciso para ser valioso”, escreve um participante do estudo que comparou uma consulta sobre um formato de citação específico.
Um participante do estudo criticou o ChatGPT por ter problemas com qualquer tópico que não fosse de conhecimento estabelecido. “Dada a falta de respostas corretas, não fiquei impressionado e não o usaria em um mecanismo de busca em seu estado atual”, escreveu outro participante.
Além disso, ChatGPT respostas ainda carecem de imagens, vídeos e áudio. O Google já resolveu o último problema com seu IA de diálogo multimodal LaMDA .
Chat AI como substituto de pesquisa ainda tem muitas perguntas em aberto para responder
No contexto de sistemas como o ChatGPT como substituto de pesquisa, muitas questões surgem, sendo as mais importantes a questão da citabilidade do ChatGPT, em última instância a questão da responsabilidade pelo conteúdo, da verificação da informação e da sua atualidade.
Como escrevi em outro lugar acho mais provável que o Google e outros provedores de mecanismos de pesquisa usem sistemas como o ChatGPT para enriquecer seus resultados de pesquisa regulares com respostas de IA verificadas como primeiro passo.
O Google já integrou uma interface correspondente com pesquisa sem clique, ou seja, exibir informações de uma página da web diretamente na pesquisa do Google. No futuro, as informações exibidas poderão ser escritas por uma IA e respaldadas por fontes que confirmem a resposta da IA.
Isso teria o charme do Google and Co. de fornecer respostas ainda mais precisas para consultas de pesquisa adequadas. Eles poderiam contornar os pontos fracos dos sistemas de IA, por exemplo, desativando respostas de IA para consultas de pesquisa com uma referência atual.
Nesse cenário, um provedor de pesquisa como Google pode atrair ainda mais usuários e retê-los por mais tempo. Os provedores originais de informações, como os editores, perderiam porque receberiam menos acessos por meio da pesquisa. Uma maior consolidação da indústria de mídia online pode ser o resultado.