Pesquisadores de IA ultrapassam os limites do GPT-3 com Python

Pesquisadores de IA ultrapassam os limites do GPT-3 com Python

por

Para melhorar o modelo de linguagem GPT-3 da OpenAI, os pesquisadores de IA no Twitter estão usando interpretadores Python.

Quando a OpenAI revelou o GPT-3 em maio de 2020, o desempenho do modelo de linguagem grande enviou ondas por meio de notícias e mídias sociais. Nenhum sistema de IA antes poderia escrever um texto tão atraente, uma poesia tão bonita e até mesmo preencher planilhas do Excel.

Nas semanas que se seguiram, os pesquisadores descobriram mais usos para o GPT-3, como a geração de código HTML simples. Posteriormente, a OpenAI refinou essa capacidade com o Codex.

Mas com o hype vieram as críticas: o GPT-3 falhou rapidamente Teste de Turing de Kevin Lacker entre outros exemplos.

O GPT-3 da OpenAI gera muita bobagem

O modelo de linguagem OpenAIs não pode raciocinar, não pode executar operações matemáticas mais complexas e não tem acesso a bancos de dados na Internet para verificar fatos. Com isso, o modelo gera muitos nonsense – alucinar é o jargão técnico – e reproduz estereótipos. Até mesmo o cofundador da OpenAI, Sam Altman, alertou contra o exagero do GPT-3, observando que “ele ainda tem sérias fraquezas e às vezes comete erros muito bobos”.

Desde então, a OpenAI vem pesquisando maneiras de lidar com algumas dessas limitações. o Modelos InstructGPT lançados em janeiro de 2022, por exemplo, são menos tóxicos e seguem melhor as instruções. o Projeto WebGPT está explorando como os modelos GPT podem interrogar a Internet.

Comunidade do Twitter dá acesso GPT-3 ao interpretador Python

No Twitter, o pesquisador de IA Sergey Karayev revelou agora um experimento diferente: ele vinculou o modelo de linguagem da OpenAI a um interpretador Python. Para isso, Karayev usa um prompt de texto para GPT-3, que ensina o modelo a formular respostas a perguntas como uma instrução Python ou um pequeno programa Python.

O código é então executado por um interpretador Python na nuvem e mostrado ao usuário.

Com essa adição simples, o GPT-3 pode resolver tarefas matemáticas muito mais difíceis ou fazer solicitações de API. Em um exemplo, Karayevs dá à GPT-3 acesso limitado à Internet e permite que ela forneça os preços atuais do mercado de ações.

Outro usuário do Twitter mostra como o GPT-3 pode exibir uma esfera com Matplotlib graças ao interpretador Python.

GPT-3 fica um pouco “neurossimbólico” com o interpretador Python

Karayev chama isso de “breve vislumbre de nosso futuro INCRÍVEL”. Em breve, o GPT-3 poderá usar esse método para pesquisar na Web, processando HTML ou utilizando várias APIs disponíveis gratuitamente.

Como o programa também pode gerar código que, digamos, limpa um disco rígido, ele desaconselha fortemente a execução do experimento em um computador local.

Apesar das limitações esperadas, o pesquisador cognitivo Gary Marcus chama o experimento de Twitter um “bom passo em direção ao neurosimbólico, com uma rede neural chamando um sistema simbólico para preencher algo que ele próprio não pode fazer de maneira confiável”.

Karayev publicou seu código no IDE de navegador colaborativo gratuito Replit. Aqueles que querem testar o projeto precisa de uma conta Replit e uma chave OpenAI API. Isso ainda precisa ser adicionado ao arquivo main.py.

Artigos Relacionados