Os pesquisadores apresentam um novo método rápido que permite que o GPT-3 responda melhor a perguntas mais complexas.
Os pesquisadores chamam seu método de “autopergunta”: em vez de responder a uma pergunta diretamente, o modelo de linguagem independentemente faz a si mesmo perguntas de acompanhamento cujas respostas levam à resposta final. Isso melhora a capacidade do GPT-3 de responder corretamente a perguntas complexas por meio de uma abordagem argumentativa.
A autopergunta é totalmente automática: a primeira entrada fornece um exemplo do processo de autopergunta e, em seguida, faz a pergunta real. O GPT-3 aplica o processo de forma independente à nova pergunta e faz quantas perguntas complementares forem necessárias para responder à pergunta final.
O Self-Ask se baseia Sugestão de cadeia de pensamento, mas divide o processo em várias pequenas saídas, fazendo perguntas de acompanhamento, em vez de produzir uma cadeia de pensamento contínua e não delimitável.
Self-Ask melhora as respostas GPT-3
Os pesquisadores também usaram seu método para investigar algo que chamam de “lacuna de composicionalidade”. Essa é a (in)capacidade de grandes modelos de linguagem responderem perguntas parciais corretamente, mas tirarem delas a conclusão errada para a resposta à pergunta final.
Um exemplo é uma pergunta sobre o atual presidente dos Estados Unidos na época da invenção dos supercondutores. Para responder a isso, o GPT-3 deve primeiro determinar quando os supercondutores foram descobertos e, em seguida, verificar qual presidente dos EUA estava no cargo naquele momento.
Neste exemplo, a solicitação direta e a solicitação em cadeia de pensamento falham, enquanto o método de autopergunta leva ao resultado correto.
Segundo os pesquisadores, a autopergunta pode reduzir e, em alguns casos, até fechar a lacuna de composicionalidade nos modelos GPT-3 descritos anteriormente, dependendo do modelo testado. Em linguagem simples, isso significa que é mais provável que o GPT-3 responda corretamente a perguntas complexas usando o método de auto-pergunta.
A precisão aumenta com uma pesquisa combinada do Google
A combinação do método de autopergunta com uma pesquisa no Google produz respostas corretas de maneira ainda mais confiável. O modelo de linguagem pesquisa no Google a resposta para uma pergunta intermediária simples e a alimenta de volta no processo de auto-pergunta. Após todas as perguntas intermediárias terem sido respondidas, o modelo de linguagem decide sobre a resposta final.
Em testes com diferentes conjuntos de dados de perguntas de vários níveis, tanto a autopergunta quanto a autopergunta com a pesquisa do Google têm um desempenho significativamente melhor do que prompts diretos, prompts de cadeia de pensamento e pesquisas diretas do Google. No último caso, uma possível saída de snippet ou texto do primeiro resultado da pesquisa foi tomada como resposta.
De acordo com a equipe de pesquisa, o GPT-3 com o Google pode responder a perguntas que o GPT-3 ou o Google não poderiam responder sozinhos. O GPT-3 foi treinado em 2019, as informações atuais não são armazenadas no modelo.
Em relação à lacuna de composicionalidade, os pesquisadores tiveram outra descoberta interessante: a lacuna não diminuiu à medida que o tamanho dos modelos aumentava. Os pesquisadores concluíram a partir desse “resultado surpreendente” que, embora os modelos maiores armazenem e recuperem mais informações, eles não têm vantagem sobre os modelos menores na qualidade das inferências.
Encontramos uma nova maneira de solicitar modelos de linguagem que melhora sua capacidade de responder a perguntas complexas
Nosso prompt de autopergunta primeiro faz com que o modelo pergunte e responda a subperguntas mais simples. Essa estrutura facilita a integração da Pesquisa Google em um LM. Watch nossa demonstração com GPT-3 ?⬇️ pic.twitter.com/zYPvMBB1Ws– Ofir Imprensa (@OfirPress) 4 de outubro de 2022
OpenAI (WebGPT) , Mente Profunda (Sparrow) e Meta (Blenderbot 3) já introduziu chatbots baseados em grandes modelos de linguagem que também podem pesquisar respostas para as perguntas dos usuários na Internet.