Com a memória de longo prazo, os modelos de linguagem podem ser ainda mais específicos – ou mais pessoais. MemoryGPT dá uma primeira impressão.
No momento, a interação com modelos de linguagem refere-se a instâncias únicas, por exemplo, em ChatGPT para um único bate-papo. Nesse bate-papo, o modelo de linguagem pode, até certo ponto, levar em consideração o contexto da entrada para novos textos e respostas.
Na versão atualmente mais poderosa do GPT-4, isso é até 32.000 tokens – cerca de 50 páginas de texto. Isso possibilita, por exemplo, conversar sobre o conteúdo de um longo paper. Para encontrar novas soluções, os desenvolvedores podem conversar com um banco de dados de código maior. A janela de contexto é um bloco de construção importante para o uso prático de grandes modelos de linguagem, uma inovação possibilitada por redes transformadoras.
pensávamos que queríamos carros voadores e não 140/280 caracteres, mas na verdade queríamos 32.000 tokens
—Sam Altman (@sama) 25 de março de 2023
No entanto, janelas de contexto cada vez maiores são computacionalmente caras. O desenvolvimento adicional de grandes modelos de linguagem pode, portanto, exigir sistemas de memória adicionais que combinam o máximo possível de entrada atual e novos conhecimentos com o amplo conhecimento pré-treinamento do modelo de linguagem.
A memória de longo prazo pode ser o próximo passo para chatbots como o ChatGPT
Especificamente, os modelos de linguagem exigiriam uma espécie de hipocampo, que no cérebro humano converte memórias de curto prazo em memórias de longo prazo, armazena-as na memória de longo prazo e as recupera quando necessário.
Para ChatGPT, por exemplo, isso poderia transformar informações de bate-papos anteriores em conversas atuais: “Lembra da minha pesquisa sobre o hipocampo no ano passado? Por favor, conecte isso a este estudo atual sobre o sistema límbico”, seria uma sugestão possível.
No Twitter, O desenvolvedor de IA “Rik V.” mostra uma primeira experiência neste sentido com “MemoryGPT”. Segundo o desenvolvedor, seu sistema pode se lembrar de chats anteriores “para sempre”, se desejado.
“Ele vai se lembrar de coisas sobre você enquanto você fala com ele. Suas preferências, como você trabalha, qualquer coisa que você diga, basicamente. E ajustará seu comportamento para se adequar melhor a você e pode ajudá-lo/treiná-lo em geral”, escreve o desenvolvedor.
Para isso, o desenvolvedor armazena as conversas anteriores em um banco de dados vetorial que o MemoryGPT pode acessar a qualquer momento e o combina com um armazenamento de dados regular para dados e objetivos do usuário de alto nível. Confira o vídeo abaixo para uma demonstração do MemoryGPT.
Vídeo: Rik V. via Twitter
Para o banco de dados de vetores, existem provedores como Pinecone que se especializa exatamente nesse tipo de memória de longo prazo de IA embora o desenvolvedor diga que existem “100 maneiras” de colocar o conceito em prática.
Você pode se inscrever para um teste beta se estiver interessado em testando MemoryGPT. Rik V. está atualmente trabalhando em uma interface aprimorada e os testes estão programados para começar na próxima terça-feira.