O laboratório de pesquisa CarperAI planeja lançar um grande modelo de linguagem de nível GPT-3 treinado com feedback humano.
A CarperAI, juntamente com os parceiros EleutherAI, Scale AI, Multi, Humanloop e Hugging Face, planeja lançar um chinchila ideal grande modelo de linguagem. O modelo será explicitamente treinado para seguir melhor as instruções humanas e será lançado como código aberto.
“O lançamento de código aberto é crucial para permitir que acadêmicos, pesquisadores independentes e startups conduzam a ciência e desenvolvam modelos de última geração”, escreve a equipe.
Instruct-GPT: primeiro modelo de IA de código aberto treinado com feedback humano
Para o treinamento, a CarperAI conta com o aprendizado por reforço com feedback humano, método que a OpenAI, entre outras, utiliza no GPT-3 para Modelos InstructGPT derivados otimizados para humanos do modelo GPT-3 maior.
Os humanos avaliam melhor a saída desses modelos, mesmo que os próprios modelos sejam significativamente menores e, portanto, mais eficientes para serem executados. A OpenAI vê o feedback humano no processo de treinamento de IA como um importante componente de segurança no alinhamento da IA . Deepmind também usou esta técnica para sua chatbot mais recente .
A CarperAI e seus parceiros também veem o treinamento com feedback humano como uma etapa essencial para a implementação de grandes modelos de linguagem na vida cotidiana.
“Os riscos dos LLMs foram bem documentados e vão desde a disseminação de desinformação até o reforço de preconceitos sociais. Comparado aos modelos de linguagem padrão, o treinamento com RLHF reduz drasticamente esses riscos e, ao mesmo tempo, aumenta a utilidade do modelo”, escrevem os pesquisadores.
CarperAI é um laboratório do coletivo de pesquisa EleutherAI, que já publicou modelos de linguagem em grande escala, mais recentemente GPT-NeoX-20B , que se aproxima do GPT-3 em alguns benchmarks. A equipe está rastreando voluntários para apoiar o projeto Instruct-GPT. Mais informações estão disponíveis no site do projeto , canal do discórdia e via GithubGenericName .