Sumário
A EleutherAI lança o GPT-NeoX-20B, um modelo de linguagem de código aberto de 20 bilhões de parâmetros que se aproxima da maior variante GPT-3 da OpenAI em benchmarks.
EleutherAI é um coletivo de pesquisa independente fundado em julho de 2020 por Connor Leahy, Leo Gao e Sid Black com foco no alinhamento para inteligência artificial dimensionamento e pesquisa de IA de código aberto.
O agora crescente grupo de pesquisadores de IA, que colaboram uns com os outros via Discord e GitHub, é mais conhecido por seu trabalho com modelos de linguagem, entre outros projetos de IA. O grupo está trabalhando em alternativas de código aberto para o GPT-3 da OpenAI, um modelo de linguagem altamente regulamentado e de alto desempenho disponível exclusivamente por meio da API da OpenAI ou por meio dos serviços da Microsoft.
No início de 2021, o coletivo anunciou o desenvolvimento de vários modelos de linguagem, alguns treinados nos chips TPU do Google e variantes maiores treinadas nos servidores GPU CoreWeave.
Em março de 2021, a EleutherAI lançou duas variantes GPT-Neo com 1,3 bilhão e 2,7 bilhões de parâmetros. Então, em julho de 2021, o grupo lançou o GPT-J, um modelo de seis bilhões de parâmetros treinado no conjunto de dados de linguagem “The Pile” de quase 800 gigabytes da EleutherAI que corresponde ao desempenho do modelo Curie de tamanho semelhante do GPT-3.
GPT-NeoX-20B se aproxima do GPT-3 DaVinci
Agora EleutherAI está lançando GPT-NeoX-20B, o primeiro modelo treinado em GPUs CoreWeave usando a estrutura GPT-NeoX desenvolvida internamente. O modelo de 20 bilhões de parâmetros também foi treinado com o The Pile e superou o modelo Curie do GPT-3 em alguns pontos percentuais nos benchmarks realizados pelo EleutherAI. A variante de quase 150 bilhões de parâmetros do GPT-3 “DaVinci” foi superada por alguns pontos percentuais.
GPT-NeoX-20B estará disponível para download em O olho a partir de 9 de fevereiro. Os interessados já podem testar as capacidades do modelo em GooseAI uma plataforma para serviços de AI de fala que oferece várias alternativas GPT-3.
GPT-NeoX-20B é um objeto de pesquisa e não um produto
A EleutherAI observa, no entanto, que o GPT-NeoX-20B é um objeto de pesquisa e desaconselha a implantação dele ou de qualquer outro modelo em um ambiente de produção sem testes cuidadosos.
As partes interessadas são aconselhadas a estudar o conjunto de dados de treinamento usado em detalhes. Há também um subcanal dedicado #20b em Discórdia de EleutherAI onde o modelo pode ser discutido.
Leia mais sobre Inteligência Artificial:
- Deepmind: os programas AlphaCode AI, assim como os humanos
- O modelo LaMDA AI do Google pode se tornar o Assistente 2.0
- Chefe de IA da Meta: três grandes desafios da inteligência artificial