Sumário
A EleutherAI é uma das pioneiras da pesquisa de código aberto em IA generativa, especialmente em modelos de linguagem. Agora está se tornando uma organização sem fins lucrativos com pesquisadores em tempo integral.
O coletivo de pesquisa EleutherAI está se profissionalizando. Nos últimos dois anos e meio, evoluiu de um grupo de programadores no Discord para o que chama de comunidade de ciência aberta. Agora, a EleutherAI está se tornando um instituto de pesquisa sem fins lucrativos, de acordo com seu blog. 20 cientistas agora podem trabalhar em tempo integral para a EleutherAI.
Os membros da EleutherAI escreveram 28 artigos, treinaram dezenas de modelos e lançaram dez bases de código nos últimos 18 meses, incluindo
- o LLM de código aberto GPT-NeoX-20B
- o modelo de imagem VQGAN-CLIP
- o conjunto de dados de treinamento de texto de 825 GB “The Pile”
Uma lista completa dos artigos científicos, incluindo links para os artigos e uma lista de todos os participantes, pode ser encontrado aqui. A EleutherAI também esteve envolvida no desenvolvimento da Stable Diffusion.
Os cargos de liderança são ocupados por Stella Rose Biderman como Diretora Executiva e Chefe de Pesquisa, Curtis Huebner como Chefe de Alinhamento e Shiv Purohit como Chefe de Engenharia.
A organização era liderada anteriormente por Connor Leahy, que agora se concentrará em seus projetos de alinhamento de IA para AGI. Vários outros ex-membros também estão focando em seus próprios projetos.
Os avanços da IA não acontecem paralelamente
Os financiadores incluem a empresa de IA Stability AI, o repositório de código Hugging Face, os operadores de nuvem GPU CoreWeave e Lambda, o ex-CEO do GitHub Nat Friedman e o editor de imagens Canva.
Tornou-se bastante claro que o maior obstáculo para o que poderíamos realizar é o fato de que trabalhar uma semana de trabalho de quarenta horas e fazer pesquisa de ponta em IA paralelamente é insustentável para a maioria dos colaboradores.
EleutherAI
O mundo mudou muito desde que o coletivo foi fundado, disse EleutherAI. O maior modelo de linguagem estilo GPT-3 de código aberto do mundo (provavelmente uma pequena variante do GPT-2) tinha 1,5 bilhão de parâmetros na época (os modelos atuais têm centenas de bilhões de parâmetros). O próprio GPT-3 estava disponível apenas para pesquisadores selecionados.
Além disso, a maioria dos pesquisadores de PNL tinha uma compreensão muito limitada da técnica necessária para treinar tais modelos, bem como de suas capacidades e limitações. “Começamos como um grupo desorganizado do qual ninguém tinha ouvido falar e, em um ano, lançamos o maior modelo OSS estilo GPT-3 do mundo.”
Novo foco na interpretabilidade, alinhamento, ética e avaliação da IA
Em vez de desenvolver novos modelos, os pesquisadores agora planejam se concentrar em outras áreas de desenvolvimento de IA para as quais teriam originalmente treinado seus próprios modelos:
À medida que o acesso aos LLMs aumentou, nossa pesquisa mudou para se concentrar mais na interpretabilidade, alinhamento, ética e avaliação de AIs. Esperamos continuar a crescer e nos adaptar às necessidades dos pesquisadores e do público.
EleutherAI
Além de empresas comerciais como Google, Microsoft e OpenAI, que publicam apenas parcialmente seu trabalho, organizações sem fins lucrativos como a EleutherAI representam um movimento contrário no cenário da IA. LAION ou OpenBioML também estão buscando esforços semelhantes para a ciência aberta da IA.