Sumário
O sucesso de grandes modelos de linguagem, como o GPT-3, estimulou muito debate na pesquisa de IA. Pois, apesar do progresso, há divergências sobre o futuro da IA. Uma pesquisa com muitos pesquisadores da área mostra como a comunidade científica está dividida.
Grandes modelos de linguagem, como o GPT-3 da OpenAI, forneceram recursos inéditos para lidar com texto. Eles também forneceram o modelo para treinar outros grandes modelos de IA, como código ou modelos de imagem generativa como o DALL-E 2.
Existem diferenças na arquitetura específica, mas quase todos os grandes modelos de IA atuais dependem de alguma forma de transformador, bem como big data e muito poder de computação.
O papel do escalonamento no caminho para uma IA melhor é controverso.
Tais modelos são papagaios estocásticos para alguns pesquisadores. Outros os veem como modelos fundamentais que podem ser especializados. Ainda assim, outros pensam que tudo o que é necessário é um maior escalonamento dos modelos para o grande objetivo: inteligência artificial geral.
O debate sobre o potencial de grandes modelos de IA é destaque no Twitter. Há alguns meses, foi particularmente alimentado por GATO da mente profunda um sistema de IA baseado em Transformer que pode lidar com muitas tarefas diferentes.
A expansão de um sistema como o Gato está abrindo caminho para a AGI – ou o sistema está simplesmente executando muitos modelos especializados medíocres em paralelo?
Existem muitas opiniões sobre esta questão. O cientista cognitivo e crítico de Deep Learning Gary Marcus criticou a abordagem “Scaling-Uber-Alles” da Deepmind como míope. Chefe da Metas AI Yann LeCun também não vê o dimensionamento sozinho como o caminho certo a seguir .
Estudo fornece informações sobre a opinião da comunidade de PNL
Um novo estudo agora fornece uma visão mais profunda das opiniões dos pesquisadores de IA no campo do processamento de linguagem natural. Um total de 480 pesquisadores participaram da pesquisa.
Os autores do estudo estimam que isso significa que atingiram cerca de cinco por cento de todos os pesquisadores que tiveram pelo menos duas publicações na conferência da Association for Computational Linguistics entre 2019 e 2022.
A pesquisa inclui perguntas detalhadas sobre uso de recursos, compreensão de linguagem, AGI, ética, o papel de benchmarks, pesquisa e indústria. A maioria dos participantes era dos Estados Unidos (58%) e da Europa (23%). Uma parcela menor veio de outras regiões do mundo. Sessenta e sete por cento relataram ser homens, 25 por cento mulheres.
“Scaling-Uber-Alles” não funciona, não há um veredicto claro sobre a compreensão do idioma
Apenas 17% dos entrevistados acham que o dimensionamento pode resolver quase todos os problemas importantes na pesquisa de PNL. 72 por cento acham que seu campo coloca muito foco no dimensionamento. O dimensionamento também vem com requisitos de energia mais altos: 60% acham que a pegada de CO₂ para treinamento de IA de modelos grandes é problemática.
Por outro lado, os entrevistados estão indecisos sobre uma questão-chave: modelos como o GPT-3 poderiam entender a linguagem em um sentido não trivial com dados e poder de computação suficientes? 51% dos entrevistados pensam que sim, 49% não veem sinais disso.
Enquanto isso, 58% consideram inteligência geral artificial uma prioridade na pesquisa de PNL. 57 por cento acham que o desenvolvimento de grandes modelos de linguagem é um passo importante no caminho para o CCI.
A automação de texto habilitada pela IA é vista por 73% como potencialmente problemática para a sociedade. Isso pode estar relacionado ao fato de que 82% dos participantes acreditam que empresas industriais serão responsáveis pelos artigos mais citados nos próximos dez anos. 74% acham que já têm muita influência no campo de pesquisa.
Os autores do estudo esperam que a pesquisa ajude a educar a comunidade de PNL sobre suas próprias crenças e, assim, contribuir para um discurso produtivo. Todos os resultados podem ser vistos no Pesquisa de PNL local na rede Internet.