Sumário
Habilidades emergentes em grandes modelos de linguagem são um bom argumento para maior escalonamento. A emergência é a norma?
Quando grandes modelos de linguagem são dimensionados, os pesquisadores de IA observam saltos imprevisíveis e repentinos no desempenho em determinadas tarefas. Tais habilidades emergentes podem ser definidas como habilidades que ocorrem em modelos acima de um certo tamanho e não ocorrem em modelos pequenos.
A causa do surgimento ainda não foi determinada de forma conclusiva – se é que existe uma única causa. Recente pesquisa do Google sobre habilidades emergentes lança luz sobre o fenômeno também conhecido como transição de fase: uma mudança dramática no comportamento geral que não poderia ter sido prevista quando o sistema foi estudado em uma escala menor.
Habilidades emergentes são raras?
De acordo com o Google, o fenômeno de emergência levanta questões sobre se uma maior escala permitirá grandes modelos de linguagem com novas habilidades. Bons candidatos para tais habilidades podem ser tarefas no benchmark BIG-Bench para PNL que nenhum modelo de linguagem grande ainda dominou. A presença de tais habilidades serve, portanto, como uma justificativa para o dimensionamento adicional dos modelos de IA.
Mas também levanta a questão de qual habilidades não descobertas permanecem em grandes modelos de linguagem ou outros sistemas de IA. Embora casos individuais possam ser descartados como curiosidades, um acúmulo de transições de fase sugere um possível salto qualitativo além de um certo nível de escala.
Esses saltos são a exceção? Ou estamos apenas arranhando a superfície das profundezas dos grandes modelos de linguagem?
Pesquisador do Google conta habilidades emergentes em modelos de linguagem
Uma análise mais detalhada dos benchmarks fornece algumas respostas – porque é onde as habilidades emergentes têm maior probabilidade de aparecer. Jason Wei, pesquisador de IA no Google Brain e principal autor do artigo do Google, se deu ao trabalho de contar todas as habilidades emergentes descobertas até agora.
Wei vem com 137 habilidades emergentes nos modelos de linguagem em escala GPT-3 , Chinchila e Palma . As maiores fontes de tais descobertas empíricas, diz ele, são os benchmarks de NLP BIG-Bench e Massive Multitask Benchmark com 67 e 51 casos, respectivamente.
No BIG-Bench, as habilidades emergentes aparecem para GPT-3 (175 bilhões de parâmetros) para “implicação analítica, codinomes, parentesco de frases, criação de perguntas e respostas, tutoria de autoavaliação, morfema comum, verificador de fatos ou detecção de figura de linguagem” e muitas outras tarefas.
Para outros modelos, as habilidades são encontradas em referências para questões sobre microeconomia, física conceitual, medicina ou a capacidade de formular sentenças apropriadas ao gênero em alemão. Outros exemplos podem ser encontrados nos respectivos artigos, como as habilidades matemáticas simples do GPT-3.
Além das habilidades emergentes individuais que permitem que grandes modelos de linguagem executem tarefas de linguagem complexas, o escalonamento também permite o uso de estratégias de solicitação emergente. Por exemplo, sugestão de cadeia de pensamento funciona apenas quando um certo número de parâmetros é atingido.
Dimensionamento e o papel dos benchmarks
Wei vê sua contagem como uma indicação de que uma escala adicional é razoável:
No geral, a existência de habilidades emergentes aplica-se a que escalar ainda mais desbloquearia habilidades ainda mais emergentes. Essa ideia é super empolgante para mim.
Jason Wei
De fato, vários estudos sobre leis de escala mostram que podem ser esperados aumentos adicionais no desempenho. Se e quais habilidades emergentes resultarão é naturalmente difícil de estimar.
No entanto, o fato de os modelos atuais já possuírem essas habilidades mostra que talvez ainda não tenhamos descoberto todas as habilidades emergentes, pois não há benchmark para elas. Como costuma acontecer na pesquisa de IA, benchmarks, portanto, desempenham um papel central .
Além da escala, existem outras técnicas, como aprendizado por reforço com feedback humano que podem melhorar os modelos existentes sem escalonamento, mais recentemente GPT-3 . Melhorias na arquitetura e qualidade dos dados de treinamento , melhores prompts ou ligação a módulos externos levará a mais melhorias de desempenho.
O caminho para os modelos de linguagem grande provavelmente ficará mais claro em 2023, quando o GPT-4 da OpenAI mostrará se a empresa progrediu talvez no maior objetivo de escala – raciocínio lógico.
A lista completa de Wei está em sua postagem no blog, “137 habilidades emergentes de grandes modelos de linguagem .”