Sumário
O Google Brain mostra que grandes modelos de linguagem se beneficiam do ajuste fino com dados instrucionais.
O chamado ajuste fino significa que grandes modelos de linguagem pré-treinados são treinados com dados adicionais, por exemplo, para especializá-los em cenários de aplicativos específicos. Um grupo de pesquisa do Google agora mostra que o ajuste fino com conjuntos de dados de instrução pode melhorar o desempenho de grandes modelos de linguagem para muitas tarefas.
Ajuste fino com 1.836 tarefas de idioma
o abordagem de ajuste fino com instruções em si não é nova . Em particular, a equipe do Google Brain testou o escalonamento do método e retreinou seus grandes modelos de linguagem Palma , U-PaLM e o modelo T5 de código aberto com um total de 1.836 instruções.
A maioria das tarefas vem do conjunto de dados Natural Instructions v2, que contém instruções para raciocínio lógico, por exemplo. De acordo com a equipe de pesquisa, o ajuste fino com exemplos de raciocínio em cadeia de pensamento também ajuda no senso comum.
Com cadeia de sugestões de pensamento , a IA é solicitada a resolver tarefas de linguagem passo a passo, documentando cada etapa. O treinamento com apenas nove conjuntos de dados CoT forneceu uma melhoria significativa nessa habilidade em comparação com os modelos FLAN anteriores. Além disso, o prompt é simplificado porque o modelo FLAN não requer um exemplo de CoT no prompt. O pedido de raciocínio passo a passo é suficiente.
A equipe de pesquisa relata uma “melhoria dramática” no raciocínio rápido e em várias etapas. Os modelos PaLM e T5 se beneficiam do ajuste fino com instruções em benchmarks comuns, independentemente de seu tamanho, e superam todos os modelos não Flan.
Para mostrar a generalidade do nosso método, treinamos T5 (codificador-decodificador treinado com corrupção de span), PaLM (treinado somente pelo decodificador com previsão do próximo token) e U-PaLM (mistura de denoisers), cobrindo uma ampla gama de tamanhos ( 80M a 540B).
TODOS os modelos se beneficiam significativamente! pic.twitter.com/KYRvbiJf4e
– Hyung Won Chung (@hwchung27) 21 de outubro de 2022
20 Os testadores humanos avaliaram a usabilidade do modelo Flan PaLM melhor do que o modelo não-Flan PaLM quase 80 por cento do tempo em áreas como criatividade, raciocínio contextual e raciocínio particularmente complexo.
O ajuste fino com escalas de dados instrucionais fortemente no início
A escala de desempenho ao treinar com dados instrucionais, no entanto, diminui significativamente à medida que os conjuntos de dados instrucionais se tornam maiores. Há um salto significativo de desempenho entre os modelos sem ajuste fino e os modelos ajustados com 282 tarefas. No entanto, a diferença entre este último e o modelo com 1.836 tarefas é pequena. Em geral, escalas de ajuste fino com tamanho do modelo.
O Flan-PaLM alcança desempenho de ponta em vários benchmarks, como 75,2% em MMLU de cinco disparos. O Flan-PaLM também melhorou a usabilidade – por exemplo, ele pode executar o raciocínio de tiro zero sem engenharia imediata ou exemplares de poucos tiros. Além disso, mostramos que o ajuste fino de instrução é compatível com uma variedade de tamanhos de modelos, arquiteturas e objetivos de pré-treinamento.
Conclusão do trabalho
A equipe de pesquisa publica o Modelo Flan-T5 como código aberto no Github . UMA demonstração de comparação entre Flan-T5 e vanilla T5 é disponível em Hugging Face.