Sumário
Embora modelos de IA como o GPT-3 não tenham aprendido gramática, eles produzem frases gramaticalmente corretas na maioria dos casos. Porque?
A IA está mudando a compreensão dos cientistas sobre o aprendizado de idiomas – e levantando questões sobre uma gramática inata
Ao contrário do diálogo cuidadosamente roteirizado encontrado na maioria dos livros e filmes, a linguagem da interação cotidiana tende a ser confusa e incompleta, cheia de falsos começos, interrupções e pessoas conversando umas com as outras. De conversas casuais entre amigos a brigas entre irmãos e discussões formais em uma sala de reuniões, conversa autêntica é caótico. Parece milagroso que alguém possa aprender um idioma, dada a natureza aleatória da experiência linguística.
Por esta razão, muitos cientistas da linguagem – incluindo Noam Chomsky , um dos fundadores da lingüística moderna – acredita que os aprendizes de idiomas precisam de uma espécie de cola para controlar a natureza indisciplinada da linguagem cotidiana. E essa cola é a gramática: um sistema de regras para gerar sentenças gramaticais.
As crianças devem ter um modelo de gramática conectado em seus cérebros para ajudá-los a superar as limitações de sua experiência de linguagem – ou assim o pensamento vai.
Este modelo, por exemplo, pode conter uma “super regra” que determina como novas peças são adicionadas a frases existentes. As crianças só precisam aprender se sua língua nativa é uma, como o inglês, onde o verbo vem antes do objeto (como em “eu como sushi”), ou uma como o japonês, onde o verbo vem depois do objeto (em japonês, o mesma frase é estruturada como “Eu como sushi”).
Mas novos insights sobre o aprendizado de idiomas vêm de uma fonte improvável: inteligência artificial. Uma nova geração de grandes modelos de linguagem de IA pode escrever artigos de jornal , poesia e código de computador e responda as perguntas com sinceridade depois de ser exposto a grandes quantidades de entrada de linguagem. E ainda mais surpreendente, todos eles fazem isso sem a ajuda da gramática.
Linguagem gramatical sem gramática
Mesmo que seus escolha de palavras às vezes é estranha , sem sentido ou contém preconceitos racistas, sexistas e outros prejudiciais , uma coisa é muito clara: a esmagadora maioria da saída desses modelos de linguagem de IA é gramaticalmente correta. E, no entanto, não há modelos de gramática ou regras embutidas neles – eles dependem apenas da experiência linguística, por mais confusa que seja.
GPT-3, indiscutivelmente o mais conhecido desses modelos é um gigante rede neural de aprendizado profundo com 175 bilhões de parâmetros. Ele foi treinado para prever a próxima palavra em uma frase dada o que veio antes de centenas de bilhões de palavras da internet, livros e Wikipedia. Quando fazia uma previsão errada, seus parâmetros eram ajustados usando um algoritmo de aprendizado automático.
Notavelmente, o GPT-3 pode gerar um texto crível reagindo a prompts como “Um resumo do último filme ‘Velozes e Furiosos’ é…” ou “Escreva um poema no estilo de Emily Dickinson”. Além disso, GPT-3 pode responder para analogias de nível SAT, questões de compreensão de leitura e até mesmo resolver problemas aritméticos simples – tudo desde aprender a prever a próxima palavra.
Comparando modelos de IA e cérebros humanos
A semelhança com a linguagem humana não pára aqui, no entanto. Pesquisa publicada na Nature Neuroscience demonstrou que essas redes artificiais de aprendizado profundo parecem usar o mesmos princípios computacionais do cérebro humano . O grupo de pesquisa, liderado por neurocientista Uri Hasson primeiro comparou o quão bem GPT-2 – um “irmão mais novo” do GPT-3 – e os humanos podiam prever a próxima palavra em uma história retirada do podcast “This American Life”: as pessoas e a IA previram exatamente a mesma palavra quase 50% das vezes.
Os pesquisadores registraram a atividade cerebral dos voluntários enquanto ouviam a história. A melhor explicação para os padrões de ativação que eles observaram foi que os cérebros das pessoas – como o GPT-2 – não estavam apenas usando uma ou duas palavras anteriores ao fazer previsões, mas contavam com o contexto acumulado de até 100 palavras anteriores. Ao todo, os autores concluem: “Nossa descoberta de sinais neurais preditivos espontâneos à medida que os participantes ouvem a fala natural sugere que predição ativa pode estar por trás da aprendizagem de línguas ao longo da vida dos seres humanos .”
Uma possível preocupação é que esses novos modelos de linguagem de IA recebem muitas entradas: o GPT-3 foi treinado em experiência linguística equivalente a 20.000 anos humanos . Mas um estudo preliminar que ainda não foi revisado por pares descobriu que o GPT-2 ainda pode modelar previsões humanas da próxima palavra e ativações cerebrais, mesmo quando treinado em apenas 100 milhões de palavras. Isso está bem dentro da quantidade de input linguístico que uma criança média pode ouvir durante os primeiros 10 anos de vida .
Não estamos sugerindo que GPT-3 ou GPT-2 aprendam a linguagem exatamente como as crianças. De fato, esses modelos de IA não parecem compreender muito se alguma coisa, do que eles estão dizendo, enquanto compreensão é fundamental para o uso da linguagem humana . Ainda assim, o que esses modelos provam é que um aluno – ainda que um silício – pode aprender a linguagem bem o suficiente a partir da mera exposição para produzir sentenças gramaticais perfeitamente boas e fazê-lo de uma forma que se assemelha ao processamento do cérebro humano.
Repensando o aprendizado de idiomas
Durante anos, muitos linguistas acreditaram que aprender idiomas é impossível sem um modelo de gramática integrado. Os novos modelos de IA provam o contrário. Eles demonstram que a capacidade de produzir linguagem gramatical pode ser aprendida apenas com a experiência linguística. Da mesma forma, sugerimos que as crianças não precisam de uma gramática inata para aprender a língua.
“As crianças devem ser vistas, não ouvidas”, diz o velho ditado, mas os mais recentes modelos de linguagem de IA sugerem que nada poderia estar mais longe da verdade. Em vez disso, as crianças precisam ser envolvido no vaivém da conversa tanto quanto possível para ajudá-los a desenvolver suas habilidades linguísticas. A experiência linguística – não a gramática – é a chave para se tornar um usuário competente do idioma.