Sumário
Grandes modelos de linguagem mostram capacidades impressionantes. São apenas estatísticas superficiais – ou há mais do que isso?
Sistemas como OpenAI’s GPT-3 mostraram que grandes modelos de linguagem têm recursos que podem torná-los ferramentas úteis em áreas tão diversas quanto processamento de texto e programação.
Com ChatGPT a empresa lançou um modelo que coloca essas capacidades nas mãos do público em geral, criando novos desafios para instituições de ensino, por exemplo.
Os modelos de linguagem são subestimados ou superestimados?
Recursos impressionantes levam rapidamente à superestimação de sistemas de IA como o ChatGPT. No entanto, os debates sobre o GPT-3 em 2019 ainda parecem ter impacto hoje: o ChatGPT raramente é mencionado na mídia como um precursor direto da inteligência artificial geral.
Isso também ocorre porque os sistemas repetidamente cometem erros de cálculo absurdos, alucinam fatos ou tiram conclusões incorretas. Esses exemplos mostram o que falta nos modelos: raciocínio lógico e um modelo do mundo fisicamente fundamentado.
Na pesquisa, os modelos de linguagem, portanto, tornam-se objeto de debates sobre o papel da sintaxe e da semântica, do conhecimento não linguístico e linguístico e das diferenças entre pensar e falar.
Um debate central é se os modelos de linguagem aprendem apenas estatísticas de superfície – isto é, se eles são “papagaios estocásticos” – ou se eles aprendem representações internas do processo que gera as sequências que eles veem. Em outras palavras, um modelo de linguagem simplesmente repete o que memorizou ou aprendeu modelos de linguagem que representam internamente, por exemplo, regras gramaticais ou sintaxe de linguagem de programação?
De pássaros brincando de Otelo
Um novo artigo de pesquisadores da Harvard University, do Massachusetts Institute of Technology e da Northeastern University agora fornece argumentos para a segunda posição.
A equipe treinou um modelo GPT (Othello-GPT) com movimentos Othello para prever novos movimentos legais. Após o treinamento com movimentos, a taxa de erro na previsão de movimentos legais foi de 0,01%. Um Othello GPT não treinado teve uma taxa de erro de 93,29%. Os pesquisadores então investigaram se as representações internas do jogo poderiam ser encontradas na rede neural artificial.
Para ilustrar os critérios que devem ser usados para atribuir um modelo interno a um sistema, os pesquisadores fornecem um experimento mental:
Imagine que você tem um amigo que gosta do jogo de tabuleiro Otelo e costuma ir à sua casa para jogar. Vocês dois levam a competição a sério e ficam em silêncio durante o jogo, exceto para anunciar cada movimento à medida que o executam, usando a notação padrão de Otelo. Agora imagine que há um corvo empoleirado do lado de fora de uma janela aberta, fora da vista do tabuleiro de Otelo. Depois de muitas visitas de seu amigo, o corvo começa a anunciar seus próprios movimentos – e, para sua surpresa, esses movimentos são quase sempre legais devido ao tabuleiro atual.
Isso levanta a questão de como o corvo percebe essa habilidade. A equipe sugere duas possibilidades:
- Está produzindo movimentos legais por estatísticas superficiais “costuradas ao acaso”, como quais aberturas são comuns ou o fato de que os nomes dos quadrados dos cantos serão anunciados mais tarde no jogo?
- Ou está de alguma forma rastreando e usando o estado do jogo, mesmo que nunca tenha visto o tabuleiro?
Nenhuma resposta clara pode ser dada analisando apenas o comportamento do corvo. Mas um dia, enquanto limpamos a janela, descobrimos um arranjo em forma de grade de dois tipos de alpiste – e esse arranjo é surpreendentemente semelhante ao do nosso último jogo Otelo.
No próximo jogo, observamos o corvo:
Com certeza, as sementes mostram sua posição atual e o corvo está cutucando mais uma semente com o bico para refletir o movimento que você acabou de fazer. Em seguida, ele começa a examinar as sementes, prestando atenção especial às partes da grade que podem determinar a legalidade do próximo movimento.
Decidimos enganar o corvo: distraímos e colocamos algumas sementes em uma nova posição.
Quando o corvo olha para o tabuleiro, ele inclina a cabeça e anuncia um movimento, que só é legal na nova posição reorganizada.
Neste ponto, temos que admitir ao corvo que suas habilidades são baseadas em mais do que apenas estatísticas superficiais. Ele aprendeu um modelo de jogo que podemos entender e usar para controlar seu comportamento.
Claro, há coisas que Crow não representa:
O que faz uma boa jogada, o que significa jogar, que vencer te deixa feliz, que uma vez você fez jogadas erradas de propósito para animar seu amigo e assim por diante.
Então o corvo “entendeu” Otelo, é “inteligente”? Os pesquisadores evitam responder a essas perguntas por enquanto, mas “podemos dizer, no entanto, que desenvolveu uma representação interpretável (comparada com a da cabeça do corvo) e controlável (pode ser alterada com propósito) do estado do jogo”.
Othello-GPT como um teste sintético para grandes modelos de linguagem.
Em nosso experimento mental, o corvo externaliza seu modelo de Otelo e o torna interpretável para nós. Agora, a natureza raramente nos faz o favor de exteriorizar representações internas dessa maneira – um problema central que levou a décadas de debate sobre a cognição em animais. A descoberta de colocar células em ratos foi, portanto, uma descoberta digna do Prêmio Nobel: provou que há algo na ideia de que cérebros biológicos constroem modelos de seu ambiente.
As representações internas em redes neurais, por outro lado, são muito mais fáceis de estudar, e a equipe as está usando para testar seu “corvo” neural Othello-GPT. Os pesquisadores treinam 64 pequenas redes neurais (MLPs) independentes cuja tarefa é classificar cada um dos 64 quadrados do tabuleiro do jogo Othello em três estados: preto, branco e branco. No entanto, a entrada não é o tabuleiro do jogo, mas as representações internas do Othello GPT. Se estes representarem o tabuleiro do jogo, os MLPs treinados finais devem ser capazes de realizar sua tarefa.
A equipe consegue mostrar que a taxa de erro dos classificadores cai para 1,7% como resultado do treinamento. Isso, dizem eles, indica que existe um “modelo de mundo” do jogo na representação interna do Othello-GPT. Uma visualização dos vetores dos MLPs também mostra que o treinamento cria uma geometria emergente que representa o tabuleiro do jogo, disseram eles.
Mas o modelo GPT usa esse modelo para prever novos movimentos? Para responder a essa pergunta, a equipe altera os estados do modelo interno, da mesma forma que alteramos o modelo do corvo no experimento mental. Em seu experimento, os pesquisadores confirmam que alterar seletivamente a representação do estado de um tabuleiro, o que é importante para prever o próximo movimento, de fato altera a previsão.
Eles dizem que isso mostra que o Othello-GPT não apenas constrói um modelo interno do jogo, mas também o usa para fazer previsões. Além disso, essa descoberta pode ser usada para mostrar como uma rede chega a suas previsões. Para esse fim, os pesquisadores mostram um “mapa de saliência local” que marca os campos relevantes para uma decisão e, assim, revela diferenças entre as representações de duas variantes Othello-GPT treinadas de maneira diferente.
Papagaios subestimados
Com o Othello-GPT, a equipe mostra que os modelos GPT são capazes de aprender modelos mundiais e os estão usando para fazer previsões. No entanto, dar o salto do tabuleiro para a linguagem natural é difícil:
Para LLMs reais, estamos no nosso melhor, conhecemos apenas uma pequena fração do modelo mundial por trás. Como controlar os LLMs de maneira minimamente invasiva (mantendo outras representações do mundo), mas eficaz, continua sendo uma questão importante para pesquisas futuras.
A equipe, portanto, propõe abordar o estudo de grandes modelos de linguagem por meio de jogos mais complexos e ferramentas gramaticais com dados sintéticos.
No entanto, o trabalho já está contribuindo para um melhor entendimento da arquitetura de transformadores e modelos de linguagem e é consistente com outras pesquisas que encontraram evidências em modelos GPT de representações internas de conceitos simples como cor ou direção.
Se esses resultados forem confirmados em grandes modelos de linguagem, provavelmente devemos pensar em colocá-los pelo menos em algum lugar entre papagaios estocásticos e corvos reais.