Sumário
Os modelos de transformadores estão por toda parte – mas por que um ChatGPT realmente escreve o que escreve? Aleph Alphas AtMan deve permitir a explicabilidade para grandes modelos de Transformer.
Introduzida pelo Google em 2017, a arquitetura Transformer triunfa no processamento de máquinas de linguagem natural e agora também está sendo usada com sucesso na visão computacional e na geração de imagens. Variantes de Transformers geram e analisam texto, imagens, áudio ou dados 3D.
Com o crescente papel dos modelos de IA baseados em Transformer na sociedade em geral, por exemplo, através do ChatGPT ou em cenários de aplicação crítica, como a medicina, há uma grande necessidade de explicabilidade – por que um modelo fez essa classificação e não outra, por que gerou esta palavra e não outra?
Aleph Alphas AtMan para habilitar XAI eficiente para transformadores
O termo técnico para isso é “Explainable AI”, ou XAI para abreviar. Tais métodos visam esclarecer a caixa preta da IA e já existem para todas as arquiteturas relevantes e são usados, por exemplo, em diagnósticos de IA – embora um estudo recente tenha revelado principais deficiências nos métodos de saliência amplamente utilizado lá.
Os métodos XAI também existem para transformadores, mas eles geralmente capitulam devido a requisitos computacionais muito altos para os modelos grandes que são tão relevantes, ou apenas explicam classificações de, por exemplo, Transformadores de visão . A síntese de texto de modelos de linguagem permanece um mistério para eles.
Pesquisadores da start-up alemã de IA Alef Alfa TU Darmstadt, o centro de pesquisa Hessian.AI e o Centro Alemão de Pesquisa em Inteligência Artificial (DFKI) demonstram o AtMan (manipulação de atenção), um método XAI eficiente que funciona com modelos de transformadores grandes e multimodais e pode explicar as classificações e a saída generativa .
O método Aleph Alphas usa perturbações para medir como um token afeta a geração de outro token. Por exemplo, a frase “Ben gosta de comer hambúrgueres e” é continuada pela palavra “fritas” no modelo de linguagem. Usando o AtMan, a equipe calcula um valor (entropia cruzada) que indica aproximadamente o quanto a sentença como um todo determinou a síntese de “batatas fritas”.
AtMan então suprime uma palavra por vez e compara como o valor muda em cada caso. No nosso exemplo, o valor aumenta significativamente assim que a palavra “hambúrguer” é suprimida, e o método XAI identificou assim a palavra que mais influenciou a síntese de “batatas fritas”.
AtMan atinge SOTA em benchmarks
Os pesquisadores comparam AtMan a outros métodos no benchmark SQuAD QA, onde seu método supera alternativas como IxG, IG e Chefer, em alguns casos por uma ampla margem. Como o AtMan realiza perturbações no espaço de incorporação no nível do token, o método pode ser facilmente usado em modelos multimodais, como Aleph Alphas MAGMA, para explicar as classificações. Novamente, o AtMan mostra melhor desempenho ao responder perguntas sobre imagens no benchmark OpenImages VQA.
A equipe também explora como o AtMan escala e conclui que seu método é muito mais adequado para uso em modelos grandes. Em um teste, o AtMan foi capaz de processar tamanhos de token de até 1.024 tokens em um modelo Transformer com até 17,3 bilhões de parâmetros em uma única GPU Nvidia A100 de 80 gigabytes, ficando abaixo de 40 gigabytes de memória. O método Chefer comparado excede o limite de memória com mais do que o dobro do requisito de memória.
O AtMan também pode ser executado em paralelo, de acordo com a equipe. Especialmente para grandes modelos de IA, que são executados distribuídos em muitas GPUs de qualquer maneira, isso pode reduzir significativamente o tempo de execução do AtMan.
Quão úteis são as explicações se ninguém as entende?
No entanto, o AtMan ainda tem algumas limitações: “Enquanto o AtMan reduz o ruído geral na explicação gerada, quando comparado aos métodos baseados em gradiente, artefatos indesejáveis ainda permanecem. Não está claro até que ponto isso se deve ao método ou à arquitetura do transformador subjacente”, escreve a equipe. Além disso, o AtMan tem desempenho pior no benchmark VQA com um modelo MAGMA dimensionado para 30 bilhões de parâmetros do que com a variante de 6 bilhões de parâmetros.
Isso pode ser devido à crescente complexidade do modelo e, portanto, à complexidade da explicação em questão, diz o artigo. “Portanto, não se espera que o alinhamento ‘humano’
com as explicações do modelo escala com seu tamanho” – um fenômeno que também poderia ocorrer com grandes modelos de linguagem. Consequentemente, o dimensionamento da explicabilidade com o tamanho do modelo deve ser mais estudado, conclui a equipe.