Sumário
O AITemplate da Meta pode executar código da estrutura PyTorch AI até doze vezes mais rápido. Entre outros, os sistemas de IA de imagem, como o Stable Diffusion, se beneficiam significativamente.
O AITemplate (AIT) da Meta é um sistema de inferência unificado com back-ends de aceleração separados para GPUs AMD e Nvidia. Ele pode realizar inferência de alto desempenho no hardware de ambos os fornecedores de GPU – sem a necessidade de uma implementação totalmente nova do modelo de IA que, de outra forma, seria necessária ao trocar de fornecedor.
A Meta está disponibilizando o AITemplate como código aberto e promete desempenho quase nativo do hardware Tensor Core (Nvidia) e Matrix Core (AMD) para uma variedade de modelos comuns de IA, como modelos CNNs, Transformers e Diffusion.
AITemplate é até doze vezes mais rápido, segundo Meta
O AITemplate converte modelos de IA em código de modelo de GPU C++ de alto desempenho como uma estrutura Python, acelerando a inferência. De acordo com a Meta, o AITemplate pode acelerar a inferência de IA em até 12x nas GPUs Nvidia e em até 4x nas GPUs AMD em comparação com o modo Eager no PyTorch. No modo Eager, as chamadas de API não são executadas até que sejam invocadas. O PyTorch é definido como modo de execução avançada por padrão.
A estrutura oferece inúmeras inovações de desempenho, de acordo com a Meta, incluindo fusão avançada de kernel, um método de otimização que combina vários kernels em um único kernel para executar com mais eficiência e otimizações avançadas para blocos transformadores.
A estrutura de código aberto do Meta pode acelerar a Stable Diffusion
Meta também oferece modelos comumente usados prontos para uso com AITemplate, incluindo Vision Transformer, BERT, Difusão estável , ResNet e MaskRCNN. O sistema de AI de imagem generativa Stable Diffusion (SD) é executado cerca de 2,4 vezes mais rápido com AIT em uma GPU Nvidia, permitindo contornar um erro de falta de memória em um teste em um RTX 3080 mesmo com configurações SD altas.
Na prática, o AIT da Meta pode assim acelerar a geração e o processamento de imagens com Stable Diffusion ou possibilitar resoluções mais altas, por exemplo. A implementação de AIT em soluções comuns como Stable Diffusion WebUI é provavelmente apenas uma questão de tempo.
De acordo com a Meta, o lançamento do AITemplate também é apenas o começo de uma longa série de lançamentos planejados no caminho para a construção de um poderoso mecanismo de inferência de IA. Outras otimizações estão planejadas, bem como a expansão para outros sistemas de hardware, como AppleGPUs e CPUs da série M de outras empresas.
Metas AITemplate está disponível em GitHub .