A GPU Hopper H100 da Nvidia faz sua estreia no benchmark MLPerf. O novo acelerador de IA deixa a concorrência para trás. A Qualcomm, no entanto, mostra forte desempenho em computação de ponta.
Fabricantes de hardware e provedores de serviços competem com seus sistemas de IA no benchmark MLPerf. O teste é gerenciado pela MLCommons e visa uma comparação transparente de diferentes arquiteturas de chip e variantes de sistema.
MLPerf publica diferentes resultados para treinamento e para inferência de modelos de IA a cada ano. Agora, os resultados do benchmark “MLPerfTM Inference v2.1” deste ano foram publicados.
Com 21 participantes, 5.300 resultados de desempenho, 2.400 medições de energia, uma nova divisão, um novo modelo de reconhecimento de objetos (RetinaNet) e uma nova GPU Nvidia, a última rodada estabelece novos recordes.
GPU Hopper da Nvidia mostra forte desempenho
No benchmark MLPerf, a Nvidia é a única fabricante a participar de todas as seis categorias de modelos na divisão fechada (ResNet-50, RetinaNet, RNN-T, BERT-Large 99%, BERT-Large 99,9%, DLRM). Desta vez, também mostra seu novo Hopper GPU H100 na categoria de visualização. Deve estar disponível no final do ano.
nvidia apresentou o novo H100 no GTC 2022 em março . Construída para cálculos de IA, a GPU é a sucessora da A100 da Nvidia e conta com o processo de 4 nm da TSMC e a memória HBM3. A GPU H100 vem com 80 bilhões de transistores, oferece 4,9 terabytes de largura de banda por segundo e conta com PCI Express Gen5.
A Nvidia promete inferência significativamente mais rápida em comparação com o A100. Para FP32, a GPU H100 oferece 1.000 TeraFLOP de desempenho e para FP16, 2.000 TeraFLOP. Além disso, o H100 vem com um novo motor transformador no qual o núcleos tensores de quarta geração alterne dinamicamente entre a precisão FP8 e FP16 com software especializado. Isso deve permitir que grandes modelos de linguagem sejam treinados muito mais rapidamente.
Nos resultados agora publicados, o novo GPU da Nvidia claramente se coloca à frente do A100 e de todos os outros participantes. Dependendo do benchmark, o H100 atinge uma velocidade até 4,5 vezes maior do que os sistemas baseados no A100.
Esse salto também é possível devido ao Transformer Engine, que alterna de forma inteligente a precisão, por exemplo, na inferência de BERT-Large. Mais saltos de desempenho do H100 em benchmarks futuros são possíveis: por meio de melhorias de software, a Nvidia aumentou o desempenho do A100 em 6x desde a primeira entrada no MLPerf.
Qualcomm alcança, Intel mostra Sapphire Rapids
Enquanto isso, o bem-sucedido GPU A100 ainda mantém sua liderança sobre os produtos de outros fabricantes em quase todas as categorias. A única exceção é o da Qualcomm Acelerador CLOUD AI 100 que conseguiu ultrapassar o A100 da Nvidia em algumas divisões (modelos ResNet-50 e BERT-Large 99,9%) apesar do baixo consumo de energia.
Além do A100, porém, a Nvidia também entrou na corrida com o Orin, também um SoC de baixo consumo. Ao contrário do chip da Qualcomm, o Orin competiu em todos os benchmarks de computação de borda e, portanto, ganhou o maior número de benchmarks em geral com eficiência energética 50% maior em comparação com sua estreia em abril.
Além da Nvidia e da Qualcomm, a Intel mostrou pela primeira vez o Sapphire Rapids, o primeiro design de chiplet da Intel para CPUs de servidor. Além disso, as startups de IA Biren, Moffet AI, Neural Magic e Sapeon participaram do benchmark.