Sumário
A Meta está construindo o supercomputador AI mais rápido do mundo. Ele foi projetado para acelerar a pesquisa de IA da Meta e o desenvolvimento do Metaverso.
O supercomputador atende pelo nome de AI Research SuperCluster, ou RSC, para abreviar. Já está sendo usado pela Meta e, após o final da segunda fase de construção em meados de 2022, o RSC deve se tornar o supercomputador mais rápido do mundo especializado em inteligência artificial.
A construção começou no início de 2020 e a infraestrutura do supercomputador foi redesenhada desde o início, desde seus sistemas de resfriamento e fonte de alimentação até sua rede e cabeamento.
O objetivo é treinar modelos de IA com mais de um trilhão de parâmetros e conjuntos de dados com tamanho de até um exabyte. Isso é equivalente a 36.000 anos de vídeo de alta qualidade Meta escreve.
RSC: Capacidade gigantesca de treinamento de IA.
Quando a segunda fase de construção estiver concluída, o supercomputador terá acesso a 16.000 GPUs e será capaz de processar dados a uma taxa de 16 terabytes por segundo. Em comparação, o supercomputador AI da Microsoft usado para treinar o GPT-3 pode acessar 10.000 GPUs.
De acordo com os benchmarks iniciais, os fluxos de trabalho de visão computacional são executados vinte vezes mais rápido do que no cluster de GPU anterior da Meta, e grandes modelos de linguagem podem ser treinados três vezes mais rápido, escreve a empresa.
Enquanto costumava levar nove semanas para treinar um modelo de linguagem com dezenas de bilhões de parâmetros, a tarefa leva três semanas com o RSC. O objetivo é treinar modelos de linguagem com vários trilhões de parâmetros. Em comparação, o GPT-3 apresenta 175 bilhões de parâmetros.
Um supercomputador AI, muitos aplicativos
O supercomputador serve a muitos propósitos: acelerar a própria pesquisa de IA da Meta em áreas como incorporada, egocêntrica e IA multimodal melhorar moderação de conteúdo em plataformas como Facebook e Instagram, avaliando imagens, vídeos e textos com mais rapidez e precisão.
Além disso, deve treinar modelos de linguagem mais complexos para tradução e reconhecimento de fala e permitir avanços em recursos de realidade aumentada como o reconhecimento de objetos que serão importantes no desenvolvimento de óculos AR.
“Esperamos que o RSC nos ajude a desenvolver sistemas de IA totalmente novos que, por exemplo, permitam a tradução de idiomas em tempo real para grandes grupos de pessoas que falam um idioma diferente, para que possam colaborar perfeitamente em um projeto de pesquisa ou jogar um jogo AR juntos. “, Meta escreve.
“Em última análise, o trabalho feito com a RSC abrirá caminho para o desenvolvimento de tecnologias para a próxima grande plataforma de computação – a Metaverso onde aplicativos e produtos baseados em IA desempenharão um papel importante.”
Leia mais sobre a pesquisa de IA:
- IA: Seis características para bons algoritmos em medicina
- Deepfakes agora são ainda mais versáteis
- História dos robôs: de Heron a Spot para o futuro da IA