A Meta quer eliminar as barreiras linguísticas com a ajuda da tradução assistida por IA. Um novo sistema pode traduzir o Hokkien, o idioma predominantemente falado, para o inglês e vice-versa em tempo real.
Meta conecta pessoas nas redes sociais e um dia, quem sabe, no Metaverso. No processo, a empresa identificou a barreira do idioma como um obstáculo e vem pesquisando como superá-la há anos.
Tradução direta de fala para fala
Agora a Meta está revelando o próximo passo na tradução automática mais próxima de sua grande visão: um Tradutor Universal de Fala. Seu novo sistema pode traduzir o Hokkien, idioma taiwanês falado principalmente e com poucos recursos, para o inglês e vice-versa em tempo real. O sistema traduz a fala diretamente para o idioma sem ter que fazer um desvio usando a tradução de texto.
O desafio, segundo Meta, estava principalmente na escassez de dados de treinamento. A Meta, portanto, usou o mandarim como um idioma intermediário, traduzindo o Hokkien falado para o texto em mandarim e depois para o inglês falado e vice-versa. O uso de uma linguagem rica em recursos melhorou significativamente o desempenho do modelo, de acordo com a Meta.
Usando um codificador de linguagem , Meta também foi capaz de codificar incorporações de linguagem em Hokkien no mesmo espaço semântico de outras línguas, onde poderia então ser alinhado com o inglês falado e escrito. A partir dos textos, Meta por sua vez gerou o inglês falado, obtendo assim o Hokkien e o inglês em paralelo. A Meta chama esse processo de “mineração de fala”.
Para tradução de fala para fala, a Meta usou tradução de fala para unidade (S2UT), que traduz uma entrada de fala em uma sequência de unidades acústicas por meio de um caminho desenvolvido pela Meta . Usando UnitY como um mecanismo de decodificação de duas passagens, o decodificador gera texto em um idioma relacionado (mandarim) na primeira passagem e cria unidades acústicas na segunda passagem.
De acordo com Meta, os primeiros métodos desenvolvidos para Hokkien podem ser aplicados a muitas outras línguas escritas e não escritas. Meta está lançando o sistema e um grande corpus de traduções fala-a-fala como fonte aberta para o desenvolvimento de outros sistemas de tradução. Uma demonstração Hokkien é disponível em Hugging Face.
(1/3) Até agora, a tradução de IA concentrou-se principalmente em idiomas escritos. O Universal Speech Translator (EUAT) é o primeiro sistema de tradução de fala para fala com IA para um idioma principalmente oral, traduzindo Hokkien, um dos muitos idiomas principalmente falados. https://t.co/onYKQ8uoKN pic.twitter.com/Iy8MRMOypQ
— Meta AI (@MetaAI) 19 de outubro de 2022
Meta tem pesquisado tradução de IA por anos
Atualmente, o modelo Hokkien pode traduzir apenas uma frase completa por vez. No entanto, a Meta vê o modelo como um passo em direção a um futuro com tradução simultânea entre vários idiomas. Para conseguir isso, o Meta conta com treinamento de IA não supervisionado (também chamado de autosupervisionado) com grandes quantidades de dados de fala e texto combinados com reconhecimento de fala, tradução de texto para texto e síntese de texto para fala.
“Nosso progresso no aprendizado não supervisionado demonstra a viabilidade de construir modelos de tradução de fala para fala de alta qualidade sem nenhuma anotação humana”, escreve Meta.
Para o CEO da Meta, Mark Zuckerberg, a tradução universal é um “superpoder com o qual as pessoas sempre sonharam”. Meta revelou um sistema de IA treinado não supervisionado para retrotradução em 2018 , M2M-100 sistema capaz de traduzir 100 idiomas, em 2020, e sua evolução em 2021 que obteve as melhores notas no benchmark WMT2021 para tradução.
Em fevereiro de 2022, a Meta apresentou o Projeto “No Language Left Behind” para traduções universais em tempo real, mesmo de idiomas raros. isso foi seguido no verão de 2022 por NLLB-200 um modelo para traduzir 200 idiomas.
Toda a pesquisa de tradução de IA na Meta se reúne sob a égide do projeto Universal Speech Translator, que também é a grande visão.