Sumário
O Google dá uma olhada no LaMDA, o sistema de IA que pode levar o Google Assistant a um novo nível.
Em maio de 2021, o Google apresentou duas IAs principais em sua conferência de desenvolvedores de I/O: o MUM (modelo unificado multimodal) treinado para pesquisa e a IA de diálogo LaMDA (modelo de linguagem para aplicativos de diálogo).
O CEO do Google, Sundar Pichai, demonstrou as capacidades da IA de diálogo: LaMDA conduziu uma conversa com um humano sobre Plutão e aviões de papel – para isso, a IA se colocou no papel dos objetos e respondeu a partir de sua perspectiva.
Portanto, enquanto o MUM é o futuro da pesquisa, o LaMDA pode aposentar o atual assistente do Google.
Google publica artigo LaMDA
Então, em setembro de 2021, houve uma atualização no MUM incluindo um roteiro para a introdução gradual do modelo multimodal na Pesquisa do Google. Agora, em uma postagem no blog e em um artigo, o Google fornece informações sobre o estado atual do LaMDA e detalha o processo de treinamento.
Conforme anunciado anteriormente, o LaMDA conta com a arquitetura Transformer e é especializado em diálogo. O objetivo é um sistema de IA que possa ter conversas de alta qualidade, mais seguras e mais informadas, diz o Google. O Google mede a qualidade em três categorias: Empatia, Especificidade e Relevância.
As respostas também devem se tornar verificáveis com base em fontes externas. Os modelos de linguagem atuais, como o GPT-3, extraem informações diretamente de seus modelos e são conhecidos por respostas que parecem plausíveis, mas podem contradizer os fatos.
O LaMDA também foi projetado para evitar obscenidades, conteúdo violento e calúnias ou estereótipos odiosos em relação a determinados grupos de pessoas. O desenvolvimento de métricas práticas de segurança ainda está em seus estágios iniciais e muito progresso precisa ser feito, escreve o Google.
LaMDA é (pré) treinado com diálogo
O maior modelo LaMDA tem 137 bilhões de parâmetros e é treinado com o conjunto de dados Infiniset. Segundo o Google, o Infiniset inclui 2,97 bilhões de documentos e 1,12 bilhão de diálogos. No total, o LaMDA foi treinado com 1,56 trilhão de palavras. O forte foco nos dados de diálogo ao pré-treinar o modelo de linguagem melhora os recursos de diálogo mesmo antes do ajuste fino subsequente, afirma a equipe do Google.
Após o treinamento com o Infiniset, a equipe do Google treinou o LaMDA com três conjuntos de dados criados manualmente para maior qualidade, confiança e solidez. O primeiro conjunto de dados contém 6.400 diálogos com rótulos para respostas significativas, específicas e interessantes, e o segundo conjunto de dados contém quase 8.000 diálogos com rótulos para respostas seguras e inseguras.
O terceiro conjunto de dados inclui 4.000 diálogos nos quais os crowdworkers enviam consultas a uma fonte externa e usam os resultados para personalizar as respostas do LaMDA, e outros 1.000 diálogos nos quais as consultas geradas pelo LaMDA a fontes externas são avaliadas.
LaMDA avança
Após o treinamento, o LaMDA pode fazer perguntas a fontes externas para coletar informações para obter respostas. Para cada resposta, o LaMDA gera múltiplas variantes, que são então avaliadas por classificadores aprendidos quanto à certeza, significância, especificidade e relevância.
Conforme mostrado na primeira demonstração na conferência de desenvolvedores do Google, o LaMDA pode ser um parceiro de conversa normal ou assumir o papel de objetos. Em um exemplo, LaMDA fala como Monte Everest. No diálogo, os fatos são comprovados com as fontes.
Portanto, o LaMDA pode responder a consultas de fatos simples, mas um raciocínio mais complexo ainda está fora de alcance, mesmo para o modelo de linguagem do Google, disse a equipe.
A qualidade das respostas é, em média, de alto nível, mas o modelo ainda sofre de problemas sutis de qualidade, diz o Google. Por exemplo, ele pode prometer repetidamente responder à pergunta de um usuário no futuro, tentar encerrar a conversa prematuramente ou fornecer informações incorretas sobre o usuário.
Google: “Uma receita para LaMDAs”
Mais pesquisas também são necessárias para desenvolver padrões robustos de segurança e justiça, disse o Google. Um problema entre muitos é o meticuloso processo de criação de dados de treinamento apropriados.
Por exemplo, a população de crowdworker não reflete toda a base de usuários. Nesse caso, por exemplo, a faixa etária entre 25 e 34 anos está super-representada. No entanto, o Google diz que os resultados mostram que a segurança e a solidez dos modelos de linguagem podem ser melhoradas usando modelos maiores e ajustando-os com dados de alta qualidade.
O Google pretende aproveitar esses resultados: “Esta não é a versão final do LaMDA. Em vez disso, é uma receita para a criação de ‘LaMDAs’ e deve ser vista como uma forma de eventualmente criar versões prontas para produção para aplicações específicas.”
O desenvolvimento de novas maneiras de melhorar a segurança e solidez do LaMDA deve ser o foco de pesquisas futuras.
Mais sobre Inteligência Artificial:
- Chefe de IA da Meta: três grandes desafios da inteligência artificial
- Hiperredes: a inteligência artificial constrói-se a si própria
- OpenAI: investimento milionário e um novo modelo de IA