Sumário
Dados sensíveis e expressões racistas surgiram na análise de textos de treinamento do modelo de linguagem de código aberto Bloom. Uma ferramenta de pesquisa de conjunto de dados mostra isso e deve melhorar a transparência de modelos futuros.
“Por que os LMs dizem o que dizem? Muitas vezes não sabemos – mas agora podemos ter uma ideia melhor.” Com estas palavras, o pesquisador da PNL Aleksandra “Ola” Piktus anuncia seu mais recente projeto no Twitter.
Junto com Hugging Face, a pesquisadora lançou o aplicativo de pesquisa “Roots” para o modelo Bloom de código aberto que pode ser usado para pesquisar o banco de dados subjacente de 176 bilhões de parâmetros em 59 idiomas.
O Bloom foi lançado em julho de 2022 e é uma alternativa de código aberto ao GPT-3 da OpenAI especialmente porque está disponível gratuitamente e é multilíngue.
Ferramenta visa elevar o nível do modelo de linguagem “para a próxima geração”
A capacidade de navegar pelo material de treinamento sem conhecimento de programação é necessária para desenvolver um entendimento comum de problemas gerais e elevar o nível dos modelos de linguagem da próxima geração, diz Piktus.
Usando o mecanismo de busca Roots, ela encontrou dados privados confidenciais, contaminação de linguagem e notícias falsas. Uma mulher já havia usado um mecanismo de busca semelhante para imagens de treinamento de IA para encontrar fotos médicas privadas de si mesma no conjunto de dados.
O Roots pesquisa 1,6 TB de dados de texto em 46 linguagens naturais e 13 linguagens de programação. A análise de Piktus mostra: pontos de dados individuais variam drasticamente em tamanho. Para compará-los e classificá-los, ela os dividiu em passagens de tamanho igual de 128 palavras e atribuiu a cada um um ID exclusivo.
Os dados confidenciais são apagados em vez de removidos
O conjunto de dados OSCAR chamou a atenção de Piktus como uma fonte particularmente grande de dados pessoais. Para evitar que isso se torne público por meio do mecanismo de pesquisa, é aplicado um script que escurece os resultados. “Dessa forma, pode-se inspecionar os dados e observar o problema, mas as informações pessoais são predominantemente removidas”, disse o estados de papel acompanhantes .
Racismo e discurso de ódio podem vir de legendas de filmes
Os pesquisadores envolvidos também observaram evidências de “texto de baixa qualidade”, como calúnias raciais, linguagem sexualmente explícita ou discurso de ódio, alguns dos quais vieram de registros com legendas de filmes.
Enquanto os humanos podem contextualizar essa forma de linguagem, que geralmente é usada conscientemente, um modelo de linguagem a adota sem classificação, dizem os pesquisadores.
A versão atual da ferramenta é fortemente influenciada pela interface do usuário dos mecanismos de pesquisa populares. No futuro, os pesquisadores planejam exibir informações mais quantitativas, como a frequência de determinados termos, o número de ocorrências ou estatísticas de coocorrência.