A Bloomberg desenvolveu um modelo de linguagem especificamente para o setor financeiro. Para treinar a IA, a empresa usou seus próprios dados financeiros e os ampliou com dados de texto online. Isso demonstra como as empresas podem desenvolver modelos de linguagem específicos de domínio que são mais úteis para sua indústria do que modelos genéricos.
As equipes de IA da Bloomberg primeiro construíram um conjunto de dados de documentos financeiros em inglês: 363 bilhões de tokens específicos financeiros vieram de seus próprios ativos de dados e outros 345 bilhões de tokens genéricos vieram de conjuntos de dados de texto online The Pile, C4 e Wikipedia.
Usando 569 bilhões de tokens desse conjunto de dados, a equipe treinou o “BloombergGPT” específico de domínio, um modelo de linguagem somente decodificador de 50 bilhões de parâmetros otimizado para tarefas financeiras. A equipe da Bloomberg usou o modelo de linguagem Bloom de código aberto como sua arquitetura base.
Para tarefas específicas de finanças, o BloombergGPT supera modelos populares de linguagem de código aberto, como GPT-NeoX, OPT e Bloom. Mas também supera esses modelos em tarefas de linguagem genérica, como resumos, em alguns casos significativamente, e está quase no mesmo nível de GPT-3 de acordo com os benchmarks da Bloomberg.
“A qualidade dos modelos de aprendizado de máquina e NLP se resume aos dados que você coloca neles”, explicou Gideon Mann, chefe da equipe de pesquisa e produto de ML da Bloomberg.
BloombergGPT ilustra o valor de modelos de linguagem específicos de domínio
De acordo com a Bloomberg, os modelos de linguagem podem ser usados em muitas áreas da tecnologia financeira, desde a análise de sentimentos em artigos, como os relacionados a empresas individuais, até o reconhecimento automático de entidades, até responder a perguntas financeiras. Por exemplo, a divisão de notícias da Bloomberg pode usar o modelo para gerar manchetes automaticamente para boletins informativos.
Além disso, o modelo precisou de apenas alguns exemplos para formular consultas na própria linguagem de consulta da Bloomberg (BQL) para extrair dados de um banco de dados. Você pode usar linguagem natural para informar ao modelo quais dados você precisa e ele gerará o BQL apropriado.
“Por todas as razões, os LLMs generativos são atraentes – poucos tiros aprendizado, geração de texto, sistemas de conversação, etc. – vemos um enorme valor em ter desenvolvido o primeiro LLM focado no domínio financeiro”, disse Shawn Edwards, diretor de tecnologia da Bloomberg.
O modelo de linguagem de domínio específico, disse ele, permite que a Bloomberg desenvolva muitos novos tipos de aplicativos e alcance um desempenho muito maior do que com modelos personalizados para cada aplicativo – tudo com um tempo de lançamento no mercado mais rápido.