Sumário
O OpenAI Foundry está definido para se tornar um novo serviço para empresas. Um vazamento fornece informações sobre o preço do modelo – e quão poderoso o GPT-4 pode se tornar.
A OpenAI está lançando um novo produto para desenvolvedores chamado Foundry, projetado para “clientes de ponta executando cargas de trabalho maiores, permitindo inferência em escala”. Diz-se que o Foundry oferece às empresas controle total sobre a configuração do modelo e o perfil de desempenho. A informação vem de capturas de tela compartilhadas por um usuário do Twitter do programa de acesso antecipado da Foundry.
A OpenAI anunciou em particular um novo produto para desenvolvedores chamado Foundry, que permite aos clientes executar a inferência de modelo OpenAI em escala com capacidade dedicada.
Ele também revela que DV (Davinci; provavelmente GPT-4) terá até 32k de comprimento de contexto máximo na versão pública. ? pic.twitter.com/5KEsWLqPdc
– Travis Fischer (@transitive_bs) 21 de fevereiro de 2023
A Foundry promete alocação estática de capacidade de computação e acesso a vários modelos e ferramentas que a própria OpenAI usa para desenvolver e otimizar seus próprios modelos de IA.
Vazamento de OpenAI mostra um grande salto na janela de contexto GPT de última geração
Os preços variam de $ 26.000 a $ 156.000 por mês, dependendo do modelo e prazo do contrato. A tabela no documento mostra três modelos: GPT-3.5 Turbo e duas variantes de DV. O modelo GPT-3.5 Turbo corresponde presumivelmente a ChatGPT modelo Turbo, e o nome DV poderia significar Davinci, que já é o nome da maior variante de GPT-3 e GPT-3.5 .
Esses dois modelos de DV estão disponíveis em duas versões: uma com cerca de 8.000 tokens de contexto – que é o dobro do tamanho do ChatGPT – e outra com 32.000 tokens de contexto. Se esses números forem confirmados, seria um grande salto, então poderia ser GPT-4 ou um antecessor direto. O comprimento do contexto determina a quantidade de texto que um modelo Transformer como o GPT-3 pode processar em sua entrada, no caso do ChatGPT, o conteúdo do chat atual.
Mais contexto poderia permitir novas aplicações para os modelos de linguagem
O maior modelo DV teria, portanto, oito vezes o comprimento de contexto dos atuais modelos GPT da OpenAI e provavelmente poderia processar bem mais de 30.000 palavras ou 60 páginas de contexto. Tal modelo poderia ler artigos científicos inteiros, resumir estudos ou executar tarefas de programação muito maiores. Os casos de uso resultantes podem fazer com que o ChatGPT pareça uma demonstração desatualizada.
Mais contexto também pode permitir novas formas de engenharia imediata. Por exemplo, no final de 2022, pesquisadores da Université de Montréal e do Google Research revelaram ” solicitação algorítmica “, um método que permite que grandes modelos de linguagem atinjam taxas de erro até dez vezes menores ao resolver tarefas matemáticas e lógicas. A equipe desenvolveu prompts detalhados que descrevem algoritmos para resolver as tarefas em questão. Em seu artigo, eles especulam que, com comprimentos de contexto mais longos, são possíveis prompts algorítmicos ainda mais extensos, o que poderia melhorar significativamente o desempenho no raciocínio lógico, por exemplo.
Até o momento, a OpenAI não confirmou oficialmente os planos, mas segundo o usuário do Twitter, a empresa apagou os documentos vazados que antes estavam disponíveis no Google Docs.