O GPT-4 é supostamente seis vezes maior que o GPT-3, de acordo com uma reportagem da mídia, e a saída de Elon Musk da OpenAI abriu caminho para a Microsoft.
O site norte-americano Semafor, citando oito fontes anônimas familiarizadas com o assunto, relata que o novo OpenAI GPT-4 modelo de linguagem tem um trilhão de parâmetros. Seu antecessor, GPT-3 tem 175 bilhões de parâmetros.
Semafor revelado anteriormente Investimento de $ 10 bilhões da Microsoft na OpenAI e a integração do GPT-4 no Bing em janeiro e fevereiro, respectivamente, antes do anúncio oficial.
O número de parâmetros em um modelo de linguagem é um indicador de sua capacidade de reconhecer padrões e relacionamentos complexos em dados e desenvolver novos recursos emergentes. Os parâmetros determinam a relação entre entrada e saída por meio de pesos. Os pesos são aprendidos durante o treinamento.
Além do tamanho do modelo, a qualidade dos dados e a quantidade de dados treinados são essenciais para o desempenho da IA. Por exemplo, Deepmind chinchila mostrou que um sistema de IA com apenas 70 bilhões de parâmetros, mas um treinamento de dados mais extenso, pode superar sistemas muito maiores, como o GPT-3.
Ao anunciar o GPT-4, a OpenAI absteve-se de divulgar o número de parâmetros e os dados de treinamento utilizados, o que foi recebido com críticas. A OpenAI citou o “ambiente competitivo” como o motivo do sigilo.
Elon Musk abriu caminho para a Microsoft
A saída de Elon Musk da OpenAI em 2018 abriu caminho para a Microsoft, relata a Semafor. Musk foi um dos cofundadores da OpenAI em 2015 e um de seus patrocinadores. Ele supostamente alertou o CEO da OpenAI, Sam Altman, também cofundador, em 2018, que a OpenAI estava ficando para trás no desenvolvimento da IA do Google. Musk queria assumir a OpenAI e administrá-la ele mesmo, mas Altman e os outros cofundadores da OpenAI recusaram.
Musk então se demitiu da OpenAI em fevereiro de 2018, cancelando uma grande doação planejada. Oficialmente, a OpenAI disse na época que a saída de Musk do conselho tinha a ver com evitar conflitos de interesse em seu cargo de CEO da Tesla, que também está pesquisando IA. Andrej Karpathy, o desenvolvedor do sistema de direção autônoma da Tesla, trocou a OpenAI pela Tesla, mas desde então voltou à OpenAI.
Diz-se que Musk não fez mais pagamentos desde que deixou a OpenAI. No total, ele contribuiu com $ 100 milhões de $ 1 bilhão planejado. Sam Altman, que supostamente não tem participação na OpenAI, tornou-se presidente da OpenAI após a saída de Musk.
A descoberta de redes Transformer pelo Google em 2017 criou novas oportunidades no desenvolvimento de IA, mas também aumentou ainda mais o custo do treinamento em IA. Para acompanhar o ritmo, a OpenAI, originalmente uma startup sem fins lucrativos, anunciou uma nova estrutura com fins lucrativos em março de 2019. O investimento inicial de $ 1 bilhão da Microsoft ocorreu seis meses depois.
Depois de enorme sucesso do ChatGPT, Musk supostamente revogou o acesso da OpenAI aos dados do Twitter, que a OpenAI havia garantido contratualmente antes de Musk ingressar no Twitter. Musk criticou publicamente a evolução da OpenAI de uma organização “sem fins lucrativos” de código aberto para uma corporação fechada supostamente controlada pela Microsoft e focada em maximizar lucros.
Ainda estou confuso sobre como uma organização sem fins lucrativos para a qual doei ~ $ 100 milhões de alguma forma se tornou um valor de mercado de $ 30 bilhões para fins lucrativos. Se isso é legal, por que nem todo mundo faz?
– Elon Musk (@elonmusk) 15 de março de 2023
Elon Musk está trabalhando em uma alternativa ao ChatGPT. Ele especificamente levantou preocupações sobre possíveis visões sociais ou políticas tendenciosas no ChatGPT, que é altamente restrito pelo OpenAI. A OpenAI anunciou que, no futuro, modelos ChatGPT personalizáveis poderia representar uma maior variedade de perspectivas.