Sumário
Depois do Alpaca vem o Vicuna, um chatbot de código aberto que, segundo seus desenvolvedores, está ainda mais próximo do desempenho do ChatGPT.
Vicunha segue a fórmula alpaca e usa ChatGPT saída do para ajustar um grande modelo de linguagem do Metas LLaMA família. A equipe por trás do Vicuna inclui pesquisadores da UC Berkeley, CMU, Stanford e UC San Diego.
Enquanto Alpaca e outros modelos inspirados por ele são baseados na versão de 7 bilhões de parâmetros do LLaMA, a equipe por trás do Vicuna usa a variante maior de 13 bilhões de parâmetros.
Para o ajuste fino, a equipe usa 70.000 conversas compartilhadas por usuários na plataforma ShareGPT usando o ChatGPT da OpenAI.
O treinamento da vicunha custa metade do da alpaca
O custo da Vicunha era de cerca de EUA$ 300 – metade do custo da Alpaca, apesar de ter quase o dobro do tamanho. O motivo: os dados compartilhados do ShareGPT estão disponíveis gratuitamente, enquanto Stanford gerou seus próprios dados por meio da API OpenAI. Portanto, a Vicuna tem apenas custos de treinamento. Assim como o modelo de Stanford, a Vicunha é liberada apenas para uso não comercial.
Em testes com questões de referência, o Vicuna mostra respostas significativamente mais detalhadas e melhor estruturadas do que o Alpaca após o ajuste fino com os dados do ShareGPT. Eles estão em um nível comparável ao ChatGPT, escreve a equipe.
Para avaliar melhor o desempenho de seu chatbot, a equipe está usando GPT-4 o modelo mais recente da OpenAI, capaz de fornecer classificações consistentes e pontuações detalhadas ao comparar diferentes chatbots.
A equipe compara o GPT-4 com uma versão de 13 bilhões de parâmetros do Alpaca, o modelo LLaMA original da Meta, o Bard do Google e o ChatGPT. GPT-4 mostra ChatGPT no topo, Vicunha e Bard quase empatados, Alpaca e LLaMA bem atrás. No entanto, o benchmark GPT-4 é “não científico” e uma avaliação mais aprofundada é necessária, disse a equipe.
O modelo Vicuna está disponível para uso não comercial
Vicunha conhece problemas como fraqueza de raciocínio e matemática e produz alucinações. Para a demonstração publicada, a equipe também conta com a API de moderação da OpenAI para filtrar a saída inadequada. “No entanto, prevemos que a vicunha pode servir como um ponto de partida aberto para pesquisas futuras para lidar com essas limitações”.
Com seu primeiro lançamento, a equipe liberou códigos relevantes, como para treinamento. Desde então, também lançou os pesos do modelo Vicuna-13B, embora estes exijam um modelo LLaMA-13B existente.
Quem quiser experimentar a Vicunha pode fazê-lo através deste demonstração.