CICERO é o mais recente sistema de IA da Meta que pode negociar com humanos em linguagem natural, convencê-los de estratégias e cooperar com eles. O jogo de estratégia “Diplomacy” serve como referência.
De acordo com a Meta, o CICERO é a primeira IA de linguagem que pode jogar o jogo de tabuleiro “Diplomacia” em nível humano. Em Diplomacy, os jogadores negociam o equilíbrio de poder europeu antes da Primeira Guerra Mundial.
Representando a Áustria-Hungria, Inglaterra, França, Alemanha, Itália, Rússia e Turquia, os jogadores formam alianças estratégicas e as quebram quando é a seu favor. Todos os movimentos são planejados e executados simultaneamente. Negociação hábil é, portanto, o núcleo do jogo.
diplomacia de nível humano
O CICERO é otimizado para diplomacia e o jogo também serve como referência para as habilidades linguísticas do modelo: em 40 jogos online em 72 horas no “webDiplomacy.net”, o CICERO obteve mais que o dobro da pontuação média dos jogadores humanos e ficou entre os primeiros dez por cento, de acordo com a Meta.
O agente CICERO é projetado para negociar e estabelecer alianças com humanos, segundo Meta. A IA deve ser capaz de inferir as crenças e intenções dos jogadores a partir de conversas – uma tarefa que a equipe de pesquisa da Meta diz ter sido vista como “um grande desafio quase impossível” no desenvolvimento de IA por décadas.
De acordo com Meta, o CICERO é tão bem-sucedido em jogar Diplomacia que os jogadores humanos preferem se aliar à IA. Nos jogos online, o CICERO encontrou 82 jogadores humanos diferentes que não sabiam que o CICECO é um sistema de IA. Apenas um jogador expressou uma suspeita de bot no chat após um jogo, mas foi sem consequências.
No artigo, os pesquisadores descrevem um caso em que CICERO foi capaz de dissuadir um jogador humano de fazer um movimento planejado e convencê-lo a fazer um novo movimento que fosse mutuamente benéfico.
Primeiro planeje, depois fale
Em sua essência, o CICERO trabalha com dois sistemas: Um planeja os movimentos para si e para seus parceiros, o segundo traduz esses movimentos em linguagem natural e os explica aos jogadores para convencê-los de seu planejamento.
O modelo de linguagem do CICERO é baseado em um modelo de linguagem de transformador pré-treinado (BART) com 2,7 bilhões de parâmetros que foram ajustados com mais de 40.000 jogos de diplomacia. Os dados anonimizados do jogo incluíam mais de doze milhões de mensagens trocadas entre jogadores humanos, que o CICERO processou durante o treinamento.
De acordo com Meta, a abordagem de treinamento supervisionado com dados de jogos humanos, que é clássico para IAs de jogos e envolve a clonagem do comportamento de jogadores humanos, resultaria em um agente crédulo em Diplomacia que poderia ser facilmente manipulado, por exemplo, por uma frase como, “Estou feliz por termos concordado que você mudará sua unidade para fora de Paris!” Além disso, um modelo treinado puramente supervisionado poderia aprender correlações espúrias entre diálogos e ações.
Com o algoritmo de planejamento iterativo “piKL” (regularizado por política) , o modelo otimiza sua estratégia inicial com base nas previsões de estratégia para os outros jogadores, enquanto tenta ficar próximo de sua previsão inicial. “Descobrimos que o piKL modela melhor o jogo humano e leva a melhores políticas para o agente em comparação com o aprendizado supervisionado sozinho”, escreve Meta AI.
Cicero usa um módulo de raciocínio estratégico para selecionar intenções e ações de forma inteligente. Este módulo executa um algoritmo de planejamento que prevê as políticas de todos os outros jogadores com base no estado do jogo e no diálogo até o momento, considerando tanto a força de diferentes ações quanto sua probabilidade em jogos humanos, e escolhe uma ação ideal para Cícero com base nessas previsões .
O planejamento depende de um valor e função de política treinados por meio de RL de jogo próprio, que penalizou o agente por se desviar muito do comportamento humano, a fim de manter uma política compatível com humanos. Durante cada período de negociação, as intenções são recalculadas toda vez que Cicero envia ou recebe uma mensagem. No final de cada turno, Cícero joga sua intenção computada mais recentemente.
do papel
Um possível caso de uso para sistemas estilo CICERO, de acordo com a Meta, são os assistentes digitais avançados que mantêm discussões mais longas e simplificadas com as pessoas e lhes ensinam novos conhecimentos ou habilidades durante essas conversas. O próprio CICERO só pode jogar diplomacia.
O sistema também comete erros, como ocasionalmente enviar mensagens com justificativas ilógicas, contradizer seus planos ou ser “estrategicamente inadequado”. Os pesquisadores tentaram esconder esses erros da melhor maneira possível com uma série de filtros. Eles atribuem o fato de CICERO não ter sido exposto como um bot, apesar de seus erros, à pressão do tempo no jogo e ao fato de que os humanos ocasionalmente cometem erros semelhantes.
No uso deliberado da IA conversacional, permanecem “muitos problemas em aberto” na colaboração humano-agente, para a qual a diplomacia é um bom campo de teste, escrevem os pesquisadores.
Meta libera o código para Cicero como código aberto no Github . Para informações mais detalhadas sobre o projeto de IA da Meta, visite o página do projeto Cícero .