Sumário
A incerteza é uma companhia constante para humanos e animais. Aqueles que podem lidar melhor com isso têm uma vantagem. Isso também se aplica à inteligência artificial, como mostra o Deepmind.
As criaturas biológicas estão constantemente expostas à incerteza em seu ambiente. Seu conhecimento sobre seu ambiente imediato, eventos futuros ou os efeitos de suas próprias ações é limitado. O manejo mais ou menos competente da incerteza pela inteligência humana é um de seus grandes pontos fortes.
Lidar com a incerteza também é uma questão importante no campo da inteligência artificial: os sistemas de IA devem saber quando não sabem algo, quando devem ser cautelosos e quando precisam assumir riscos, especialmente em áreas de aplicação de alto risco, como infra-estrutura, saúde ou militares.
A incerteza na tomada de decisões vem em duas formas
Em 1921, o economista Frank H. Knight propôs uma distinção entre duas formas fundamentalmente diferentes de incerteza na tomada de decisões: risco e ambigüidade.
Risco está presente sempre que, em uma situação conhecida, o resultado de um evento é incerto, mas as probabilidades podem ser computadas, como no jogo de dados, por exemplo. Ambiguidade por outro lado, refere-se a situações desconhecidas em que as probabilidades não são conhecidas ou não podem ser determinadas.
Quase 40 anos após a publicação de Knight, Daniel Ellsberg, também economista, defendeu as vantagens evolucionárias de diferentes mecanismos de decisão para situações conhecidas mas incertas (risco) sobre situações inteiramente novas (ambiguidade).
Desde então, os pesquisadores descobriram correlações entre mecanismos de tomada de decisão e diferentes padrões de atividade neural no cérebro humano.
Deepmind mostra como a IA pode lidar com riscos e ambiguidades
Em um novo artigo, uma equipe da mente profunda mostra como os agentes de IA podem aprender a lidar com ambas as formas de incerteza por meio do meta-aprendizado. Para conseguir isso, a equipe modifica os algoritmos de meta-aprendizagem usados para agentes de IA para torná-los sensíveis ao risco e à ambiguidade.
Até agora, dizem eles, o treinamento de meta-aprendizagem resultou principalmente em agentes de IA que são neutros em relação a riscos e ambigüidades porque são guiado apenas pelo retorno esperado e agir em novas situações como se a incerteza fosse conhecida.
A Deepmind espera que a nova pesquisa mostre que este não é necessariamente o único resultado do meta-aprendizado – e, portanto, uma solução implícita para problemas de otimização.
Na abordagem proposta, a equipe modifica o processo de geração de experiência dos agentes de IA, por exemplo, implantando um segundo agente no ambiente durante o treinamento para antecipar os planos do primeiro agente de IA e aumentar sua probabilidade de sucesso. Isso então leva a um agente de IA que assume riscos disseram os autores.
A sensibilidade à ambigüidade, por outro lado, ocorre quando um agente de IA recebe conselhos de vários agentes, que naturalmente discordaria em novas situações. Dessa forma, o agente de IA aprende a melhor forma de lidar com conselhos conflitantes.
Os agentes de IA da Deepmind aprendem sensibilidade ao risco e à ambiguidade
Em seu trabalho, os pesquisadores da Deepmind treinam agentes de IA com os algoritmos de meta-aprendizagem propostos e mostram em vários experimentos de tomada de decisão que seus agentes desenvolver sensibilidade ao risco e à ambiguidade e, portanto, têm melhor desempenho em certos casos do que agentes sem eles.
Eles também mostram como agentes em experimentos de urna, por exemplo, podem aprender informações que faltam em seus sorteios e assim reduzir a ambigüidade ao risco.
A maioria dos modelos de IA hoje não consegue distinguir entre o que eles sabem e o que não sabem, de acordo com a Deepmind, mas essa capacidade é crítica para sistemas de IA robustos que podem lidar de forma confiável com nosso mundo altamente incerto e dinâmico. Freqüentemente, essa robustez está associada à sensibilidade ao risco, mas também está intimamente relacionada à ambiguidade de Knight, disseram eles.
“Mostramos dois mecanismos simples para induzir a sensibilidade ao risco e à ambigüidade. Ambos dependem do histórico de observações, ações e recompensas do agente. Dessa forma, os agentes podem
tornam-se caçadores de incertezas ou avessos, dependendo das experiências dentro de um contexto particular”, escreve a equipe. ” Mostramos como lidar com risco e ambiguidade em um ambiente dependente de dados
maneira com nossos mecanismos de meta-treinamento.”
A esperança é que os mecanismos propostos sejam o ponto de partida para métodos dependentes de dados para o estudo e aplicação da sensibilidade à incerteza em humanos e máquinas.
Detalhes completos e outras considerações interessantes, como a relação de incerteza com mundos fechados e abertos, estão disponíveis no artigo “Beyond Bayes-Optimality: Meta-Learning What You Know You Don’t Know.”