Sumário
Entrevista com o Prof. Dr. Ahmad-Reza Sadeghi, Chefe do Laboratório de Segurança de Sistemas da TU Darmstadt e membro da plataforma alemã “Lernende Systeme” (sistemas de aprendizagem).
O DECODIFICADOR: Sr. Sadeghi, os sistemas de IA e o Deep Learning em particular fizeram um enorme progresso nos últimos anos. Isso representa novos desafios para a segurança de TI?
Prof. Dr. Ahmad-Reza Sadeghi: Sim. Algoritmos ou sistemas baseados em IA são frágeis do ponto de vista da segurança porque são muito dependentes de dados. Você pode facilmente manipulá-los, especialmente secretamente. Quanto mais avançados os sistemas se tornam, mais avançados são os ataques.
Recentemente, você apresentou um artigo da plataforma alemã “Lernende Systeme” (sistemas de aprendizado) sobre aprendizado de máquina distribuído. Aqui, principalmente os dados de treinamento e seu processamento são descentralizados. Isso melhora a segurança dos sistemas de IA?
Entre outras coisas, aprendizado de máquina distribuído melhora a privacidade, por exemplo, no contexto médico. Os hospitais não compartilham dados médicos entre si, mas ainda podem usar o aprendizado de máquina distribuído para treinar os mesmos sistemas com seus dados e, assim, colaborar.
Mas quando dados e modelos de IA estão espalhados por mais sistemas, há mais pontos de ataque.
Absolutamente. Computadores individuais podem ser controlados, por exemplo, por meio de software ou porque pessoas em uma instituição estão trabalhando com os invasores. Quando isso acontece, todo o modelo pode ser manipulado. Isso é chamado de envenenamento de dados e/ou modelo.
Novos caminhos para segurança de IA
Você tem a impressão de que os desenvolvedores de IA já estão considerando segurança e privacidade em seu design?
Sim, mas o desafio é não querer limitar o desempenho dos modelos com medidas de segurança. Além disso, sistemas comuns de segurança de TI não podem ser facilmente aplicados a sistemas de IA.
Você precisa encontrar novas maneiras de proteger os algoritmos de IA. Em minha pesquisa, também trabalhei extensivamente em criptografia aplicada, ou seja, computação com dados criptografados. Soluções criptográficas puras ainda não são escaláveis, especialmente para enormes modelos de IA com, às vezes, bilhões de parâmetros. Portanto, também estão sendo feitas pesquisas sobre melhorias algorítmicas, bem como soluções baseadas em hardware para segurança de IA. Outro campo interessante é o uso de IA para sistemas críticos de segurança, ou seja, algoritmos que protegem contra ataques algorítmicos.
A IA insegura representa um risco de segurança maior do que o software inseguro tradicional?
Acho que sim porque a manipulação pode ser ainda mais encoberta. Estou pensando nos mercados financeiros ou na área médica, por exemplo. O maior risco é nosso comportamento de uso: se um dia os sistemas de IA realmente automatizarem grandes partes de nossa vida cotidiana e tomarem decisões por nós, nossa dependência desses sistemas também será muito maior. Os invasores em potencial podem, portanto, causar danos muito maiores.
A segurança cibernética na era da IA é mais do que computadores inseguros
Precisamos pensar em segurança cibernética maior na era da IA?
Muito maior, sim. Precisamos incorporar mais os aspectos sociais e ter uma visão filosófica ideológica. Qual é a IA mais eficaz no momento? São os algoritmos de recomendação do Facebook, Twitter e Google. Estas são as câmaras de eco que estão mudando nossa sociedade.
Não estou preocupado com os exterminadores, estou preocupado com a crescente influência da mídia social nos países democráticos. Há estimativas de que metade dos norte-americanos não acredita mais em seu sistema de votação. Votar é fraude de qualquer maneira. As redes sociais têm um papel nisso. Quem é melhor em conduzir experimentos do que Facebook, Twitter e Google? Eles usam os melhores algoritmos disponíveis para classificação. E eles têm acesso a bilhões de conjuntos de dados.
Isso soa como um apelo, especialmente para os jovens, para decidir conscientemente o impacto que seu trabalho tem na sociedade.
Sim, acho isso importante. Grandes empresas de tecnologia fazem ofertas muito atraentes. Mas existem outros fatores além de dinheiro e status que você deve considerar para seu futuro pessoal e profissional. Precisamos de pessoas boas em todos os lugares e existem muitos cenários de aplicação positivos para inteligência artificial, especialmente em segurança cibernética
Há outro aspecto importante aqui: a Alemanha e a Europa devem se posicionar melhor na corrida pela IA. Precisamos encontrar nichos onde somos fortes em comparação com as grandes empresas de tecnologia dos EUA, e esses nichos precisam ser promovidos pela política econômica.