Sumário
Os pesquisadores demonstram um sistema de IA que pode reconstruir o conteúdo semântico na forma de texto a partir de dados de fMRI.
Uma interface cérebro-computador que reconstrói a linguagem teria inúmeras aplicações na ciência, na medicina e na indústria. Métodos invasivos usando gravações de eletrodos implantados cirurgicamente mostram que é possível reconstruir a linguagem para controle cerebral simples.
Mas essas intervenções permanecem perigosas, embora empresas como a Neuralink de Elon Musk estejam trabalhando em métodos para tornar tais intervenções o mais inofensivas possível e sem danos consequentes. Decodificadores de linguagem não invasivos, no entanto, podem se tornar comuns e ajudar as pessoas no futuro a controlar dispositivos técnicos pelo pensamento, por exemplo.
Pesquisadores treinam sistema de IA com 16 horas de gravações fMRI por pessoa
Tentativas iniciais de treinar decodificadores de linguagem para métodos não invasivos foram feitas, por exemplo, por uma equipe liderada por Jean-Remi King, pesquisador do CNRS na Ecole Normale Supérieure e pesquisador da Meta AI.
Sua equipe mostrou no final de 2021 que as respostas do cérebro humano à linguagem são previsíveis com base em ativações de um modelo de linguagem GPT . Em junho de 2022, a equipe mostrou correlações entre um modelo de IA treinado com gravações de fala e gravações fMRI de mais de 400 pessoas ouvindo audiolivros.
Mais recentemente, a equipe de King demonstrou uma Sistema de IA que pode prever quais palavras uma pessoa ouviu a partir de dados de MEG e EEG . Um novo artigo de pesquisadores da Universidade do Texas em Austin agora replica esse resultado para gravações de fMRI. Em seu artigo, a equipe liderada pelo autor Jerry Tang demonstra um decodificador fMRI que reconstrói sequências de palavras inteligíveis a partir da linguagem percebida.
Para treinar o sistema de IA, a equipe registrou dados de fMRI de três pessoas que ouviram histórias por 16 horas. Para cada pessoa, os dados foram usados para criar um modelo de codificação para prever as respostas cerebrais com base nas características semânticas das palavras-estímulo.
Para reconstruir a linguagem a partir dos dados do cérebro, o decodificador prevê uma série de possíveis sequências de palavras em resposta à entrada de dados. Se novas palavras forem descobertas em entradas de dados subsequentes, um modelo de linguagem sugere continuações para cada sequência. O modelo de codificação avalia a probabilidade das previsões. As continuações mais prováveis são mantidas.
Sistema de IA pode reconstruir o conteúdo semântico de filmes mudos
Além de reconstruir a linguagem percebida, os pesquisadores também testaram seu sistema com a reconstrução da fala interna: os sujeitos do teste contaram a si mesmos uma pequena história em suas cabeças, que o sistema de IA deveria reconstruir. Em ambos os testes, a qualidade das previsões foi significativamente acima do acaso.
A equipe disse que as “sequências de palavras decodificadas capturaram não apenas o significado dos estímulos, mas também recuperaram palavras e frases exatas”.
A qualidade da previsão também permaneceu estável em diferentes áreas do cérebro medidas. Segundo os pesquisadores, isso é uma indicação de que o cérebro processa informações semânticas em vários locais.
Para testar os limites da abordagem, a equipe mostrou aos sujeitos um filme sem som e fez com que o sistema de IA traduzisse as atividades medidas em linguagem. O conteúdo semântico assim renderizado pelo sistema tem uma alta correspondência com os eventos visíveis na tela.
nós ultrapassamos os limites dessa transferência de tiro zero testando o decodificador nas respostas cerebrais enquanto os participantes assistiam a filmes mudos e descobrimos que o decodificador descrevia com precisão muitos eventos do filme. isso sugere que nosso decodificador pode transferir para tarefas semânticas não linguísticas! (5/7) pic.twitter.com/z2wyWiOqv5
– Jerry Tang (@jerryptang) 30 de setembro de 2022
Um sistema de leitura cerebral respeita a privacidade?
O sistema de IA da equipe ainda está longe de ser uma reconstrução perfeita do conteúdo semântico. Os pesquisadores especulam que, no futuro, decodificadores melhores poderão resolver as imprecisões. Eles poderiam, por exemplo, modelar estímulos de linguagem combinando recursos semânticos com recursos de nível inferior, como fonemas ou acústica.
Além disso, um candidato para melhorar o desempenho do decodificador é o feedback do sujeito: “Estudos invasivos anteriores empregaram um paradigma de decodificação de circuito fechado, em que as previsões do decodificador são mostradas ao sujeito em tempo real. Esse feedback permite que o sujeito se adapte ao decodificador, proporcionando-lhes mais controle sobre a saída do decodificador”, afirma o documento.
Em uma parte do artigo, a equipe também aborda os perigos da tecnologia. Em seus experimentos, eles conseguiram mostrar que o método apresentado requer a cooperação dos sujeitos no treinamento e também no uso do decodificador.
Desenvolvimentos futuros, no entanto, podem permitir que os decodificadores contornem esses requisitos, alertam os pesquisadores. Além disso, resultados imprecisos também podem ser intencionalmente mal interpretados para fins maliciosos.
Portanto, é fundamental aumentar a conscientização sobre os riscos que essas tecnologias de decodificação representam para o cérebro humano e tomar medidas para proteger a privacidade intelectual de todos, escrevem os autores.