Anonim
Universidade-do-Texas-em-Austin-AI-cérebro-modelo-826

"À medida que as palavras vêm à nossa mente, formamos idéias do que alguém está nos dizendo e queremos entender como isso nos ocorre dentro do cérebro", disse Alexander Huth, da equipe. “Parece que deveria haver sistemas para isso, mas na prática, não é assim que a linguagem funciona. Como qualquer coisa na biologia, é muito difícil reduzir um conjunto simples de equações. ”

Universidade-do-Texas-em-Austin-AI-cérebro-modelo-diag-832 O trabalho empregava uma 'memória de longo prazo' - LSTM, disse a Universidade, um tipo de rede neural recorrente que melhora a compreensão do contexto calculando o relacionamento de cada palavra com as que vieram antes.

"Se uma palavra tem múltiplos significados, você deduz o significado dessa palavra para aquela frase em particular, dependendo do que foi dito anteriormente", disse a pesquisadora Shailee Jain. "Nossa hipótese é que isso levaria a melhores previsões de atividade cerebral, porque o cérebro se importa com o contexto".

n

Utilizando ressonância magnética funcional, grupos ativos de neurônios foram destacados no cérebro de pessoas ouvindo histórias.

Enquanto isso, o LSTM foi usado para treinar um modelo de linguagem para prever qual palavra viria a seguir em sequências - algo em que os humanos são bons.

"Ao tentar prever a próxima palavra, esse modelo precisa aprender implicitamente todas essas outras coisas sobre como a linguagem funciona, como quais palavras tendem a seguir outras, sem nunca acessar o cérebro ou quaisquer dados sobre o cérebro", disse Huth.

Com base no modelo da linguagem e nos dados da ressonância magnética, foi treinado um sistema que poderia prever como o cérebro responderia ao ouvir cada palavra de uma história pela primeira vez.

Foi descoberto que, alimentando até 20 palavras anteriores no sistema, as previsões sobre onde a atividade cerebral ocorreria foram melhoradas em comparação com as previsões sem contexto anterior.

"Nossa análise mostrou que, se o LSTM incorpora mais palavras, melhora a previsão da próxima palavra", disse Jain, "o que significa que deve incluir informações de todas as palavras do passado".

A pesquisa foi além e explorou quais partes do cérebro eram mais sensíveis à quantidade de contexto incluída.

Por exemplo, conceitos no córtex auditivo parecem ser menos dependentes do contexto. "Se você ouvir a palavra cachorro, esta área não se importa com o que eram as 10 palavras anteriores, apenas responderá ao som da palavra cachorro", disse Huth.

Enquanto mais contexto tornou mais fácil apontar para áreas do cérebro que lidam com o pensamento de nível superior. "Havia uma correspondência muito boa entre a hierarquia da rede artificial e a hierarquia do cérebro, o que achamos interessante", acrescentou.

Como resultado do trabalho, os pesquisadores acreditam que seu modelo de linguagem desenvolvido pelo LSTM pode ajudar no processamento de linguagem natural quando se trata de responder perguntas, ter conversas naturais ou analisar sentimentos em textos escritos.

O modelo de linguagem foi treinado em milhões de palavras nos posts do Reddit e fez previsões de como milhares de voxels no cérebro de seis sujeitos responderiam a histórias que nem o modelo nem os indivíduos haviam ouvido antes.

O supercomputador Maverick Center do Texas Advanced Computing Center em foi usado para processamento.

O trabalho foi abordado em 'Incorporando o contexto nos modelos de codificação de linguagem para fMRI' apresentado na conferência Neural Information Processing Systems no ano passado e seguido de 'Estamos prontos para a neurociência do mundo real?' publicado no Journal of Cognitive Neuroscience deste mês.

Está sendo considerada uma versão mais simplificada do sistema, onde, em vez de desenvolver um modelo de previsão de linguagem e depois aplicá-lo ao cérebro, é desenvolvido um modelo que prevê diretamente a resposta do cérebro.

Aparentemente, esse modelo melhoraria seu desempenho diretamente nas respostas cerebrais - uma previsão incorreta da atividade cerebral realizaria um retorno ao modelo e permitiria a melhoria.