¿Cómo procesa el cerebro textos largos?

Investigadores de Israel descubren cómo el cerebro procesa textos largos de manera diferente a los modelos de lenguaje de IA.

A diferencia de los modelos de lenguaje artificial, que procesan textos largos como un todo, el cerebro humano crea un “resumen” mientras lee. Es forma que le ayuda a comprender lo que viene a continuación.

Estos modelos están inspirados en el cerebro humano, pero siguen existiendo diferencias clave.

Un nuevo estudio, publicado en Nature Communications, explora estas diferencias examinando cómo el cerebro procesa los textos hablados.

La IA

Los modelos de IA procesan textos largos dividiéndolos en pequeñas unidades llamadas “tokens” (que pueden ser palabras o partes de palabras).

Utilizan una arquitectura llamada “transformer”, que tiene un mecanismo de atención similar a una lupa que resalta las partes más importantes del texto.

Esto les permite entender cómo se relacionan entre sí los diferentes fragmentos y captar el contexto global. Incluso cuando solo pueden analizar una cantidad limitada de tokens a la vez (la “ventana de contexto”).

En esencia, es como si la IA leyera un libro subrayando las ideas clave de cada párrafo y luego conectara esos puntos para comprender el mensaje completo.

El estudio analizó imágenes de resonancia magnética

La investigación, dirigida por el profesor Roi Reichart y el doctor Refael Tikochinski, se llevó a cabo como parte del doctorado del doctor Tikochinski.

El estudio analizó imágenes de resonancia magnética funcional del cerebro de 219 participantes mientras escuchaban historias.

Los investigadores compararon la actividad cerebral con las predicciones realizadas por los modelos de inteligencia artificial existentes.

Descubrieron que los modelos de IA predijeron con precisión la actividad cerebral para textos cortos (unas pocas docenas de palabras).

Sin embargo, para textos más largos, los modelos de IA no pudieron predecir la actividad cerebral con precisión.

La razón?

Mientras que tanto el cerebro humano como los modelos de inteligencia artificial procesan textos cortos en paralelo (analizando todas las palabras a la vez), el cerebro cambia de estrategia para textos más largos.

Como el cerebro no puede procesar todas las palabras simultáneamente, almacena un resumen contextual. Es como si fuera una especie de “depósito de conocimiento” que utiliza para interpretar las palabras siguientes.

En cambio, los modelos de IA procesan todo el texto escuchado previamente a la vez, por lo que no requieren este mecanismo de resumen.

Modelo de IA mejorado

Esta diferencia fundamental explica por qué la IA tiene dificultades para predecir la actividad cerebral humana cuando escucha textos largos.

Para probar su teoría, los investigadores desarrollaron un modelo de IA mejorado que imita el proceso de resumen del cerebro.

En lugar de procesar todo el texto de una sola vez, el modelo creó resúmenes dinámicos y los utilizó para interpretar textos futuros.

Esto mejoró significativamente las predicciones de la IA sobre la actividad cerebral, lo que respalda la idea de que el cerebro humano está constantemente resumiendo información pasada para dar sentido a la nueva información.

Esta capacidad nos permite procesar grandes cantidades de información a lo largo del tiempo, ya sea en una conferencia, un libro o un podcast.

Un análisis más detallado mapeó las regiones cerebrales involucradas en el procesamiento de texto tanto a corto como a largo plazo, destacando las áreas cerebrales responsables de la acumulación de contexto, lo que nos permite comprender las narrativas en curso.

Diferencias fundamentales

La comparación resalta las diferencias fundamentales entre el procesamiento del lenguaje humano y el de la inteligencia artificial.

Mientras que el cerebro humano utiliza resúmenes contextuales para mantener la coherencia en textos largos, lo que le permite interpretar información de forma flexible basada en la experiencia, los modelos de IA, gracias a la arquitectura de transformers, pueden analizar de manera simultánea todo el texto dentro de su ventana de contexto.

Esto les permite detectar relaciones entre palabras de forma muy precisa, aunque con la limitación de la cantidad de tokens que pueden manejar a la vez.