lunes, 15 de junio de 2015

Reproducibilidad de las relaciones Cerebro-Cognición

Cuando comenzamos hace una década a estudiar las relaciones entre la variabilidad estructural del cerebro y las diferencias individuales en factores cognitivos tales como la capacidad intelectual o la memoria operativa (working memory), nos preguntamos si era posible reproducir resultados controlando una serie de variables de interés.

Rex Jung y Richard Haier construyeron un marco de referencia aglutinando la evidencia disponible hasta 2007, subrayando las concordancias. Mi comentario a su perspectiva alabó el esfuerzo, pero destacó las inconsistencias. La heterogeneidad de resultados debía tener una explicación y, pensé, merecía la pena bucear en ese complejo océano para encontrar alguna iluminación.

En la reunión bianual de la ‘International Society for the Study of Individual Differences’ (ISSID) de 2011, presentamos una serie de inquietantes resultados basados en la comparación de tres grupos de individuos de distintos países (España, Canadá y Estados Unidos). En total se estudiaron una serie de señales biológicas (volumen cerebral, superficie cortical, grosor cortical e integridad de la materia blanca) de 258 personas jóvenes. El informe sobre esa presentación se puede descargar aquí.

En resumen, a pesar de maximizar la probabilidad de reproducir resultados, fracasamos miserablemente. Las inconsistencias resultaron generalizadas.


Pero aplicamos una de las principales estrategias de los científicos: la persistencia.

Un miembro de nuestro equipo de investigación se embarcó en un proyecto dirigido a averiguar si realmente era tan complicado reproducir resultados. El titánico esfuerzo se convirtió en su tesis doctoral.

Ahora se publica en ‘Human Brain Mappinguna síntesis de los principales hallazgos centrándose en el grosor cortical.

Las imágenes estructurales del cerebro de más de ochenta personas jóvenes se procesaron usando tres protocolos diferentes que variaron según su nivel de automatización. Se usó una estrategia sistemática de comparación altamente exigente.

Así, por ejemplo, se buscaron concordancias y discrepancias entre protocolos, según la distribución y variabilidad del grosor cortical obtenido en cada uno de ellos. Es decir, se buscaba respuesta a la pregunta:

¿se producen los mismos resultados descriptivos independientemente del protocolo de análisis aplicado para obtener las señales biológicas de interés?

La respuesta supuso una desagradable sorpresa: esos resultados discrepaban según protocolo. Las distribuciones espaciales de grosor cortical variaban sustancialmente.


Por tanto, el siguiente paso produjo lo que cabía esperar: era imposible reproducir las relaciones cerebro-cognición cuando se cambiaba de protocolo. Una consecuencia lógica de correlacionar las diferencias de rendimiento cognitivo con distribuciones diferenciales de grosor cortical.

Pero, recuerden, los científicos somos persistentes, así que se comprobó si cada uno de los protocolos producía las mismas distribuciones de grosor cortical para grupos de individuos cuidadosamente emparejados según su rendimiento cognitivo (siguiendo una estrategia similar a la comentada anteriormente respecto a la presentación de 2011 en la ISSID).

Se observó que, en efecto, cada protocolo era internamente consistente, es decir, las distribuciones de grosor eran similares para los dos grupos de individuos. Por tanto, el siguiente paso supuso comprobar si las variaciones de grosor a través de los individuos (similares en ambos grupos) ofrecían resultados reproducibles con respecto a las diferencias cognitivas.

El resultado fue decepcionante una vez más. A pesar de que las diferencias biológicas y psicológicas eran similares, las relaciones cerebro-cognición no se lograron reproducir.

En realidad, lo que observamos encaja con lo que puede encontrarse en los meta-análisis publicados hasta la fecha. Las asociaciones estructura-función distan de ser consistentes. Las regiones cerebrales contribuyen a funciones cognitivas sustancialmente heterogéneas. Y, por tanto, diferentes individuos pueden llegar a similares productos cognitivos por distintos caminos.


Esta puede ser la principal conclusión del informe que se está comentando:

Teniendo en cuenta la naturaleza dinámica del cerebro humano y la complejidad de la cognición humana, los intentos de réplica exigen grupos de individuos cuidadosamente emparejados y variables psicológicas estrictamente comparables, métodos de neuroimagen idénticos y propiedades cerebrales apropiadamente identificadas.
Pero incluso cuando se logre lo anterior, la reproducibilidad no está garantizada, como se ha mostrado en el presente estudio”.


Las estrategias habituales de investigación pueden ser inadecuadas para reducir nuestro nivel de ansiedad científica ante resultados como éstos. Pensamos que es necesario encontrar nuevas aproximaciones. Sigue sin estar clara cómo deben ser estos acercamientos alternativos, pero insistir en la misma estrategia puede ralentizar el progreso.

No hay comentarios:

Publicar un comentario