viernes, 15 de julio de 2016

Retos de la investigación en neuroimagen

Russell Poldrack lidera un artículo de opinión (breve) sobre los futuros retos de la investigación en neuroimagen. Thomas E. Nichols, Edward Vul o Tal Yarkoni –auténticas vedettes de la neuroimagen del Siglo XXI—se encuentran entre los firmantes.

Es breve, pero contundente: siga las reglas o abandone toda esperanza de que la comunidad científica siga haciéndole caso.

En esencia, se ofrecen sugerencias (más bien pautas) sobre cómo superar los principales problemas actuales de la investigación en neuroimagen que pueden resumirse en: el poder estadístico, la flexibilidad en los análisis y la ausencia de replicabilidad de los resultados publicados.

El artículo gira alrededor de las denominadas Questionable Research Practices (QRP) que parecen estar detrás de, por ejemplo, la inflación de falsos positivos, es decir, resultados en los que no se puede confiar, que no son reproducibles, que podrían no existir y el mundo seguiría girando plácidamente alrededor del sol.

El efecto del tamaño de las muestras no se limita a reducir la probabilidad de encontrar un resultado verdadero cuando existe, sino que también aumenta la probabilidad de encontrar resultados positivos que son falsos. Si el efecto es pequeño, es necesaria una muestra enorme. Si la muestra es pequeña, podemos encontrar un enorme efecto ‘fake’.

A día de hoy, el tamaño muestral más frecuente en neuroimagen raramente supera los 25 casos. Pero sabemos desde hace tiempo que el tamaño debe estar justificado al diseñar el estudio mediante un ‘power analysis’. Cuando no sea posible alcanzar el tamaño requerido para el efecto esperado, entonces se recomienda averiguar si se puede entrar en algún consorcio internacional para compartir datos. Mejor unirse para dominar la galaxia que permanecer aislado en tu remota provincia.

En cuanto a la flexibilidad en los análisis, está claro que el pre-procesamiento de las imágenes MRI y los cálculos implicados en el post-procesamiento exigen tomar muchas decisiones, en las que a menudo no está claro qué hacer y cuál es la estrategia ideal.

Explorar es esencial en ciencia, pero describir en un informe todo el proceso es impracticable (“el viaje intelectual del investigador es inescrutable”).

Poldrack y sus colegas se refieren al HARKing (Hypothesing After Results are Known) como una enfermedad (contagiosa) de los informes científicos. Pre-registrar los estudios es una solución. Y en ese proceso debería informarse del tamaño de la muestra, de los instrumentos de análisis que se piensa usar, los resultados que se pronostican y la definición de las regiones de interés (ROIs) cuando proceda.

El siguiente problema que deben resolver los investigadores es el de las comparaciones múltiples. En neuroimagen se hacen miles de comparaciones, y, por tanto, debe introducirse alguna clase de corrección.

Hay científicos que piensan que los sistemas correctores son demasiado laxos, mientras que otros opinan que son demasiado estrictos. A menudo se usa un software para los análisis y otro para corregir por comparaciones múltiples, lo que resulta sospechoso. Los autores de este artículo de opinión sugieren publicar los mapas sin corregir en un repositorio –además de los resultados corregidos publicados en el informe oficial. Y, naturalmente, debería usarse el mismo software para los análisis y para la corrección.

También hay que ser cuidadoso al informar de lo que se hizo. El OHBM (Organization for Human Brain Mapping) se ha hecho eco de esta necesidad a través del COBIDAS (Committee on Best Practices in Data Analysis and Sharing).

Finalmente, un problema endémico en neuroimagen es la falta de estudios de replicación. Este hecho quizá se deba a que las mejores revistas solo se fijan en lo novedoso, y, por tanto, los investigadores que desean ver sus trabajos publicados en ellas ni contemplan la posibilidad de repetir un estudio para comprobar si es replicable. Esta situación debe arreglarse.

En conclusión, los neurocientíficos deberían tomarse en serio estas recomendaciones. Si se sigue haciendo caso omiso, es probable que los fondos necesarios para promover la investigación se reduzcan dramáticamente. Si la sociedad deja de confiar en los resultados derivados de la investigación que financia, puede que valoren el dejar de inyectar recursos económicos. En una palabra: o nos ponemos las pilas para seguir las reglas del juego o nos cerrarán el chiringuito.


2 comentarios:


  1. Muy estimulante el post y muy bueno el artículo de Poldrack! Es que la cosa se empieza a notar, y siempre más! Demasiados estudios que llegan a conclusiones diferentes, y demasiadas sorpresas a la hora de descubrir fallos en los métodos. Los mismos limites los encuentras evidentemente en cualquiera disciplina, pero en anatomía uno a lo mejor se sorprende más, porque trabajando con algo “físico” o por lo menos ”que se ve” parece que te puedes equivocar menos. Pero nada, hay que estar al loro, y no dar todo por hecho. Hay que ser críticos y estar atentos a los detalles … En biología molecular por ejemplo no se ponen muchos problemas, también porque las metodologías se basan en cadenas de procesos muy largas, que no se pueden revisar continuamente, y creo yo que si se levanta la alfombra debajo habrá de todo …

    He relanzado el tema en mi blog, añadiendo otros enlaces que pueden ser interesantes como ejemplos:

    https://paleoneurology.wordpress.com/2016/08/10/imaging-brains/

    ResponderEliminar
  2. Muchas gracias x el comentario Emi. Estoy totalmente de acuerdo. Tu post es una significativa contribución y vale la pena compartirlo. Saludos, R

    ResponderEliminar