En 2019, se le pidió al neurocientífico Scott Marek que contribuyera con un artículo a una revista que se enfoca en el desarrollo infantil. Estudios anteriores habían demostrado que las diferencias en la función cerebral entre los niños estaban relacionadas con el desempeño en las pruebas de inteligencia. Así que Marek decidió examinar esta tendencia en 2000 niños.
Los conjuntos de datos de imágenes cerebrales habían aumentado de tamaño. Para demostrar que este crecimiento estaba haciendo que los estudios fueran más confiables, Marek, con sede en la Universidad de Washington en St. Louis, Missouri (WashU), y sus colegas dividieron los datos en dos y realizaron el mismo análisis en cada subconjunto, esperando que los resultados coincidieran. En cambio, encontraron lo contrario. “Quedé impactado. Pensé que se vería exactamente igual en ambos conjuntos”, dice Marek. “Miré por la ventana de mi apartamento deprimido, intentando asimilar lo que significaba para el campo”.
Ahora, en un nuevo estudio de Nature del 16 de marzo, Marek y sus colegas muestran que incluso los grandes estudios de imágenes cerebrales, como el suyo, todavía son demasiado pequeños para detectar de manera confiable la mayoría de los vínculos entre la función cerebral y el comportamiento.
Como resultado, las conclusiones de la mayoría de los “estudios de asociación de todo el cerebro” publicados, que generalmente involucran de docenas a cientos de participantes, pueden estar equivocadas. Dichos estudios vinculan las variaciones en la estructura y la actividad del cerebro con las diferencias en la capacidad cognitiva, la salud mental y otros rasgos de comportamiento. Por ejemplo, numerosos estudios han identificado la anatomía del cerebro o los patrones de actividad que, según los estudios, pueden distinguir a las personas a las que se les ha diagnosticado depresión de las que no. Los estudios también suelen buscar biomarcadores para los rasgos de comportamiento.
“Hay muchos investigadores que han comprometido sus carreras para hacer el tipo de ciencia que este artículo dice que es básicamente basura”, dice Russell Poldrack, neurocientífico cognitivo de la Universidad de Stanford en California, quien fue uno de los revisores del artículo. “Realmente nos obliga a repensar”.
Los autores enfatizan que su crítica se aplica solo al subconjunto de la investigación que busca explicar las diferencias en el comportamiento de las personas a través de imágenes cerebrales. Pero algunos científicos piensan que la crítica cubre este campo con una brocha demasiado amplia. Los estudios más pequeños y detallados de los vínculos entre el cerebro y el comportamiento pueden producir hallazgos sólidos, dicen.
Correlaciones débiles
Después de su replicación fallida, Marek se dispuso a comprender las razones del fracaso junto con Nico Dosenbach, un neurocientífico de WashU, y sus colegas. Ese trabajo dio como resultado el último estudio, en el que analizaron imágenes de resonancia magnética (IRM) cerebrales y datos de comportamiento de 50.000 participantes en varios grandes esfuerzos de imágenes cerebrales, como la colección de escáneres cerebrales del Biobanco del Reino Unido.
Algunas de estas exploraciones midieron aspectos de la estructura del cerebro, por ejemplo, el tamaño de una región en particular. Otros utilizaron un método llamado MRI funcional (fMRI), la medición de la actividad cerebral mientras las personas realizan una tarea, como recuperar la memoria o descansar, para revelar cómo se comunican las regiones del cerebro.
Luego, los investigadores utilizaron subconjuntos extraídos de estas grandes bases de datos para simular miles de millones de estudios más pequeños. Estos análisis buscaron asociaciones entre las resonancias magnéticas y varios rasgos cognitivos, conductuales y demográficos, en muestras que iban desde 25 personas hasta más de 32,000.
En estudios simulados que involucraron a miles de personas, los investigadores identificaron correlaciones confiables entre la estructura y la actividad del cerebro en regiones particulares y diferentes rasgos de comportamiento, asociaciones que podrían replicar en diferentes subconjuntos de datos. Sin embargo, estos vínculos tendían a ser mucho más débiles que los informados típicamente por la mayoría de los otros estudios.
Los investigadores miden la fuerza de la correlación usando una métrica llamada r, para la cual un valor de 1 significa una correlación perfecta y 0 ninguna. Las correlaciones fiables más sólidas que encontró el equipo de Marek y Dosenbach tenían una r de 0,16 y la mediana era de 0,01. En los estudios publicados, los valores de r superiores a 0,2 no son infrecuentes.
Para comprender esta desconexión, los investigadores simularon estudios más pequeños y encontraron que estos identificaron asociaciones mucho más fuertes, con valores altos de r, pero también que estos hallazgos no se replicaron en otras muestras, grandes o pequeñas. Incluso las asociaciones identificadas en un estudio de 2000 participantes (grandes según los estándares actuales) tenían solo un 25 % de posibilidades de ser replicadas. Los estudios más típicos, con 500 participantes o menos, produjeron asociaciones confiables alrededor de solo el 5 % de las veces.
Incluso estudios más grandes
El estudio no intentó replicar otros estudios de asociación de todo el cerebro publicados. Pero sugiere que los valores altos de r comunes en la literatura son casi con certeza una casualidad y no es probable que se repitan. Los factores que dificultan la reproducibilidad en otros campos, como la tendencia a publicar solo resultados estadísticamente significativos con grandes tamaños de efecto, significan que estas asociaciones falsas entre el cerebro y el comportamiento llenan la literatura, dice Dosenbach. “La gente solo publica cosas que tienen un tamaño de efecto lo suficientemente fuerte. Puedes encontrarlos, pero esos son los que están más equivocados”.
Para que tales estudios sean más confiables, los estudios de imágenes cerebrales deben ser mucho más grandes, argumentan Marek, Dosenbach y sus colegas. Señalan que la investigación genética estuvo plagada de falsos positivos hasta que los investigadores y sus patrocinadores comenzaron a buscar asociaciones en un gran número de personas. Los mayores estudios de asociación del genoma completo (GWAS) ahora involucran a millones de participantes. El equipo acuñó el término estudio de asociación de todo el cerebro, o BWAS, para establecer paralelismos con la genética.
Para las imágenes del cerebro, Marek dice: “No sé si necesitamos cientos de miles o millones. Pero miles es una apuesta segura”.
“Lo que sugiere el artículo de Marek es que muchas veces, si no tienes estas muestras realmente grandes, lo más probable es que te equivoques o tengas suerte al encontrar una buena correlación entre el cerebro y el comportamiento”, dice Caterina Gratton, neurocientífica cognitiva en Universidad del Noroeste en Evanston, Illinois. El artículo apareció como preimpresión en 2020, y Gratton dice que se ha sentado en paneles de revisión de subvenciones que lo han citado al generar escepticismo sobre estudios BWAS relativamente pequeños. “Este es un documento importante para el campo”, agrega.
Pero algunos investigadores argumentan que los estudios BWAS más pequeños aún tienen valor. Peter Bandettini, neurocientífico del Instituto Nacional de Salud Mental en Bethesda, Maryland, dice que estudios como los que simuló el equipo de Marek buscaron correlaciones entre mediciones crudas de comportamiento o salud mental (encuestas autoinformadas, por ejemplo) y escáneres cerebrales cuyas condiciones pueden variar de participante a participante, diluyendo asociaciones de buena fe.
Mediante la selección cuidadosa de los participantes y el análisis de los datos de imágenes cerebrales utilizando enfoques sofisticados, podría ser posible encontrar asociaciones entre los escáneres cerebrales y el comportamiento que sean más fuertes que las identificadas en el estudio, dice Stephen Smith, neurocientífico de la Universidad de Oxford, Reino Unido, quien lidera los esfuerzos de imágenes cerebrales del Biobanco del Reino Unido. “Me temo que este documento puede estar sobreestimando la falta de confiabilidad”.
El artículo completo es de acceso gratuito y puedes leerlo aquí.
Referencia bibliográfica: Marek, S., Tervo-Clemmens, B., Nielsen, A. N., Wheelock, M. D., Miller, R. L., Laumann, T. O., Earl, E., Foran, W. W., Cordova, M., Doyle, O., Perrone, A., Miranda-Dominguez, O., Feczko, E., Sturgeon, D., Graham, A., Hermosillo, R., Snider, K., Galassi, A., Nagel, B. J., … Dosenbach, N. U. F. (2019). Identifying reproducible individual differences in childhood functional brain networks: An ABCD study. Developmental Cognitive Neuroscience, 40, 100706. https://doi.org/10.1016/j.dcn.2019.100706
Artículo publicado en la revista Nature por Ewen Callaway y traducido y adaptado al español por Psyciencia.
