Escapando de la paradoja de la ciencia (clásico tocho de Ariel inside)

La ciencia tiene dos problemas graves: la replicación y la innovación. Muchos hallazgos científicos no son reproducibles. Es decir, no se puede asegurar que otro estudio o experimento sobre la misma cuestión obtenga resultados similares. Al mismo tiempo, el ritmo de la innovación científica podría estar disminuyendo.

¿Intentar resolver un problema empeora el otro? Muchos han argumentado que las políticas que pretenden evitar los problemas de reproducibilidad crearán una atmósfera constrictiva que inhibirá la innovación y el descubrimiento.

De hecho, los principales responsables políticos están preocupados precisamente por esto. Junto con otros destacados filántropos y académicos, asistí a una reunión de la Casa Blanca sobre reproducibilidad científica a principios de 2020 (justo antes de que llegara la COVID-19). Una de las preguntas clave en una hoja de papel que la Oficina de Política Científica y Tecnológica de la Casa Blanca distribuyó para su discusión era si existía una compensación: ¿Corren los esfuerzos por mejorar la reproducibilidad el riesgo de perjudicar la creatividad y la innovación de la investigación financiada con fondos federales?

No creo que exista una contradicción entre reproducibilidad e innovación. En contra de la creencia común, podemos mejorar ambas cosas a la vez: incentivando los resultados fallidos y financiando “equipos rojos” que pretendan refutar el dogma existente o se sitúen totalmente al margen de él.

Pero primero demos un paso atrás y repasemos brevemente las pruebas de que importantes áreas de la ciencia podrían ser más reproducibles e innovadoras.

¿Es la ciencia reproducible?

Muchas personas han escrito sobre la irreproducibilidad científica en las últimas décadas. Pero el tema cobró mayor relevancia a mediados de la década de 2000 con la publicación de lo que pronto se convirtió en uno de los artículos de investigación más descargados de todos los tiempos: El artículo de 2005 “Why Most Published Research Findings Are False”, de John Ioannidis, de Stanford. (Descargo de responsabilidad: es un antiguo becario de Arnold Ventures, donde trabajo).

Sin duda, el hallazgo de Ioannidis era sobre todo teórico; no es que realmente rehiciera “la mayoría” de las investigaciones publicadas (es decir, decenas de millones de estudios). En cambio, demostró que, dada la forma en que se llevan a cabo la mayoría de los estudios, si las revistas tienen incluso un ligero sesgo hacia los resultados positivos (y definitivamente lo tienen), entonces la mayoría de los resultados que terminan siendo publicados serían inevitablemente casualidades estadísticas o los resultados de p-hacking.

Su argumento teórico ha sido confirmado por muchos estudios empíricos en campos que van desde el desarrollo de medicamentos hasta la psicología. Compañías farmacéuticas como Amgen y Bayer han informado de que son incapaces de reproducir más del 80% de los experimentos de las revistas de prestigio. Citando a los científicos de Bayer, “los proyectos que se iniciaron en nuestra empresa basándose en datos interesantes publicados han resultado a menudo en una desilusión cuando los datos clave no pudieron reproducirse.”

También estaba el Proyecto de Reproducibilidad en Psicología, que financiamos y que llevó a cabo nuestro becario Center for Open Science. Este proyecto organizó más de 200 laboratorios de psicología de todo el mundo para rehacer sistemáticamente 100 experimentos publicados en las principales revistas de psicología. Descubrió que solo un 40% podía ser replicado de forma fiable (otro 40% no era concluyente, y alrededor del 20% no se replicaba de forma decisiva). Desde que se publicaron esos resultados en 2015, el estudio ya ha sido citado más de 4.400 veces según Google Scholar. Muchos de los resultados más famosos de la psicología han resultado ser poco fiables y posiblemente fraudulentos (como el experimento de Zimbardo en la cárcel de Stanford), y el mejor tratamiento reciente de esta cuestión es el libro de Stuart Ritchie de 2020 “Science Fictions.”

Sin duda, el problema parece mucho menos agudo en las ciencias más duras -por ejemplo, la física, la química, la cosmología- que tienen una tradición establecida de escepticismo, replicación o incluso de cegamiento de los investigadores a sus propias conclusiones. El grueso del problema de la reproducibilidad y el sesgo de publicación parece estar en las ciencias sociales y la biomedicina. En muchos de esos campos y subcampos -como los ensayos clínicos en medicina, la bioinformática de alto rendimiento, la neuroimagen, la ciencia cognitiva, la salud pública y la investigación epidemiológica, la economía, la ciencia política, la psiquiatría, la educación, la sociología, la informática, y el aprendizaje automático y la IA- la literatura publicada presenta demasiados falsos positivos, así como conclusiones que bien pueden ser p-hackeadas. Es suficiente para que la gente de la Casa Blanca, los NIH y la NSF se preocupen por la calidad de la ciencia financiada por el gobierno federal.

¿Es la ciencia suficientemente innovadora?

Al mismo tiempo, numerosos observadores han señalado un problema totalmente diferente: la ciencia se ha vuelto menos innovadora hoy en día. (Y aunque no lo haya hecho, siempre podríamos beneficiarnos de una innovación más rápida).

En un artículo reciente, Patrick Collison, fundador de Stripe, y Michael Nielsen, físico teórico, argumentaron que el ritmo de los avances científicos está disminuyendo en los últimos años por cada dólar gastado. Basándose en encuestas realizadas a destacados líderes de la física, la química y la medicina, llegaron a la siguiente conclusión: “Durante el último siglo, hemos aumentado enormemente el tiempo y el dinero invertidos en la ciencia, pero, a juicio de los propios científicos, estamos produciendo los avances más importantes a un ritmo casi constante”. Por dólar o por persona, esto sugiere que la ciencia se está volviendo mucho menos eficiente".

Collison y Nielsen no son los únicos. Cowen y Southwood sostienen que “hay buenas y también amplias pruebas de que el ritmo del progreso científico se ha ralentizado de hecho.” El documento de 2019, “Are Good Ideas Getting Harder to Find?”, sostiene que en los semiconductores, la agricultura y las innovaciones médicas, “el esfuerzo de investigación está aumentando sustancialmente, mientras que la productividad de la investigación está disminuyendo bruscamente.” [1] Ese documento concluye prediciendo que “sólo para mantener un crecimiento constante del PIB por persona, Estados Unidos debe duplicar la cantidad de esfuerzo de investigación en busca de nuevas ideas cada 13 años para compensar la creciente dificultad de encontrar nuevas ideas.”

Por supuesto, algunas de estas valoraciones pueden ser demasiado pesimistas. Pero es deprimente escuchar a los científicos más innovadores del mundo lamentarse de que nunca habrían triunfado en el sistema académico o de financiación actual porque su trabajo se salía demasiado de la norma:

  • Roger Kornberg (bioquímico ganador del Nobel) declaró al Washington Post en 2007 que su investigación de los años 70 sobre el ADN “nunca habría obtenido la financiación necesaria” si hubiera aparecido en la década de 2000: “Especialmente en el clima actual, las decisiones de financiación son ultraconservadoras. Si el trabajo que te propones hacer no tiene prácticamente la certeza del éxito, entonces no se financiará”.
  • Como se informó en 2013, “el biólogo molecular de la UC Berkeley Randy Schekman ganó el Premio Nobel de Medicina con otros dos científicos esta semana. Pero dice que el tipo de investigación de ciencia básica que le llevó a su premio podría no haber obtenido nunca financiación si estuviera solicitando subvenciones hoy en día.”
  • David Deutsch, pionero de la computación cuántica, dice que nunca habría conseguido su “primera beca de investigación sobre ordenadores cuánticos… con los criterios actuales”.
  • Peter Higgs, el premio Nobel que da nombre al bosón de Higgs, “cree que ninguna universidad le contrataría en el sistema académico actual porque no se le consideraría lo suficientemente ‘productivo’. . . . ‘Hoy no conseguiría un trabajo académico. Es tan sencillo como eso. No creo que se me considere lo suficientemente productivo’”.

Cuando tantos científicos de alto nivel afirman que su propio trabajo nunca habría pasado el examen en el sistema actual, debemos hacer un balance del sistema actual. Como se han preguntado destacados científicos, “¿qué éxito tendría Silicon Valley si casi el 99% de todas las inversiones se concedieran a científicos e ingenieros de 36 años o más, junto con un fuerte sesgo hacia la financiación sólo de proyectos seguros y no arriesgados?” Además, una queja habitual es que “los científicos se ven obligados a especificar con años de antelación lo que pretenden hacer, y a dedicar su tiempo a solicitar continuamente subvenciones muy cortas y de escasa cuantía”, un sistema que difícilmente fomentaría la innovación.

En resumen, tenemos pruebas de que la financiación de la ciencia en EE.UU. suele ser bastante insulsa e incremental, de que algunas de las ciencias más innovadoras del pasado nunca habrían sido financiadas por la burocracia actual y de que los paneles de revisión científica están dominados por personas con información privilegiada.

Así, la innovación en la ciencia está en peligro. Si Einstein hubiera tenido que navegar por un sistema así, quizá nunca hubiéramos oído hablar de la relatividad. E incluso si la innovación no se ralentizara per se, podríamos hacerlo mejor.

¿Y ahora qué?

Hay muchas ideas sobre cómo mejorar la reproducibilidad científica en la financiación de la investigación federal. Después de todo, el control y la garantía de calidad no son ideas nuevas.

Por ejemplo, podríamos exigir que los datos y el código informático se compartan abiertamente para que otros puedan analizarlos y volver a ejecutarlos. En demasiados casos para enumerar, este tipo de reanálisis ha dado lugar a revisiones, retractaciones e incluso al descubrimiento de fraudes descarados.

Además, podríamos exigir que los experimentos y otros estudios empíricos se registren previamente, para que el análisis y los resultados sean menos susceptibles de ser elegidos posteriormente. Ya lo hacemos en el caso de los ensayos clínicos en medicina, y una revisión de los ensayos clínicos patrocinados por el gobierno federal descubrió que la tasa de resultados positivos se redujo drásticamente en cuanto se exigió a los investigadores que registraran previamente sus estudios. Podríamos hacer lo mismo con muchas otras cosas en la ciencia. Incluso podríamos avanzar hacia un uso más generalizado del formato de informes registrados, en el que las revistas aceptan un artículo para su publicación antes de que los resultados finales estén siquiera disponibles.

Es menos evidente cómo reformar la financiación pública para mejorar la innovación científica. Hagamos un experimento mental:

Imagínese que usted fuera el presidente hace 100 años, en lugar de Woodrow Wilson. Imagínese que un genio del futuro que viaja en el tiempo le dice que en los próximos cien años habrá un número asombroso de inventos y descubrimientos científicos: tratamientos para la diabetes y las infecciones simples, vacunas para enfermedades que actualmente matan o incapacitan a muchas personas, automóviles que se usarán por millones, máquinas que volarán a través del océano e incluso a otros planetas, televisión, submarinos, máquinas de computación, teléfonos de mano, energía nuclear, satélites que orbitarán la tierra, genética y mucho, mucho más.

Entonces te dices a ti mismo: “Todo esto está muy bien, pero dentro de 100 años estaré muerto. Si todo este avance científico va a ocurrir, quiero encontrar una manera de acelerarlo”.

Ahora bien, en el año 1920, todavía no existía una financiación significativa de la ciencia. Hoy, por supuesto, tenemos los Institutos Nacionales de la Salud (NIH) y la Fundación Nacional de la Ciencia (NSF), que cuentan con una financiación colectiva de unos 45.000 millones de dólares al año. Pero esas agencias no existirían hasta 1930 y 1950, respectivamente.

Así que, como presidente en 1920, usted decide crear una financiación científica gubernamental. ¿Cómo lo haría para que, en los próximos cien años, el descubrimiento o invento científico medio se produjera apenas cinco años antes de lo que lo habría hecho de otro modo? Si eso es demasiado difícil, ¿cómo hacer que un solo descubrimiento científico se produzca cinco años antes?

Incluso con la ventaja de la retrospectiva, esta puede parecer una pregunta difícil. Algunos de los descubrimientos científicos más conocidos fueron fruto de la casualidad: el descubrimiento de la penicilina por parte de Alexander Fleming; el descubrimiento de los rayos X por parte de Wilhelm Roentgen; el baño de Arquímedes en el que se dio cuenta de cómo medir el volumen de objetos de forma irregular.

Es difícil predecir la serendipia. Y serendipia o no, no se puede anticipar del todo un futuro descubrimiento científico, pues de lo contrario ya se habría hecho ese descubrimiento ahora mismo.

Pero, ¿podemos al menos crear las condiciones para que los descubrimientos científicos se produzcan con más frecuencia? Mejor aún, ¿podemos hacerlo sin dejar de mejorar la reproducibilidad científica?

Soluciones posibles pero poco probables

Una de las ideas más comunes es “financiar a la persona, no al proyecto”. En otras palabras, la innovación científica prospera cuando los mejores científicos tienen la libertad de seguir sus instintos, sin estar atados a una propuesta concreta diseñada para satisfacer a una burocracia externa. Así, si se quiere financiar la ciencia más innovadora, hay que buscar a los mejores y darles varios años de financiación para que hagan lo que quieran.

Esta idea tiene cierto sentido. Un famoso artículo sostiene que el Instituto Médico Howard Hughes utiliza con éxito este modelo para apoyar la investigación biomédica más innovadora que los NIH, mientras que otro artículo sostiene que un pequeño programa de los NIH en la misma línea fue un éxito. Y Alan Kay, el eminente informático, ha escrito que la financiación original que desarrolló Internet se basó en dos principios: “visiones más que objetivos” y “financiar personas, no proyectos”.

Aunque la “financiación de personas en lugar de proyectos” tiene cabida, es poco probable que funcione para la financiación científica a escala. Me preocupa que repartir más de 40.000 millones de dólares al año de esta manera pueda crear más pensamiento de grupo que nunca antes. Los científicos más jóvenes tendrían que jugar a una versión extrema de la política de oficina para ser vistos como una de las “personas” prometedoras que obtienen financiación.

Otros han sugerido que se recurra a la sabiduría de las multitudes, dando a un amplio espectro de científicos la capacidad de asignar parte de la financiación a otros científicos que consideren especialmente prometedores. De hecho, el gobierno holandés está probando este enfoque. Pero es difícil ver por qué este enfoque no se convertiría en un concurso de popularidad que no mejoraría ni la innovación ni la reproducibilidad.

Otros han argumentado que, dado que los descubrimientos científicos anteriores han sido tan impredecibles, y dado que hay poca o ninguna evidencia de que la revisión por pares funcione tal y como la despliegan los NIH y otros, deberíamos admitir simplemente que no sabemos lo que estamos haciendo, y dejarlo expresamente en manos del azar. Es decir, las propuestas de investigación científica que superen un umbral de calidad bastante bajo deberían entrar en una lotería para determinar cuáles se financian. De hecho, los principales organismos de financiación de Nueva Zelanda y Alemania han estado experimentando con la financiación basada en la lotería para al menos algunas subvenciones.

De nuevo, aunque esta idea tiene cabida, es difícil que funcione para más de un puñado de subvenciones. Los científicos necesitan al menos la posibilidad de una financiación estable y continuada durante un largo periodo de tiempo. Casi nadie se dedicaría a la ciencia si toda su carrera dependiera de una lotería repetida con una pequeña posibilidad de ganar, en lugar de su propio esfuerzo por hacer buena ciencia.

Pero en cuanto se permite a los anteriores ganadores de la lotería renovar las subvenciones en función de su progreso científico, se vuelve al punto de partida: ¿cuál es la mejor manera de determinar el progreso científico? Es un poco nihilista pensar que no podemos hacer nada mejor que tirar una moneda al aire en esta cuestión.

Una nota al margen: aunque más arriba expreso cierto escepticismo sobre el funcionamiento de algunos mecanismos de financiación, apoyo con entusiasmo la idea de que los grandes financiadores (por ejemplo, los NIH) realicen uno o varios experimentos aleatorios en los que se asignen millones o incluso miles de millones de dólares de diferentes maneras para comprobar los resultados. No tiene sentido exigir más rigor y pruebas a cada proyecto de investigación de 100.000 dólares que a todo nuestro sistema de asignación de más de 40.000 millones de dólares de financiación.

Las soluciones que propongo

Hay dos ideas que podrían aumentar tanto la reproducibilidad como la innovación, matando así dos pájaros de un tiro (en realidad los mismos dos pájaros con cada una de las dos piedras). En primer lugar, tenemos que exigir más resultados nulos a toda la ciencia que financiamos. En segundo lugar, tenemos que hacer un “equipo rojo” de toda la ciencia. Vamos a profundizar.

Exigir resultados nulos

Todos nos inclinamos por los resultados positivos y emocionantes. Esto es comprensible: Un medicamento que cura el cáncer es más emocionante que otro que no lo hace. Una intervención educativa que reduce el abandono escolar en un 50% es más emocionante que una que no hace nada. Una técnica para mejorar la felicidad conyugal es mejor que una que deja a todos tan infelices como antes. Todo esto recuerda a la predisposición que tenemos hacia los alimentos ricos en calorías (casi todos los alimentos adictivos -como las patatas fritas, los helados, los donuts, las patatas fritas, etc. - combinan mucha grasa y muchos carbohidratos).

Pero al igual que el sesgo hacia los alimentos ricos en calorías estropea nuestros hábitos alimenticios ahora que dichos alimentos están disponibles las 24 horas del día, el sesgo hacia los resultados positivos distorsiona todo el proceso científico ahora que la ciencia se ha convertido en una gran industria. Las revisiones de la literatura científica suelen encontrar que, en todos los principales campos de investigación, los resultados publicados son entre un 70% y un 90% o más de resultados positivos.

Esto es un gran problema. Sólo hay tres maneras de que un científico garantice resultados positivos:

  1. Ser un vidente;
  2. Estudiar sólo temas marginales e incrementales en los que el camino a seguir esté claro y se pueda garantizar prácticamente un resultado positivo; y/o
  3. Sesgar el diseño de la investigación, los datos y el análisis, y ocultar cualquier resultado que siga siendo nulo.

Descartemos la posibilidad de que la mayoría de los investigadores sean videntes. Los otros dos métodos para obtener resultados totalmente positivos son una amenaza para la innovación y/o la reproducibilidad.

En la ciencia, al igual que en todo lo demás (finanzas, etc.), existe un equilibrio entre riesgo y recompensa. Los proyectos de bajo riesgo tienen poca recompensa. Los proyectos de alta recompensa son más arriesgados y tienen más probabilidades de fracasar. Lamentablemente, no vivimos en un universo en el que sea posible realizar actividades de bajo riesgo y alta recompensa.

Tenemos que dejar de actuar como si la ciencia pudiera eludir este inevitable equilibrio entre riesgo y recompensa ofreciendo resultados innovadores y previsiblemente exitosos. El premio Nobel William Kaelin escribió a principios de este año: “Hoy en día, la financiación de la investigación federal está cada vez más vinculada al impacto potencial, o a los resultados, y a los científicos básicos se les pide cada vez más que certifiquen lo que harían con su tercer, cuarto y quinto año de financiación, como si los resultados de sus experimentos fueran ya conocidos”.

¿Qué se obtiene si se exige un impacto sustancial a proyectos que son predecibles a varios años vista? El peor de los mundos: proyectos marginales de bajo riesgo disfrazados de gran impacto. En otras palabras, ciencia que no es muy innovadora, pero que se describe con afirmaciones llamativas e irreproducibles.

Tenemos que empezar a exigir resultados nulos. Cada agencia federal debería reorientar sus procesos de revisión por pares y de renovación de subvenciones para exigir que un determinado porcentaje de proyectos de investigación “fracase” o produzca resultados nulos. (Nosotros, el público, también podríamos dejar de aclamar, dar charlas TED, etc., a los científicos con resultados glamurosos).

Una expectativa clara de que la mayoría de los proyectos de investigación fracasarán o producirán resultados nulos capacitaría a los científicos tanto para asumir riesgos creativos (en lugar de estudiar temas incrementales), como para evitar el p-hacking diciendo toda la verdad sobre su investigación (aunque sea desordenada o nula).

A la inversa, si hay demasiados proyectos de investigación con resultados positivos, eso debería considerarse un motivo de investigación, no de celebración. Algunos de los ejemplos más famosos de fraude -el psicólogo Diederik Stapel, por ejemplo- eran conocidos por producir siempre resultados positivos impresionantes.

¿Cuál debería ser el índice adecuado de resultados nulos? En los casos en los que conocemos el conjunto de estudios sobre un tema determinado, es típico que hasta el 90% de ellos tengan resultados nulos. Por ejemplo, de 90 intervenciones educativas evaluadas por ECAs financiados por el gobierno federal, sólo un 10% tuvo resultados positivos

El equipo rojo de toda la ciencia

Como humanos, somos propensos a pensar en grupo. Al igual que nuestra predisposición a los resultados positivos, la predisposición al pensamiento de grupo es comprensible. El mundo está lleno de más información de la que una sola persona puede comprender. Es lógico que, cuando nos preguntamos “¿Qué es sensato creer?”, nos dejemos guiar por lo que todo el mundo cree en ese momento.

Este tipo de pensamiento grupal perjudica la reproducibilidad, porque cualquier científico que obtenga resultados que no sean consistentes con el pensamiento grupal actual está incentivado a ocultar los resultados, rehacer el experimento, distorsionar los resultados hasta que todo el mundo piense que son similares a la opinión de consenso, o simplemente cambiar su enfoque por completo para que encaje dentro de lo que actualmente se considera financiable. Mi amigo Saul Perlmutter ha escrito sobre cómo el pensamiento de grupo ha afectado incluso a las estimaciones de medidas aparentemente objetivas como la carga de un electrón o la vida de un neutrón.

El pensamiento grupal también perjudica a la innovación. No es casualidad que tantos descubrimientos científicos a lo largo de la historia -incluyendo ideas que ahora nos parecen obvias, como la circulación de la sangre o el peligro de los gérmenes- no se creyeran o se trataran como heréticos en su momento. Como dijo Max Planck, la ciencia avanza de un entierro a otro, una ocurrencia que recientemente ha recibido un impresionante apoyo empírico gracias a un estudio de Pierre Azoulay y sus colegas (resulta que cuando mueren científicos famosos, el subcampo en el que trabajaban experimenta un florecimiento de nuevos estudiosos y publicaciones en comparación con otros subcampos).

Los científicos deberían ser libres de perseguir los datos allá donde les lleven, y no estar sujetos al consenso actual de los revisores, que puede ser limitado o a veces directamente erróneo. Pensemos en la forma en que el pensamiento de grupo se ha manifestado en la búsqueda de una cura para la enfermedad de Alzheimer. Como se documenta en un magnífico artículo de Sharon Begley en STAT, “los científicos cuyas ideas se salían del dogma contaron cómo, durante décadas, los creyentes en la hipótesis dominante suprimieron la investigación sobre ideas alternativas: Influyeron en los estudios que se publicaban en las mejores revistas, en los científicos que recibían financiación, en los que obtenían la titularidad y en los que conseguían puestos de ponentes en conferencias científicas que dañaban su reputación. Esta… es una de las principales razones por las que no hay tratamiento para el Alzheimer”. Sólo ahora que tantos fármacos para tratar el beta-amiloide han fracasado, los científicos están dispuestos a considerar que su teoría era quizá incompleta o incluso errónea.

¿Cuál es la mejor manera de crear un espacio para una alternativa al pensamiento de grupo? Mediante el “red teaming” de toda la ciencia.

Red teaming es el término que utilizan las comunidades militar y de inteligencia cuando encargan a un grupo de personas (llamado “equipo rojo”) que intente atacar y refutar algo como una estrategia de batalla o una evaluación de inteligencia de una capacidad enemiga. De hecho, el Ejército de Estados Unidos publicó un libro de 238 páginas titulado “The Red Team Handbook: La guía del ejército para tomar mejores decisiones”.

Dado que todo el mundo es propenso al pensamiento de grupo y al sesgo de confirmación (que a menudo castiga a quien va en contra del consenso), tenemos que capacitar específicamente a algunas personas para que sean antagonistas, con el papel explícito de intentar refutar, atacar y desacreditar a otros científicos y sus teorías. Si hacen un buen trabajo y demuestran que el consenso actual es erróneo, nadie debería resentirse; al fin y al cabo, ese era su cometido directo. Como dijo el Estado Mayor Conjunto de los Estados Unidos, los equipos rojos “ayudan a los comandantes y al personal a pensar de forma crítica y creativa; desafían las suposiciones; mitigan el pensamiento de grupo; reducen los riesgos sirviendo de control contra la complacencia y la sorpresa; y aumentan las oportunidades ayudando al personal a ver las situaciones, los problemas y las posibles soluciones desde perspectivas alternativas”.

Algunos estudiosos y comentaristas han recomendado recientemente someter los documentos individuales a una revisión del “equipo rojo”. De hecho, en un caso, un equipo de académicos pagó literalmente a un equipo de cinco expertos externos para que encontraran errores en un nuevo manuscrito: 200 dólares fijos por experto, más una recompensa adicional de 100 dólares por cada error importante que alguien encontrara, hasta un total de 3.000 dólares. Del mismo modo, el científico Stuart Ritchie ha anunciado que pagará a quien encuentre un error objetivo en su libro Science Fictions.

Es un buen comienzo, pero muchos académicos no tendrán 3.000 dólares extra para mejorar la calidad de cada artículo. E irónicamente, los académicos que ponen su propio dinero para un “equipo rojo” podrían ser los que menos lo necesiten; después de todo, ya están motivados para hacer ciencia de calidad. Son los científicos que nunca soñarían con solicitar una crítica rigurosa los que deben preocuparnos.

En el otro extremo del espectro, consideremos los ensayos clínicos de fase III (la etapa final antes de la aprobación de la FDA). Un documento exhaustivo muestra que sólo alrededor del 59% de los ensayos de fase III tienen éxito.

Esta es la tasa máxima de resultados positivos que se debería ver. Después de todo, en el momento de presentar un ensayo clínico de fase III a la FDA, una empresa farmacéutica puede haber gastado varios años y mil millones de dólares o más en pruebas de laboratorio, extensas pruebas con animales y la fase anterior de ensayos en humanos. Incluso con todas esas pruebas de que un medicamento funcionará, los ensayos más rigurosos siguen fallando en más del 40% de las ocasiones. En casi todas las demás áreas de investigación, nadie habrá gastado muchos años y miles de millones de dólares para garantizar que el efecto en cuestión sea replicable.

En resumen, las agencias federales de financiación deberían dejar de esperar resultados previos que garanticen esencialmente el éxito futuro. No se puede garantizar el éxito futuro sin estudiar temas incrementales y/o amañar la ciencia. Hay que exigir un cierto porcentaje de resultados nulos, e incluso investigar a cualquier científico o agencia de financiación federal cuyos resultados sean demasiado uniformemente positivos.

Lo que necesitamos es algo mucho más amplio y sistemático, con el peso institucional necesario para someter al resto de la ciencia a un “red team”. (No hace falta que lo revisemos todo: muchos artículos científicos no tienen la suficiente influencia como para que merezca la pena preocuparse por ellos).

Imaginemos el lanzamiento de un nuevo instituto federal -llamado Instituto Nacional de Innovación y Replicación- con su propio presupuesto y autoridad estatutaria independiente de otras agencias federales.

Su misión sería proporcionar un contrapeso al resto de la ciencia biomédica y social, de dos maneras:

En primer lugar, patrocinaría proyectos de replicación independientes en cuanto a los artículos y proyectos influyentes financiados en otros lugares. Este tipo de proyectos son difíciles de financiar, pero suponen un importante control de la reproducibilidad de la ciencia.

En segundo lugar, el Instituto proporcionaría numerosas corrientes de financiación sobre cuestiones científicas importantes en las que las fuentes tradicionales de financiación se ven afectadas por el pensamiento de grupo y el sesgo de confirmación, o en las que las líneas de investigación prometedoras no son políticamente populares en este momento. Por ejemplo, un instituto de este tipo habría financiado a científicos con nuevas ideas sobre la causa y el tratamiento de la enfermedad de Alzheimer. Y en las dos últimas décadas habría financiado estudios sobre los coronavirus, relativamente descuidados en tiempos de crisis (por ejemplo, el MERS o el SARS).

El Instituto también podría crear una nueva publicación que sirviera de alternativa a publicaciones como Science y Nature. (¡Incluso podría llamarse “Anti-Science” o “Anti-Nature”!) La revista publicaría artículos que desafiaran específicamente a otras publicaciones de alto impacto, ya sea replicándolas o ofreciendo teorías alternativas.

Mejorar la reproducibilidad y la innovación no es fácil, desde luego. Pero la política científica y los financiadores de la ciencia podrían hacer ambas cosas a la vez, exigiendo más resultados nulos y financiando sustancialmente los esfuerzos para contradecir el pensamiento de grupo y el sesgo de confirmación. Y esto ayudaría a toda la sociedad a obtener más valor de los muchos miles de millones de dólares que gastamos colectivamente en ciencia cada año.

2 Me gusta

Resúmen?

Tremendo tocho para algo tan simple.

¿Son todos los estudios científicos reproducibles? Deberían, pero no lo son. No porque la ciencia no lo requiera, sino por pereza científica. Muchos científicos se inventan datos, o interpretan con sesgo, que no se revisa con la profundidad requerida con tal de cumplir cuotas. El mundo de la ciencia está muy viciado, gracias a que las “eminencias” científicas se crean publicando n cantidad de artículos científicos. Vamos, hacen cualquier cosa por mantener o llegar al pedestal.

¿Debería quitarse la norma de que los estudios deben ser forzosamente reproducibles en pos de buscar la innovación? Sí y no. Podría abrirse la posibilidad oficialmente, me parece bien, sin embargo, debería crearse una nueva categoría de «estudios no reproducibles» para que se comprenda que están más al nivel de una teoría, que de un hecho científico.

Claro, esto último, aunado a lo primero, no crearía una paradoja, sino más bien bien un posible nuevo vicio en los científicos, en los que todos se lanzarían a realizar estudios no reproducibles con el afán de ganar puntos en su carrera, en lugar de centrarse en investigar algo más seguro.

Como siempre, por los malos elementos, terminarían pagando todos.

1 me gusta

No me voy a leer ese tochazo de alguien que titula el hilo hablando de sí mismo en tercera persona :roto2:

No. Nunca. Jamás. Si un experimento no es reproducible, las conclusiones obtenidas no sirven de nada.

Ariel no tiene idea de a lo que te refieres. :sisi:

2 Me gusta

ciencia buena.

1 me gusta

¿Eres de los que dice “es tan típico de mi” o “como yo siempre digo”?

Si lo eres, pues me cago en tu vida.

1 me gusta

De acuerdo en el principio de la idea subyacente pero no en la conclusión que se obtiene fruto de ella.

1 me gusta