Este titulo no es mío es el de un excelente trabajo realizado por John PA Ioannidis un medico norteamericano que conmovió a la comunidad científica.
Ya antes se habían realizad otros estudios mostrando las fallas de cómo se realizan la publicaciones y la existencia de fraude o errores en las publicaciones.
Lo importante de este trabajo fue que se refirio a los medicamentos. Las empresas farmacéutica y los controles para aprobar nuevas drogas para la medicina, se puede considerare que son los mas blindados y los controles mas severos de toda la ciencia, en el caso de Ioannidis tomo estudios que en total sumaban mas de 100,000 individuos, para la aprobación de seis drogas antidepresivas, que son las mas vendidas en el mundo y las mas recetadas por los médicos.
Y consiguió fallas en esos estudios, y no solo eso, si no que la efectividad de esas drogas es en el mejor de los casos fue muy limitado.
Es como si nos vendiera una pastilla contra el dolor de cabeza y solo funcionara en el 30% de los casos. Pero que los estudios muestran que funciona en más del 90% de los casos.
Pueden leer el artículo completo, de hecho lo recomiendo.
Pero lo más espeluznante no es lo que dice, si no sus implicaciones para toda la ciencia o nuestra manera de hacer ciencia.
Antes de este articulo, ya habían salido varios hablando sobre las fallas inherentes a la manera que hacemos ciencia, pero eran casi susurros, y cuando le hablaba sobre eso con otros investigadores, el nerviosismo era evidente. Nadie quería hablar sobre ello y mucho menos pensar en ello.
Que hay algo terriblemente mal en la manera como producimos ciencia.
A pesar de la importancia de este trabajo en hacernos pensar mas seriamente en nuestros métodos y las terribles fallas que conlleva esta manera de hacer ciencia, la discusión no ha permeado a la opinión publica o si lo ha hecho ha sido muy débil.
Y todos utilizamos fármacos, seguimos dietas, se hacen tratamientos hormonales y toda una serie tratamientos, que a pesar que nos dijeron que son eficientes y que mejoraran nuestra salud, no lo hacen o son inútiles en un porcentaje muy alto.
Y no ha llegado al gran publico por muchas razones, la principal es que se cree que los legos no comprenderán cabalmente el problema y será rápidamente tergiversado.
Algo en lo que estoy de acuerdo y por eso voy a ser muy cuidadoso.
Esto significa que va para largo.
Si esta apurado, esto no es para usted.
Pero no voy a tratar un tema como este frívolamente, ya que para mi la ciencia funciona, y es mi pasión, si me ponen a escoger entre Megan Fox y hacer ciencia, elegiría, sin pensar hacer ciencia.
Y si, los medicamentos estan cuestionado por ese trabajo se siguen prescribiendo en todo el mundo.
Quizás usted consuma alguno de ellos.
Las farmacéuticas siguen ganado dinero.
Los trabajos de Ioannidisy otros se siguen silenciado o no dándoles importancia.
Pero para que se entienda bien el problema y de cómo hemos llegado a esto, hay que poner la situación en contexto, para evitar malos entendidos.
II
En 1803 Dalton propuso la teoría atómica, una de las pocas teorías que nadie en su sano juicio cuestionaría.
Casi nadie la acepto en ese momento, se tuvo que esperar mas de un siglo hasta que Einstein en sus trabajo de 1905 la puso como un hecho con pruebas que efectivamente existían los átomos.
Desde los años 50 del siglo pasado el tiempo entre la propuesta de una teoria y su comprobación ha bajado a meses. Ya no son siglo o años.
Meses.
Si una persona del siglo VI se trasladaba en el tiempo hasta el siglo XI se sentiría en su propio tiempo, casi no había cambiado nada, las mismas armas, la misma arquitectura, las mismas creencias y códigos morales, la misma manera de obtener alimentos y de trasladarse de un sitio a otro.
El cambio tecnológico era mínimo Lo mismo podemos decir de alguien del siglo VI al siglo XIII, casi no encontraría cambios, quizás algo mas de mercantilismo, algunas libertades, pero en lo básico era casi lo mismo y se adaptaría rápidamente a esos cambios.
Quizás su mayor problema seria el lenguaje.
Hace siglo y medio no había carros, las luces eran con velas, el medio de trasporte eran caballos y solo en pocos lugares locomotoras. Las noticias podían tardar meses en llegar, se escribía con plumas. El matemático Newcomen había demostrado matemáticamente la imposibilidad que el hombre volara algún día.
Si traemos a alguien de esa época a nuestros días, como Carl Marx, seguro que se volvería loco, la mayor parte del trabajo repetitivo es realizado por robot, carros aviones, naves interestelares, exploración de las lunas de Saturno, el hombre llego a la luna. La creciente prosperidad general de las personas. Las computadoras en un celular. No comprendería nada.
Y naturalmente pensaría que su teoría no tendría sentido. Nadie pasa de andar en caballo a volar en avion sin volverse loco.
Nunca en toda la historia de la humanidad el cambio tecnológico había sido tan acelerado. Incluso una persona de los años 1960 no se sentiría cómoda en esta época, donde elegir el sexo de los niños es casi rutinario y tenemos plantas y animales trasgeneticos.
Esto se debió al éxito del método científico, que no solo es una receta, es una manera de pensar y que cada ves mas personas inteligentes se han dedicado a la ciencia.
Pero esta aceleración ha tenido un precio en la misma ciencia.
A principio de los años 1900 los físicos se dieron cuenta que la velocidad en los descubrimientos, sobrepasaba la capacidad para ponerlos en un contexto o por lo menos para comprenderlos y casi declararon una pausa, para comenzar a pesar en la física, poco lo hicieron pero de ahí salieron las conferencias de Solvay que de cierta manera cumplió ese objetivo.
III
Pero desde los años 40 la ciencia se convirtió en una empresa. Los investigadores estan presionados por publicar y mas si trabajan para las empresas privadas que son los mayores empleadores de científicos.
Esa presión a tener ideas geniales cada semana, me sirvió para burlarme de ello en un post “Secretos de la investigación científica” que escondido en la sátira digo la triste realidad.
No hay tiempo de replicar los trabajos de los demás, que es lo que considera una norma, no hay tiempo para las consideraciones metodologiítas o se olvidan un poquito o totalmente para mantener el “significance chasing,” que es el limite de significación estadística que es de 95% inventado por Ronald Fisher.
Y todos hemos jugado con los números, algunas veces muy creativamente para que los datos de nuestros trabajos encajen en ese limite.
Eso no importa, nosotros sabemos que es verdad lo que decimos.
Y en vez de ser mas meticulosos o en revisar los datos o buscar otros para que entre en ese limite (si no están en ese limite, no lo publican) jugamos hasta que nos da el numero mágico.
Eso no se hace, debido a que uno es particularmente malicioso, si no debido a la presión del tiempo, y que las industrias o universidades obligan a que se publique más, en el menor tiempo posible.
De hecho casi no hay tiempo para pensar, y mucho menos para la reflexión, se presiona a los estudiantes al máximo, y ellos también cometen errores que muchas veces no hay tiempo para revisar.
Se toma el camino fácil, de hacer trabajos de tercera categoría y ponerlos como de primera. No es tanto el prestigio es el Grant que es la subvención a la investigación, sin ellas, no hay dinero, es el aumento de sueldo y el pago de la casa.
¿Qué se puede esperar de todo ello? Que manden una sonda a Marte y a alguien se le olvide hacer la conversión de pulgadas a centímetro y la sonda se queme en Marte (que paso realmente)
Ahora existen mas de 11000 revistas especializada y todas ellas quieren contenido, y también presionan para publicar, las revisiones no son tan exhaustivas y casi publican cualquier cosa que suene coherente.
Esto no es problema de nadie y es de todos.
Gracias a ese sistema es que el mundo de 1970 casi nos parece del paleolítico.
Pero claro esto se esta poniendo muy mal, ya hasta nuestra salud puede salir perjudicada y quien sabe que mas.
En el próximo voy a profundizar en estos problemas y como se producen estos errores.
No es fácil decirlos, pero para eso estamos.
Hay que deconstruir también la ciencia, para ver si se puede hacer algo mejor.
Interesante (y a la vez preocupante) el tema que tratas en este artículo, xluis. No obstante, creo que la culpa de esto la tiene más el sistema actual que la ciencia en sí, por lo que dudo que una «deconstrucción» de la ciencia pueda hacer algo por mejorar esta situación. Tú mismo afirmas en tu artículo que las empresas privadas o grandes corporaciones son quienes le pagan a los científicos e investigadores para «producir ciencia en serie», y sin la plata no se puede comer (aparte que no creo que paguen mal). Y no es que quiera sonar como un «anti-capitalista» pero «el problema está en el sistema», esa sería mi conclusión.
Si robert, es el sistema. es tan grande y complejo que tratar que cambie por si mismo es una quijotada.
Y mas cuando nadie sabe que esta mal. Entonces lo mas que se puede es intentar que la mayor parte de las personas que hacen ciencia tengan conciencia de lo que estan haciendo mal. Como veras en el proximo ya algo esta pasando y como en anterior post la presion viene de la internet; la blogosfera. Esto es que hay mas personas que estan vigilando, y seria mayor la presion si mas personas se dan cuenta que hay un problema. Esa es la razon por la cual escribo esto aqui, un espacio que no es nesesariamente el que revisaria los protagonistas, si no las personas comunes, que son las que tienen el poder
¿Sabes?, tomé un Ibuprofen un minuto antes de leer esto. Ahora me parezco a un plano abierto de Hitchcock.
Una cosa que me ha llamado la atención de los Estados Unidos, es la cantidad de comerciales de firmas de abogados buscando víctimas de algún medicamento. No he buscado las estadísticas, pero si la cantidad de demandas se acerca al número de comerciales, a la industria farmacéutica la deben conocer hasta los que limpian las ventanas en la corte.
Lo más curioso no es lo común que resulta demandar a esta industria, sino cómo a la semana sale a la calle la competencia del medicamento que ha sido prohibido por the Food and Drug Administration. Así que lo que dices, para mí, tiene mucho sentido.
Espero la segunda entrega del «cómo es que Pfizer, Novartis, Astra Zeneca, no van a contratarme».
si ellos se lo buscaron. y veras como ni tu ni yo somos medicos la mejor opcion ante de tomar un medicamento es que por lo menos tenga 20 años en el mercado (p< 0.05) por lo menos de esa manera sabemos que si funciona
Brillante. Y quizas pueda pecar de ingenuo aqui, que veo que hay mucho nivel intelectual, pero…Que la penicilina fue inventada por accidente, y el napalm no. Completamente en contra del progreso.
Saludos!
si la penicilina fue por un descuido de Fleming debio a que no lavo las capsulas de sus culivos y estas «se creceiron» pero el fue lo bastante perspicas para averiguar que habia matado a los demas hongos en esos cultivos.
Yo le digo a mi esposa que no voy a lavar los platos por esa razon, quien sabe lo que puede crecer en ellos y me puedo hacer rico y famoso.
Pero a ella no le interesa mi fama, ni mi fortuna y me obliga a lavarlos.
Lo del napalm viene por tratar de reinventar el fuego griego, esto se le ha atribuido a varios griegos otros dicen que fue un sirio, pero en concreto nadie lo sabe y se utilizo para defender entre otras a Constantinopla, el secreto se perdio el napalm es una especie de fuego griego moderno, ya sabes mas eficaz y llega mas lejos y se puede uilizar en bombas incendiarias, para freir a oros humanos y es realmente salvaje e inhumano utilizarla.
Pero si en algo la humanidad a demostrado una inventiva particularmente extraodinaria es en realizar nuevas maneras de torturar y matar a las demas humanos de las manera mas salvajes
EquisLuis, respecto a lo de «es el limite de significación estadística que es de 95% inventado por Ronald Fisher.», esto tiene que ver con los intervalos de confianza y el test de hipótesis estadístico ? Si no entiendo mal, tendría entonces que ver con el hecho de que los investigadores traten de hacer encajar los números para que se apruebe el test estadístico.
Respecto al asunto de la omisión en la conversión de unidades en el envío de la sonda, probablemente haya tenido que ver con el hecho de que se hayan representado las magnitudes de distancia sin la unidad de medida asociada (por ejemplo, en las funciones del sistema se utilizan variables cuyo valor guarda un valor numérico entero pero en el modelo físico al que se relaciona dicha función, tal valor estaría asociado a una magnitud y una unidad de medida). Por supuesto, el problema parece trivial, y realmente lo es cuando un programa de informatático tiene 100 lineas de código pero cuando un sistema tiene 500.000 lineas de código, el asunto es muy complicado.
A esto se suma el hecho de que la mayoría de los lenguajes de programación no tienen una manera razonable de representar las magnitudes con unidades de medida a causa de que no tienen un mecanismo
interno para representar polinomios ni una forma de extender la sintaxis del lenguaje. Estos dos problemas llevan a que, si bien teoricamente pueden reprepresentarse las magnitudes usando los mecanismos rudimentarios provistos por el lenguaje de programación, en la práctica resulte inviable ya que hacerlo vuelve los programas ilegibles, mucho más complejos y puede comprometer seriamente los plazos de un proyecto y la capacidad de llegar a buen puerto.
De modo que el disyuntiva se reduce a 1) modelar correctamente las unidades de medida y correr el riesgo de una complejidad inmanejable en el proyecto (el proyecto fallaría antes del lanzamiento) 2) dejar implícitas las unidades de medida, teniendo programas más simples pero asumir el riesgo latente de un error de conversión en cualquier parte del proyecto (el proyecto falla después del lanzamiento).
Podría hablar largo y tendido del asunto, es un problema interesante y sin una buena solución hasta el momento pero ya me fui del tema central de la nota. Espero con gusto la segunda entrega.
Un abrazo, Hernán.
Les dejo un recorte de una nota que habla del problema al que hace referencia EquisLuis y un enlace a The New Yorker: http://www.newyorker.com/reporting/2010/12/13/101213fa_fact_lehrer?currentPage=all:
The New Yorker recently published a lenghty editorial on how natural human behavior affects the scientific community when it comes to studies, in that selective reporting and significance chasing leads to ‘publishing bias’.
«the act of measurement is going to be vulnerable to all sorts of perception biases. That’s just the way human beings work.»
«researchers engage in what he calls «significance chasing,» or finding ways to interpret the data so that it passes the statistical test of significance – the ninety-five-per-cent boundary invented by Ronald Fisher. The scientists are so eager to pass this magical test that they start playing around with the numbers, trying to find anything that seems worthy,»
«…the decline effect is largely a product of publication bias, or the tendency of scientists and scientific journals to prefer positive data over null results, which is what happens when no effect is found. The bias was first identified by the statistician Theodore Sterling, in 1959, after he noticed that ninety-seven per cent of all published psychological studies with statistically significant data found the effect they were looking for.»
«The decline effect is troubling because it reminds us how difficult it is to prove anything. We like to pretend that our experiments define the truth for us. But that’s often not the case. Just because an idea is true doesn’t mean it can be proved. And just because an idea can be proved doesn’t mean it’s true. When the experiments are done, we still have to choose what to believe…»
Espero que sirva el aporte para aclarar un poco el asunto.
Hernán!
Cesare si es como tu dices, con las estadisticas uno puede hacer casi cualquier cosa y mas con las matematicas he visto algunos trabajos donde se pasa de utilizar tensores en trabajos de ecologia (eso me parecio muy creativo)a pasar a las probabilidades. Todo para mantener el p<.005.
Ahora como en biologia muchas veces se trabaja con datos masivos se utilizan programas de workflow engine que ayudan en el proceso de;
1.-evaluación de la calidad de los datos, y la aplicación de "computación" controles
2,-exploración de diversas medidas de manipulación de datos, en busca de la señal de estadística
3.-solidificación de los distintos subcomponentes de las etapas de manipulación de datos en las acciones de guión
4.-despliegue de toda la cosa en múltiples conjuntos de datos
Y tood ese proceso se puede "ajustar" si uno quiere. No digo que se haga debido a que nos gusta hacer trampa, y tampoco que todos lo hagan, pero si todos han manipulado el sistema a su favor aun en pequeñas propociones, y se piensa que son pecados veniales.
Y si son veniales, cuando no se tiene la intencion de hacerlo maliciosamente, si no para que puedan ser publicados.
Y en el promedio de los casos no afectan las concluciones
Ya que una cosa es hacer ciencia en el pais y otra en USA o para las empresas.
——————————————————
Y tienes razon es un problema de programacion muy dificil de solucionar pero una verificacion humana lo pudo solucionar. Ese es el mayor problema de los programas que espero se puedan solucionar en el futuro, quizas con otro lenguaje. Me imagino que muchos deben de estar pensando en ese problema antes de lanzar otra nave robot.
Y tremendo articulo que trajistes. No lo conocia, pero si iba a poner el problema del «oscurecimiento verbal», como una de las actividades mas beneficiosa de la ciencia es el plagio, voy a plagiar algo de ese articulo.
Muchas gracias
La pregunta es, ¿Cómo hacemos los legos en la materia de las ciencias naturales para determinar el alcance de si un medicamento es ciertamente apropiado? ¿A quien creer? ¿En quien confiar? digo, para resistirnos a tomar unos medicamento y no ser tan extremistas para dejar de vacunar a nuestros niños, (como yo de ciencia no se mucho no cometería el error de por ejemplo dejar de llevar a vacunar contra la poliomielitis a un niño), por eso la pregunta la dejo abierta.
¿Cómo hacemos para saber donde la ciencia pifia y por las razones que expusiste no es confiable?
¿Cómo saber si en verdad no deberíamos comer alimentos transgénicos?
Como dices la ciencia a avanzado mucho mas ahora por esas presiones, pero vaya que no me gustaría formar parte de las estadísticas de los que terminaron mal por un medicamento que se aprobó sin un rigor exhaustivo…
Casos hay muchos, por ejemplo cuando mi mamá gestaba a mi hermana el médico le recetó un medicamento para la gripe creo y eso le afecto el esmalte de los dientes a mi hermana, en ese momento según me dijeron después no se sabia que podía ocasionar eso, ¿a quien creerle?
Es sin duda alguna preocupante.
Si esas consideraciones son validas, como ya le dije a Irina, la mejor manera para confiar en un medicamento es que tenga unos 20 años en el mercado, de esa manera ya se sabra todos sus defectos, o si realmente funciona, ya que el experimento se realiza en las personas.
Por lo menos eso es lo que hago
Sobre los alimentos trasgenicos enpenze a escribir sobre ello, pero luego lo deje, eso no tiene ningun peligro, casi todas las bçverduras y las frutas que comemos y creemos naturales son trasgenicos, la misma soya tiene genes de animales, de manera natural,
Pero vamos a suponer que te comites una papa que contiene un gen para produccccur un insecticida… no pasa nada, ya que al llegar a tu estomago los acidos destruyen todos los genes, para convertirlos en aminoacidos.
Con respecto a la ciencia en general, es mas complicado, en el segundo articulo que lo puedes encontrar en esta pagina, digo lo que estamos haciendo, para depurarla, sin regulaciones externas, ls blog que mas han crecido son los que hablan de ciencia, y a traves de ello ya se han descubierto muchos fraudes y permite n una discusion mas abierta, se esta haciendo algo, pero el problema es muy complicado, pero en lineas generales si vale. hay que confiar en ella, si no confiara en ella no dedicaria mi vida a ella.
Y es quizas debido a ello, que deseo que mejore
Luis y que opinas del tratamientoi de celulas madres de animales en el ser humano? alguien me comentó que en valencia hay una clinica que trabaja con eso, tu como biologo que opinas? seria interesante saber del tema y sobre todo que es lo que determina que esas celulas madres de esos animales en especifico (cerdos y otro animal que no recuerdo) y no otros puedan ser usadas en humanos? XD