Estrellas Y Salud
Me llega una noticia, acerca de una investigación de Peter Austin y otros tres investigadores del Instituto de Ciencias de Evaluación Clínica (Institute for Clinical Evaluative Sciences) de Toronto. La fuente, el sistema Eurekalert de noticias científicas, que pertenece a la Asociación Estadounidense para el Progreso de las Ciencias (American Asociation for the Advancement of Sciences), suele ser fiable: no en vano es la asociación profesional de científicos más grande y conocida del mundo, editores de Science y en todos los órdenes, un lugar obligado y de referencia. Precisamente estos días, entre el 15 y el 19, están en San Francisco realizando su reunión anual. Y, precisamente, de una presentación en esa reunión viene la nota de prensa... Como suele pasar, hay que entender que este congreso anual es un verdadero escaparate para la ciencia estadounidense, con una gran afluencia de científicos de todas las ramas, pero también de medios de comunicación. Es importante hacer notar, por lo tanto, que conseguir una noticia en este congreso supone un empujón nada desdeñable para sus autores a la hora de conseguir renombre y financiación para sus trabajos. Mucho más que una publicación en una revista "seria" (me refiero a los mínimos criterios de revisión por pares etcétera), si hablan de tí por una presentación en el congreso de la AAAS has conseguido un verdadero éxito. Lo digo para que no lo olvide el lector. Y porque por lo que se lee en la nota, no hay una publicación "seria" detrás de la noticia que vamos a comentar.Y ya vale de preámbulos. Pues eso, que esta noticia es altamente inquietante. La pongo tal cual para luego comentar el tema:
Charting our health by the stars
Natural Sciences and Engineering Research Council grantee Peter Austin and three other researchers at the Institute for Clinical Evaluative Sciences in Toronto have just completed a survey of hospital visits in Ontario, showing that, compared to people born under other astrological signs, Virgos have an increased risk of vomiting during pregnancy, Pisces have an increased risk of heart failure, and Libras have an increased risk of fracturing their pelvises.
In fact, each of the 12 astrological signs had at least two medical disorders associated with them, thus placing people born under a given sign at increased risk compared to those born under different signs.
The study, which used data from 10,000,000 Ontario residents in 2000, was conducted with tongue firmly in cheek.
“Replace astrological signs with another characteristic such as gender or age, and immediately your mind starts to form explanations for the observed associations,” says Austin. “Then we leap to conclusions, constructing reasons for why we saw the results we did. We did this study to prove a larger point – the more we look for patterns, the more likely we are to find them, particularly when we don’t begin with a particular question.”
Austin will discuss his results at the American Association for the Advancement of Science (AAAS) Conference in San Francisco, which runs from Feb. 15 to 19, 2007. What he found was that even though each astrological sign had its own unique disorders, his initial results were not reproduced when they were explicitly tested in a second population.
“Scientists take pains to make sure their clinical studies are conducted accurately,” says Austin, “but sometimes erroneous conclusions will be obtained solely due to chance.” Statistical chance means that 5 per cent of the time, scientists will incorrectly conclude that an association exists, when in reality no such association exists in the population that the scientists are studying.
One way to reduce the chances of drawing a wrong conclusion is to try and reproduce unexpected results in further studies.
“There is a danger in basing scientific decisions on the results of one study, particularly if the results were unanticipated or the association was one that we did not initially decide to examine,” says Austin. “But when several studies all arrive at similar conclusions, we reduce the risk of arriving at an incorrect outcome.”
¿Que hay una correlación significativa entre el signo del zodiaco y algunas enfermedades? Leches, esto es la repanocha... Sin duda, la noticia implica tal revolución en lo que conocemos de las enfermedades y del Universo que conviene estudiarla con detenimiento. Por eso decía que era "inquietante".
En primer lugar, veamos las dos variables que quedan conectadas: por un lado el signo astrológico. Ya saben lo que es: una arbitraria división del año en 12 partes de aproximadamente 30 días, que vienen a comenzar los 21-22 de cada mes. Sin duda, tienen una antigua tradición, y hasta hubo una época en que esa división tenía algo que ver con el cielo, pero no ahora. Tengamos esto en cuenta: se trata de dar 12 nombres diferentes a unas partes aproximadamente similares en duración de tiempo del año, comenzando -por poner un momento- en esa fecha de cada mes. Y punto. No le busquen conexiones cósmicas, porque estamos hablando de signos astrológicos y no de nada que tenga que ver con el cielo (con el cielo de hoy, de ahora).
En el otro lado, tenemos diferentes enfermedades. Peter Austin y sus colaboradores han encontrado que DOS de ellas (al menos, dicen en la nota) tienen esa correlación con cada valor de la variable anteriormente presentada. En concreto, se especifica que han encontrado que los "Virgo" tienen un riesgo mayor de vomitar durante el embarazo (deberíamos haber puesto, evidentemente LAS Virgo). Por otro lado, los "Piscis" tienen un mayor riesgo de fallo cardiaco. Finalmente, los "Libra" tienen mayor riesgo de fracturarse la pelvis. La nota comenta que cada signo tenía "al menos dos enfermedades asociadas". Quiere esto decir que, frente a los otros signos, esas enfermedades estaban significativamente más presentes en los nativos de esos signos...
La nota habla del universo del estudio: 10.000.000 de residentes en Ontario durante el año 2000. Son un buen montón de personas con las que hacer correlaciones, sin duda. Peter Austin trabaja en estadística sanitaria, así que no pensemos que es un mindundi sin repajolera idea de cómo tratar adecuadamente los datos. Y con numerosas publicaciones (véanse, ya puestos, los 13 últimos trabajos que incorpora a su currículo). Quiero con ello hacer notar que si estamos ante un trabajo de análisis estadístico, tenemos aparentemente a alguien que sabe de qué se habla...
¿Entonces? ¿Es cierto lo que cuenta? Cabe pensar que sí. ¿Se saca de aquí una confirmación de las afirmaciones astrológicas, en cuanto que "predicen" que los signos tienen que ver con la salud -de una u otra manera, es cierto, pero ahí queda...-?
Pues no. Pero hay que acudir al texto de la nota para entenderlo un poco mejor. Veamos por un lado el quinto párrafo, donde dice: "his initial results were not reproduced when they were explicitly tested in a second population". Es decir, que afortunadamente, Austin y los suyos tuvieron la precaución de disponer de otra población, para comprobar si la estadística se confirmaba. Y vieron que no.
¿Cómo podemos entonces entender todo esto?
Les cuento un poco de la historia. En primer lugar, cuando leí el titular, Caracterizando nuestra salud por las estrellas, me dio medio vuelco el corazón. Más al leer el asunto de las enfermedades y los signos y el tamaño de la muestra... Pero resulta que algún descerebrado (o perfecto cabrón) ha redactado la noticia con el fin de conseguir precisamente ese efecto (me temo, no he visto la prensa, que como tal conexión astrológica será referenciada por más de un medio, que la peña de los medios es así de directa, y un titular vende más que cualquier realidad...). Con un poco más de calma, la nota en sí da las pistas para poder darse cuenta de que el estudio de Austin concluye precisamente lo contrario, que a veces podemos encontrar correlaciones curiosas que, realmente, no tienen nada de relevancia -a pesar de ser estadísticamente significativas...
De hecho, la ponencia de Peter Austin en el congreso de la AAAS se titula, mucho más apropiadamente: Multiple Testing and False Claims: The Association Between Astrological Signs and Health, es decir, "Pruebas múltiples y afirmaciones falsas: la asociación entre signos astrológicos y salud". Acabáramos... si Austin es "de los nuestros", justo lo contrario que nos habíamos temido (de ahí el "inquietante" que puse al comienzo).
Así que recapitulemos. Y recomiendo volver a leer, ahora con más calma, la nota de prensa. En ella, Austin explica que estaban buscando correlaciones entre múltiples variables que conocían de esos diez millones de personas atendidas por la sanidad de Ontario. Miraron sexo, edad, y muchísimas otras cosas. Y, en un momento, pudieron encontra que había algunas correlaciones llamativas, como ser de Piscis y los fallos cardiacos etcétera...
Conociendo cómo está el percal en tantas cosas de este mundo, más de un "investigador" habría usado esas correlaciones como PRUEBA de que algo tenía que ver el signo del zodiaco. Afortunadamente, repito, Austin es un buen experto en temas de análisis estadísticos, y se dedicó a formar otras muestras, por ver si ese "efecto astrológico" se mantenía. No fue así, con lo que cualquiera debería sospechar que simplemente estábamos ante un artefacto y no algo real.
¿Por qué artefacto? Hay numerosos sesgos: por ejemplo, al probar posibles correlaciones entre diferentes magnitudes, el investigador de turno, simplemente, desdeña aquellas que NO se producen y se queda con las que SÍ se producen. Ojo, que esto es perfectamente natural, en principio. Pero no tener en cuenta todo aquello que NO funciona, es decir, olvidarlo, nos puede llevar a un autoengaño. Pensemos que estamos haciendo un experimento de tirar monedas al aire y registrar si sale cara o cruz. En una tirada suficientemente larga, es lógico que suceda una serie seguida de caras o cruces (o una serie seguida de cara-cruz-cara-cruz etcétera... la configuración que queramos). Si nos quedamos con esa serie en concreto, podemos calcular la probabilidad de que algo así suceda al azar. Y siempre resulta ser ridículamente baja. Pongamos 10 veces seguidas de caras. Como una cara o una cruz tienen una probabilidad de 1/2, y cada tirada es un suceso independiente (en principio) del anterior, es evidente que sacar dos caras -en concreto- tendrá una probabilidad de 1/2 x 1/2, es decir, 1/4. ¿Hace falta seguir? 10 caras es un suceso ciertamente improbable: 1/2^10 = 1/1024 = 0,00098, o sea que sólo una de cada mil veces -aproximadamente- pasaría algo así. Desde luego, sin más, cuando nos dicen que alguien es capaz de tirar 10 caras seguidas, sin más, nos podemos sorprender. ¡¡Sólo una de cada 10.000 personas podría hacer algo así!! Pues no. Hay que recordar que estamos calculando una probabilidad TRAS el suceso. Que hemos sesgado una serie posiblemente más amplia para quedarnos con lo que queríamos. En latín le dicen a esta falacia "post hoc ergo propter hoc". No vale calcular la probabilidad a posteriori, no señor.
El caso de las múltiples variables que metemos en nuestro flamante paquete estadístico no es exactamente similar, pero podemos hacernos una idea con el asunto que comentaba de las monedas. Al correlacionar diferentes datos, es más que probable que aparezcan algunas correlaciones, para una muestra (o Universo) determinado. Pero esto no vale sin más para hacer una conclusión.
Afortunadamente, la estadística misma proporciona formas de poder evaluar si hay sesgos a la hora de encontrar estas correlaciones. En el caso de las monedas, como dispondríamos de las series "largas", podríamos ver sin más que la elección de la serie que nos venía bien para conseguir ese sujeto que siempre tiraba caras era incorrecta. En el caso que nos ocupa, pasa lo mismo. Y Peter Austin hizo bien su trabajo: bastaba con partir el Universo inicial aleatoriamente en grupos para ver si esas curiosidades estadísticas seguían teniendo valor. Otra opción, claro, sería disponer de los datos de otra provincia, o de otra época. Hay métodos muy potentes en estadística (como las simulaciones Monte Carlo) para comprobar si una correlación es realmente significativa.
Perdonen todo este rollo, de un "casi" lego en estadística, además (perdonen los matemáticos las simplificaciones adoptadas en la explicación, por cierto). Si volvemos al texto de la nota de prensa de Eurekalert, vemos cuál es la moraleja que quería transmitir Austin en su charla de las "falsas afirmaciones": "los científicos se toman la molestia de asegurar que sus ensayos clínicos se realizan de forma precisa, pero a veces se obtienen conclusiones erróneas simplemente debido al azar".
Ahí está el quid de la cuestión. Lo gracioso es que Peter Austin ha "medido" además ese proceder. Concluye que "estadísticamente un 5% de las veces, los científicos concluirán erróneamente que existe una asociación, cuando en realidad tal asociación no existe realmente en la población que estudiaban".
¡Qué gran verdad! Realmente, del estudio de Austin se concluye que no podría sino darse alguna correlación entre signos del zodiaco y enfermedades, al menos algunas veces, para algunas poblaciones de estudio. Sobre todo si tenemos los suficientes elementos de cada variable: 12 signos, un buen montón de enfermedades...
Puede que el lector haya llegado hasta aquí diciendo: bueno, esto es TAN EVIDENTE que no hacía falta decirlo... Pues no. Este error es terriblemente común, y la obcecación en el error, cuando a la escasa precaución en el uso de las correlaciones y estadísticas en general unimos además una creencia en que algo TIENE QUE suceder, es demasiado frecuente.
Una de las "controversias" más importantes de los últimos 3 decenios en el mundo del análisis estadístico de las afirmaciones astrológicas es el llamado efecto Marte o efecto Gauquelin. Lo cierto es que nos llevaría mucho tiempo hablar a fondo de este asunto, pero digamos en plan resumen que unos análisis estadísticos de Michel Gauquelin a mediados de los años 70 le llevaron a concluir que, por ejemplo, los deportistas más relevantes de cada especialidad en todo el mundo (nacidos antes de que los métodos obstétricos de programar el parto fueran importantes, frente al parto más "natural", esto es, dejar que el crío salga cuando se le ponga en gana....) tenían a Marte en ciertas posiciones relativas del cielo que aparecía en el momento de su nacimiento. El asunto Gauquelin dio mucho juego, con comités estadounidenses -marcó, precisamente, hace 30 años, la época del nacimiendo del CSICOP, la principal organización escéptica a escala mundial-, y europeos, como el Comité PARA que intentaron reanalizar los datos. Ya casi desde el principio se comentó que estaba operando algo similar a lo que ahora nos cuenta Austin: cabía pensar que Gauquelin (la pareja, él y su mujer, quien le ayudó durante años) habían tenido sesgos de selección. Por un lado, selección en las muestras (esto dio lugar a agrios debates sobre qué se consideraba -o no- un deportista de élite), pero tambié a la selección de las variables adecuadas. Por eso en otras muestras no aparecía ese efecto Marte, o aparecían otros efectos incompatibles.
Llevo 20 años discutiendo con astrólogos de todo pelaje, y sistemáticamente, los más "serios" (ya sé que ser astrólogo y serio es realmente imposible, pero los hay que se consideran más serios...) acuden siempre a Gauquelin como una especie de santo patrón que les defiende de la crítica escéptica. Nunca han sido capaces de entender el fenómeno del que estamos hablando aquí. Me temo que, en cuanto algún medio de comunicación transmita la noticia mal (algo muy probable, dado el tendencioso titular y comienzo de la nota de prensa), volveremos a las andadas.
Esta anotación está siendo ya demasiado larga, pero quería comentar que, entre otros, sesgos similares al que comentamos se han descubierto en las históricas series de ESP (percepción extrasensorial) que se realizaron en universidades inglesas y estadounidenses en los años 30-40. El nacimiento de la "parapsicología de laboratorio", con Rhine y otros, mostró precisamente cómo la estadística groseramente utilizada (en algunos casos esto incluía manipulaciones deliberadas, que todo hay que decirlo) podía crear un efecto donde sólo había un sesgo.
Me perdonarán que haya esbozado dos temas (Gauquelin y Rhine) sin entrar demasiado en ellos. Pero es que entonces me tendría que poner a escribir mucho más. Quizá otro día hablemos de estas cosas. Por el momento, ya saben: si esta semana alguien les dice que ha leido u oido o visto que en Ontario han demostrado que la astrología funciona, acuérdense de explicar que, más bien, ha sucedido -una vez más- lo contrario. Y si tienen tiempo, expliquen por qué precisamente esas presuntas verdades estadísticas son uno de los argumentos para sospechar que realmente no hay esas influencias zodiacales.