Cuando los Datos Mienten Diciendo la Verdad

 

"La Paradoja de Simpson nos enseña que, en el mundo de los datos, la suma de las partes no siempre es igual al todo." Steven Strogatz (EE.UU. n.13-08-1959).

En el mundo de la estadística, solemos buscar refugio en los números. "Los datos no mienten", dicen algunos. Sin embargo, existe un fenómeno capaz de hacer que los números parezcan contradecirse a sí mismos, una anomalía lógica que ha hecho tropezar a investigadores, abogados y científicos por décadas, lo que se conoce como “La Paradoja de Simpson”.

Este fenómeno ocurre cuando una tendencia que aparece en varios grupos de datos desaparece o, peor aún, se invierte por completo cuando esos grupos se combinan. Es el arte del ilusionismo matemático aplicado a la realidad.

Aunque hoy la conocemos por Edward H. Simpson (Reino Unido 1922 – 2019), quien publicó un artículo sobre ella en 1951 (The Interpretation of Interaction in Contingency Tables), Simpson no fue el primero en observar este comportamiento.

Pioneros de la estadística como Karl Pearson (Reino Unido 1857 – 1936) en1899 y George Udny Yule (Reino Unido 1871 – 1851) en 1903 ya habían notado estas curiosas inversiones en tablas de contingencia. No obstante, el nombre de Simpson se quedó grabado en la academia después de que el estadístico Colin R. Blyth (Canadá 1922 – 2019) acuñara el término "Paradoja de Simpson" en 1972 para describir este efecto que desafía la intuición.

Para entender la magnitud de esta paradoja, debemos viajar a la Universidad de California, Berkeley. En 1973, la institución fue señalada por una aparente injusticia: las cifras de admisión sugerían un sesgo contra las mujeres.

Los datos generales eran claros:

1. El 44% de los hombres que postularon fueron admitidos.
2. Solo el 35% de las mujeres que postularon fueron admitidas.

La diferencia era estadísticamente significativa y apuntaba a una discriminación sistemática. Sin embargo, cuando el estadístico P.J. Bickel (EE.UU. 1940) examinó los datos por departamento, la realidad dio un giro de 180 grados. En la mayoría de las facultades, las mujeres tenían una tasa de admisión ligeramente superior a la de los hombres.

Resultó que las mujeres tendían a postularse a departamentos con tasas de admisión muy bajas (carreras muy competitivas como Inglés), mientras que los hombres se postulaban masivamente a departamentos con altas tasas de admisión (como Ingeniería y Química). Al promediar los datos, el "peso" de los departamentos difíciles hundió el promedio femenino, creando una ilusión de sesgo que no existía a nivel individual.

Otro caso famoso en EE. UU: se observó que el promedio de las puntuaciones en las pruebas SAT de un estado (Estado A) había bajado en comparación con otro (Estado B) a lo largo de los años.

• La ilusión: Parecía que el sistema educativo del Estado A estaba empeorando.
• La realidad: Al desglosar los datos por nivel socioeconómico, el Estado A había mejorado sus puntuaciones en todos los niveles.
• ¿Qué pasó?: El Estado A había logrado que muchos más estudiantes de entornos desfavorecidos, que históricamente tienen puntuaciones iniciales más bajas, participaran en las pruebas. Al haber más estudiantes de este grupo en la muestra total, el promedio general bajó, aunque cada grupo individual estaba progresando.

La paradoja de Simpson puede expresarse como una relación de desigualdades. Supongamos que tenemos tasas de éxito $a/b$ y $c/d$. Es perfectamente posible que:

$$\frac{a}{b} < \frac{A}{B} \quad \text{y} \quad \frac{c}{d} < \frac{C}{D}$$

Pero que, al sumar los componentes, la relación se invierta:

$$\frac{a + c}{b + d} > \frac{A + C}{B + D}$$

Esta inversión ocurre debido a lo que llamamos variables acechantes o “confusoras”. En el caso de Berkeley, la variable “confusora” era la dificultad del departamento.

Este comportamiento adquiere una dimensión especial en el caso de la medicina. Veamos el siguiente ejemplo:

Un estudio de 1986 comparó dos tratamientos para los cálculos renales: la cirugía abierta tradicional y la nefrolitotomía percutánea (una técnica menos invasiva).

1. Tratamiento A (Cirugía Abierta): 78% de éxito.
2. Tratamiento B (Nefrolitotomía): 83% de éxito.

A simple vista, el Tratamiento B parece superior. Pero al dividir los casos por tamaño de la piedra:

1. Piedras pequeñas: Tratamiento A (93%) > Tratamiento B (87%).
2. Piedras grandes: Tratamiento A (73%) > Tratamiento B (69%).

¡El Tratamiento A es mejor en ambos casos! La paradoja surgió porque los médicos solían reservar la cirugía abierta (A) para los casos más difíciles (piedras grandes) y la técnica menos invasiva (B) para los casos fáciles. Esto "castigó" injustamente el promedio general del Tratamiento A.

Otro ejemplo contraintuitivo que ocurre a veces durante las crisis financieras. Se ha observado que, en ciertos meses, la tasa de desempleo sube para las personas con títulos universitarios y también sube para las personas sin títulos universitarios.

• La paradoja: ¡La tasa de desempleo general del país baja!
• La explicación: Esto sucede por un cambio en la composición de la fuerza laboral. Si durante ese mes muchas personas sin título (que tienen tasas de desempleo muy altas) abandonan la búsqueda de empleo o se jubilan, y el peso de los universitarios (con tasas de desempleo bajas) aumenta en la muestra total, el promedio nacional mejora, aunque a ambos grupos les esté yendo peor individualmente.

En la era del Big Data y la Inteligencia Artificial, la paradoja de Simpson es más relevante que nunca. Los algoritmos de aprendizaje automático a menudo extraen conclusiones de grandes conjuntos de datos agregados. Si no se filtran adecuadamente las variables confusoras, la IA podría perpetuar sesgos o tomar decisiones médicas y económicas erróneas basándose en una correlación invertida.

Lecciones para el Analista

• Nunca confíes solo en el promedio agregado: Siempre desglosa los datos por categorías relevantes.
• Entiende el contexto: Los números no tienen sentido sin conocer el proceso que los generó (por qué alguien eligió un tratamiento o una carrera).
• Causalidad vs. Correlación: La paradoja de Simpson es un recordatorio brutal de que la correlación no implica causalidad.

La Paradoja de Simpson no es una simple curiosidad académica para entretener a matemáticos en sus ratos libres; es una señal de alarma sobre cómo interpretamos la realidad. Ignorarla no solo conduce a errores de cálculo, sino a decisiones erróneas que pueden tener consecuencias devastadoras en la vida real.

Cuando los gobiernos o instituciones analizan datos de desempleo, educación o salud de forma agregada, corren el riesgo de aplicar "remedios" que empeoren la situación. Como vimos en el ejemplo de los exámenes escolares, una caída en el promedio general puede ocultar un progreso real en los sectores más vulnerables. Ignorar el desglose de datos puede llevar a recortar fondos donde más se necesitan o a celebrar éxitos que, en realidad, son retrocesos grupales.

En el ámbito de la salud, la paradoja de Simpson es literalmente vital. Administrar un tratamiento porque "en promedio" funciona mejor, sin observar cómo afecta a subgrupos específicos (hombres, mujeres, jóvenes o personas con patologías previas), es una negligencia estadística. Podríamos estar recomendando una medicina que es menos efectiva para todos los pacientes individuales, simplemente porque la muestra global está sesgada por una variable oculta.

El caso de Berkeley nos enseñó que la justicia requiere profundidad. Sin un análisis basado en la paradoja de Simpson, podríamos condenar a una institución por discriminación basándonos en una ilusión numérica, o peor aún, podríamos no detectar una discriminación real que queda oculta bajo promedios generales favorables.

Hoy, delegamos muchas decisiones a la Inteligencia Artificial. Si los algoritmos de aprendizaje automático no son "conscientes" de estas inversiones de tendencia, los sesgos se automatizan. Un sistema de selección de talento o de concesión de créditos podría perpetuar injusticias sistémicas simplemente por no desglosar correctamente las variables de entrada.

Los números son herramientas poderosas, pero carecen de ética y de contexto. La Paradoja de Simpson nos obliga a ser humildes ante los datos. Nos recuerda que la verdad rara vez se encuentra en la superficie de un promedio y que, si no estamos dispuestos a bucear en los detalles, corremos el riesgo de ahogarnos en una conclusión falsa.

La próxima vez que veas una estadística impactante, no preguntes qué dice el número; pregunta cómo se dividen los grupos. Tu capacidad de tomar decisiones correctas depende de ello.