Un pescador utiliza una red cuyos agujeros miden cinco centímetros. Después de varias jornadas concluye que todos los peces del mar miden más de cinco centímetros. El razonamiento parece empírico: ha observado cientos de peces y ninguno era más pequeño. El problema es que no está describiendo el océano. Está describiendo su red.
Ese es uno de los problemas fundamentales de la medición. Un instrumento no se limita a observar la realidad; determina qué parte de ella puede aparecer en los datos. Lo que queda fuera de su resolución, de sus categorías o de su diseño simplemente deja de existir para el análisis.
Ocurre constantemente. Un test de inteligencia mide ciertas capacidades y después confundimos la puntuación con toda la inteligencia. Una encuesta pregunta por ideología en una escala izquierda-derecha y fuerza millones de posiciones políticas distintas dentro de una dimensión. El PIB registra producción intercambiada en el mercado y se toma como bienestar. Un algoritmo mide engagement y termina concluyendo que lo que provoca clics es lo que la gente realmente valora. En medicina, aquello que no aparece en una prueba puede quedar fuera del diagnóstico aunque el paciente lo experimente.
El peligro aumenta cuando el instrumento es sofisticado. Cuanto más preciso parece un número, más fácil es olvidar que alguien decidió previamente qué contar, cómo clasificarlo y dónde colocar el umbral. Una medición puede tener seis decimales y seguir midiendo algo equivocado.
Esto también explica por qué mejorar los datos no siempre resuelve el problema. Puedes lanzar la red mil veces más. Puedes capturar diez millones de peces. Si los agujeros siguen midiendo cinco centímetros, la conclusión seguirá excluyendo exactamente los mismos peces. Una muestra enorme reduce el error estadístico; no corrige necesariamente un instrumento mal diseñado. Pensar científicamente exige entonces una segunda pregunta después de qué muestran los datos: ¿Qué no muestran y por qué?
Ese es uno de los problemas fundamentales de la medición. Un instrumento no se limita a observar la realidad; determina qué parte de ella puede aparecer en los datos. Lo que queda fuera de su resolución, de sus categorías o de su diseño simplemente deja de existir para el análisis.
Ocurre constantemente. Un test de inteligencia mide ciertas capacidades y después confundimos la puntuación con toda la inteligencia. Una encuesta pregunta por ideología en una escala izquierda-derecha y fuerza millones de posiciones políticas distintas dentro de una dimensión. El PIB registra producción intercambiada en el mercado y se toma como bienestar. Un algoritmo mide engagement y termina concluyendo que lo que provoca clics es lo que la gente realmente valora. En medicina, aquello que no aparece en una prueba puede quedar fuera del diagnóstico aunque el paciente lo experimente.
El peligro aumenta cuando el instrumento es sofisticado. Cuanto más preciso parece un número, más fácil es olvidar que alguien decidió previamente qué contar, cómo clasificarlo y dónde colocar el umbral. Una medición puede tener seis decimales y seguir midiendo algo equivocado.
Esto también explica por qué mejorar los datos no siempre resuelve el problema. Puedes lanzar la red mil veces más. Puedes capturar diez millones de peces. Si los agujeros siguen midiendo cinco centímetros, la conclusión seguirá excluyendo exactamente los mismos peces. Una muestra enorme reduce el error estadístico; no corrige necesariamente un instrumento mal diseñado. Pensar científicamente exige entonces una segunda pregunta después de qué muestran los datos: ¿Qué no muestran y por qué?
RSS Feed
