Las encuestas, sus errores y su interpretación: el caso de la EPA

En este post vamos a hablar sobre encuestas, y de como interpretar los resultados que aparecen en las mismas. Tomaremos como ejemplo la Encuesta de Población Activa (EPA), y veremos cómo se pueden obtener no únicamente estimaciones de tipo puntual (es decir con un único valor), sino también con una horquilla de valores (lo que se denomina un intervalo de confianza).

Aunque ha sufrido diferentes críticas, la EPA es casi seguro, la mejor encuesta que se hace en España. Como tal encuesta, permite, entrevistando a una parte muy pequeña de la población, estimar con precisión datos económicos de interés. 

Los encuestadores del INE completan personalmente o por teléfono un cuestionario amplio para describir la situación personal y las pretensiones y cualificaciones de cada persona del hogar. La encuesta gira cada trimestre sobre 65.000 hogares y 180.000 personas seleccionadas de entre 3.600 secciones censales de las 30.000 en las que divide España.

Ahora bien, las encuestas no son mágicas, y no permiten calcular exactamente cuantos ocupados o parados tenemos, sino únicamente estimar de forma aproximada. Toda encuesta tiene errores, ya que se estudia una muestra, y no toda la población.

Para analizar estos errores tomemos como referencia los datos del cuarto trimestre de 2013 sobre el número de ocupados dados en el informe del INE,  junto con la metodología de trabajo del INE para la EPA.

En los medios de comunicación y en dicho informe, se tiene que el número de ocupados se ha estimado en 16.758.200 personas. Los márgenes de error pueden ser consultados a partir de las tablas del INE. Veáse que el error de muestreo que se tiene para este trimestre es del 0.38%, por lo que se puede decir que:

• El número de ocupados estimado a nivel nacional es de 16.758.200 personas, con un error de muestreo estimado de 0.38% (63.681 personas). 
• Si se desea estimar con un intervalo de confianza (al 95%), es decir, estimar dando una horquilla de resultados, se tiene que el margen de error para dicha horquilla a un nivel de confianza del 95% es de (2 x 63.681) = 127.362 personas.  
• Por tanto, tenemos una confianza del 95% en que el verdadero número se encuentra en el intervalo (redondeando) entre 16.630.838 y 16.885.562 personas (es decir, 16.758.200 ± 127.362)

Cuando se comenta y se escribe de una encuesta, a la hora de expresar los resultados, se suele utilizar únicamente un valor de la horquilla de datos que se han estimado. 

Ahora bien, cuando esos datos se usan para hacer comparaciones entre diferentes momentos en el tiempo, hay que tener en cuenta el margen de error, ya que no se puede certificar que lo que vemos como aumentos/descensos en el número de ocupados, sea real, o sea simplemente resultado del azar. 

Analizamos esta idea a continuación: 

Cuando se trabaja con datos del tercer trimestre de 2013 se habla de un total de 16.823.200 ocupados y la estimación al 95% de confianza es de un total de ocupados entre 16.698.708 y 16.947.672 personas (el error de muestreo es del 0.37% en este trimestre).

En el gráfico, podemos observar la evolución de la serie de ocupados en el último trimeste de 2012 y todo 2013 (en azul), junto con los valores de las horquillas (en rosa los intervalos de confianza).
 
En la comparativa entre el cuarto y el tercer trimestre en el número de ocupados se habla de una bajada de la ocupación de 65.000 personas. No obstante, hay que tener en cuenta que esta estimación proviene de una encuesta y como tal, tiene un margen de error, que es de 127.362 personas. 

 Así, en realidad, con una bajada tan pequeña en la comparativa entre trimestres, y teniendo en cuenta ambas horquillas en la estimación, no se puede afirmar categóricamente que han bajado los ocupados del tercer al cuarto trimestre, ya que el número de ocupados podría hasta haber aumentado.

Si se realiza un análisis análogo para el cuarto trimestre de 2012 para llevar a cabo una comparativa interanual, y teniendo en cuenta que el error de muestreo que se tiene para ese trimestre es también de 0.38% se tiene que: 

El número de ocupados estimado a nivel nacional es de 16.957.100 personas, con un error de muestreo estimado de 0.38% (64.437 personas). El margen de error para un intervalo con un nivel de confianza del 95% es por tanto de (2 x 64.437) = 128.874 personas.  Por tanto, tenemos una confianza del 95% de que el verdadero número de ocupados se encuentra en el intervalo (redondeando) entre 16.828.226 y 17.085.974 (es decir,  16.957.100 ± 128.874).

Comparando las series interanulaes, se tiene una bajada de 16.823.200 - 16.957.100 = 198.900 personas, valor que ya se sale fuera de los márgenes de error de la encuesta, lo cual nos permite afirmar, que efectivamente, sí se ha producido una caída en el número total de ocupados en 2013.

The Laso style

Como hemos dicho alguna vez nos consideramos amantes del deporte, cuestión que hemos puesto de manifiesto con posts como los dedicados al pádel o la navarrodependencia. Y hablando de deportes, son muchas las horas que hemos dedicado al baloncesto, tanto como jugadores como entrenadores.

El baloncesto,  si bien ha alcanzado cotas difícilmente repetibles a nivel de selección nacional, no atraviesa por su mejor nivel de popularidad en la competición doméstica. Y es que son muchas las voces que reclaman un cambio en cuanto filosofía de juego, un soplo de aire fresco. La reciente Final Four de la Euroliga de 2013 ha sido un claro ejemplo de entrenadores, periodistas, jugadores, ex-jugadores, y un largo etc reclamando que un juego tan vistoso como el puesto en práctica por el Real Madrid se ponga de moda en la Liga Endesa. Desde Juanma López Iturriaga en su puesto privilegiado de comentarista de TVE solicitando "un juego más vistoso y generoso con el espectador" hasta nuestro querido compañero Jose M. Puertas con su cruzada de #LaCatarsis, y pasando por una infinidad de distintas opiniones. Pero al final y al cabo, son eso, opiniones. Y las opiniones no dejan de ser subjetivas y de estar basadas en...¿qué? ¿La experiencia de cada uno? ¿En lo que nos gustaría que fuese, pero no es?

Puesto que nosotros no aprendemos, nos preguntamos, como siempre, si los datos podrían aportar algo más a este debate. ¿Podremos aportar un punto de apoyo a aquellos que defienden partidos 'relajados' con tanteos altos que ven en el 'estilo Laso' una tabla de salvación?

Observemos la siguiente tabla:

En ella se recoge información sobre las cuatro últimas finales disputadas en la Euroliga. Las tres primeras columnas son fáciles de entender, sin embargo las restantes no es usual verlas dentro de las estadísticas relacionadas con los partidos de baloncesto:

• en la cuarta se estima el número de posesiones, entendidas como el número de veces que un equipo va de una canasta a otra, es decir, un rebote ofensivo no se considera una nueva posesión.
• en la quinta se estima la eficiencia ofensiva de cada equipo, es decir, el número de puntos por posesión.
• finalmente, en la sexta se realiza una predicción de los puntos que se hubiesen anotado en dichos partidos si se hubiesen jugado 74'6 posesiones (que son el número medio de posesiones jugadas en la final del año 2013).

Considerando que el número de posesiones jugadas marca el ritmo de partido, podemos observar que la final del año 2013 es la que ha contado con un mayor número de posesiones jugadas (como hemos indicado, una media de 74'6). Sin embargo, en contra de lo que muchos puedan pensar, no existe una diferencia abismal con las posesiones medias jugadas en 2012 (70'7) o 2011 (71'3). Con respecto a los dos años anteriores, cada equipo apenas ha jugado 3 o 4 posesiones más. Además, podemos ver en las proyecciones realizadas que no nos acercamos a los guarismos registrados en 2013.

Si el tanteo tan alto de la última final no responde a un juego vertiginoso basado en posesiones cortas, ¿entonces a qué se debe? Con un simple vistazo a la eficiencia ofensiva de cada equipo observamos claramente que en el año 2013 el número de puntos por posesión es superior al resto. Incluso comparando con la final del año pasado se tiene que el Real Madrid y Olimpiacos en 2013 han anotado casi medio punto más por posesión que CSKA y Olimpiacos en 2012.

Podríamos concluir entonces que el marcador tan alto de la final de la Euroliga, ese marcador que deseamos todos ver cada fin de semana en las canchas de baloncesto, no se debe al juego vistoso y desenfadado que reclama tanta gente, sino que es fruto de una gran efectividad ofensiva de ambos equipos.

La siguiente pregunta es inmediata: ¿a qué se debe esa efectividad? Mucha gente dirá que con la calidad que atesora la plantilla del Madrid podrían anotar 90 puntos cada sábado, otros que la defensa que practica el Olimpiacos les permite anotar una gran cantidad de puntos fáciles, pero una vez más, no dejan de ser opiniones...

¿Qué dicen los datos? A nosotros nos llama fuertemente la atención las diferencias tan grandes que existen entre el número de tiros libres intentados en la última final, que casi duplica al de ediciones anteriores. Pensamos que este dato es la clave en la eficiencia ofensiva tan elevada de ambos equipos.

Señor Rajoy, ¿qué es una previsión?

Extracto de la Intervención del presidente del Gobierno del día 8 de Mayo de 2013 en el Pleno del Congreso de los Diputados para informar sobre el Programa de Estabilidad y el Plan Nacional de Reformas:

"...Éste es el principal valor del Programa de Estabilidad: la fijación de los objetivos de déficit para todas las Administraciones Públicas. Esto es lo que comprometemos como país y lo que nos obliga.

Ahora bien, para hacer este propuesta es necesario basarse en unas previsiones. Las previsiones son un instrumento muy importante, pero nada más que un instrumento, que nos orienta para tomar la verdadera decisión que es la senda de déficit.

Estas previsiones deben ser realistas y acordes con el ejercicio que se está realizando. A nadie se le escapa que, tanto los pronósticos sobre la actividad, como los realizados sobre el empleo, corresponden a una realidad que no estaba prevista. Nadie presagiaba, ni aquí ni fuera de aquí, que la recesión en la Unión Europea sería como es, nadie. Evidentemente, esto limita nuestro crecimiento.

Cuando hablamos de previsiones, Señorías, estamos hablando de eso, de previsiones, y no de otra cosa, como me ha parecido que alguien ha querido entender. Las hemos hecho a la baja, cosa que no debe alarmar a nadie, porque es lo razonable. Son estimaciones deliberadamente prudentes, lo que las hace más serias y más fiables.

No deseo en ningún momento transmitir una falsa impresión. Quiero ser y que seamos todos realistas. ¿Acaso estaba mejor hacer las cosas como antes, cuando las cifras se empleaban para fantasear, para intentar lucirse, y no servían más que para redoblar la desconfianza hacia España?

Las previsiones, Señorías, ni son un instrumento para la propaganda del Gobierno, ni deben manipularse para sembrar falsas esperanzas o, al contrario, alimentar alarmas no menos falsas. Ni siquiera tienen por qué cumplirse. Yo seré el primer interesado en que algunas no se cumplan y haré cuanto sea posible para lograrlo. Todo el mundo puede entender que, si un médico tiene previsto sacar a un paciente de la UVI en dos semanas, y al final de la primera está en condiciones de hacerlo, no lo retendrá, como es natural. Se saltará su propia previsión. Pues nosotros, lo mismo.

....

La política del Gobierno, por poner un ejemplo, persigue reducir el déficit y eso no varía. La previsión se limita a ofrecer una estimación aproximada sobre el ritmo y las posibilidades. Contribuye a fijar la senda de la reducción y otorgar confianza a la misma..."

Si partimos de que, como dice el señor presidente, una previsión es una estimación aproximada de algo, por ejemplo, del crecimiento económico de un país, también debemos de partir de que dichas previsiones se han realizado a partir de datos. En tal caso, ¿como puede ser una previsión deliberada? ¿cómo puede ser una previsión intencionada o hecha a propósito? Es más, nosotros pensábamos que lo que hace seria y fiable una previsión era la herramienta estadística usada, no la prudencia.

Todo esto nos crea mucha incertidumbre: ¿en base a qué criterios toma nuestro gobierno sus decisiones? ¿usan expertos en toma de decisiones a partir de datos o se juntan en cafetería tres o cuatro amiguetes? También puede ser que llamen a la Merkel para ver que hacen con la mayoría absoluta.

Ya lo dice el subtitulo de nuestro blog: "Tengo mis resultados hace tiempo, pero no sé cómo llegar a ellos". Pero seamos serios... un señor presidente no puede pensar eso. Un señor presidente no puede hacerlo. Un señor presidente no puede pensarlo, hacerlo y mucho menos decirlo!!!!

Señorías, ustedes que ponen el grito en el cielo cuando se anuncian manifestaciones alrededor del congreso, den ejemplo y respeten ese lugar tan especial:

• si se van a dedicar a usar el móvil/tablet para jugar al Apalabrados, vénganse a nuestras clases. A nuestros alumnos también les gusta mucho usar la tecnología mientras alguien habla en la tarima. La diferencia es que ellos, los alumnos, saben que una estimación no puede ser deliberada.
• si se van a dedicar a jalear a los propios y a abuchear a los contrarios, el mejor sitio es ir a ver un partido de fútbol (así les ayudan a mitigar la deuda que tienen con Hacienda). Parecen la guardería de nuestros hijos, donde hay que pedir silencio cada dos por tres. La diferencia es que ellos, los peques, aún no saben que una estimación no puede ser deliberada.

Señor presidente, una última reflexión: tenga cuidado con sus previsiones deliberadas vaya a ser que le pase como a aquel que cuando acostumbró a su burro a no comer se le murió.

Menos recortes y más imaginación!!!!