¿Qué tan buenos son los expertos?

Leer el futuro, parte II

Hace algunos meses hablamos de la posibilidad de usar matemáticas para predecir el futuro, específicamente, el resultado de eventos deportivos. No porque tengamos nada en particular en mente sino porque parece un ejemplo muy fácil de seguir. 

Terminamos hablando de ELO, un método de puntuación originalmente ideado para ajedrez que se ha adaptado a muchísimos deportes y está detrás de las predicciones deportivas de fivethirtyeight, mi fuente predilecta de información estadística para toda ocasión. 

Esta vez vamos a darle un pequeño giro y hablar de los expertos y por qué son tan malos prediciendo el resultado de eventos deportivos. Seguimos en la lectura de Thinking, Fast and Slow de Daniel Kahneman, de modo que no solo hablaremos de matemáticas, vamos a tocar algo de psicología sin querer. 

El campeón de la quiniela

¿Cuál es el trabajo de un analista deportivo? La gente que tiene programas en ESPN, Fox Sports o Televisa Deportes parece recibir dinero por un trabajo muy parecido al que hace un periodista de espectáculos: hablar, dar opiniones y crear drama de la nada. (No mencioné Azteca Deportes porque ellos claramente están en la industria del stand-up y Fox Sports es básicamente un Laura en América.)

Ocasionalmente, estos expertos realizan una Quiniela, es decir, juegan a ver quién puede predecir correctamente mayor cantidad de juegos en cada jornada, en particular la Liga Mx que es la que nos corresponde. Antes de seguir, tienes que preguntarte: ¿qué porcentaje de aciertos es necesario para que sientas que alguien es bueno para predecir?

Desgraciadamente, aunque nuestros queridos expertos publican resultados de vez en vez, no tienen un registro ni un archivo y varias predicciones se pierden con el tiempo. Los datos que aquí recolectamos salieron más que nada de un profundo clavado en las redes sociales de ESPN y TD. 

Un torneo corto de Liga Mx tiene en total 153 partidos. Son 17 jornadas con 9 partidos cada una. La siguiente tabla muestra la información que pudimos obtener, con algunos torneos sin terminar.

TABLA

El número más alto es 73 de 144 de Mauricio Ymay, a falta de una jornada. Hay apenas un puñado de otros 70's y toda una serie seguro es anómala (marcada en rojo). ¿Qué tan impresionante es atinarle a menos del 50% de los partidos? En el acumulado de la información disponible, los mejores predictores (Kikín Fonseca, Oswaldo Sánchez, Paco Villa y Jimena Álvarez) aciertan 44% del tiempo.

Se podría decir que la Liga Mx es ligeramente más impredecible que otras ligas como la Premier o La Liga, porque no hay equipos tan dominantes y la muestra es pequeña (153 de un Clausura/Apertura contra 380 de una Premier); otros amargados dirían que nuestro fútbol es mediocre muy competitivo y por eso es difícil. 

Otra razón es que estamos esperando que le atine a al menos la mitad, porque nos parece que si lo dividimos en Bien / Mal, atinarle al 50% es lo que sale de hacerlo practicamente al azar. 

El pulpo Paul

Vamos a realizar este experimento: para cada partido del torneo, toma un dado y lánzalo. Si cae 1 o 6, escoge Visitante, si cae 2 o 5 escoge Local, si cae 3 o 4 escoge Empate. Estamos simplificando mucho el ejercicio: estamos dejando de pensar en la probabilidad de que gane el Local y concentrándonos en la probabilidad de atinarle a la cadena final de resultados LLVEEVLLLVEEVL. 

De esta manera, tienes 1/3 de probabilidad de atinar el resultado correcto. Esto es una extrema simplificación que en realidad juega en nuestra contra: sabemos que el resultado L, V, E no es equiprobable y que depende de quiénes estén jugando. 

Los resultados de lanzar el dado repetidas veces y marcar cada vez que tenemos un exito se pueden modelar usando una distribución binomial. En este caso particular, p = 1/3 y n = 153. Es decir, son 153 ensayos y cada uno tiene una probabilidad de éxito de apenas uno de tres. 

Gráficamente, se ve más o menos así: 

La media es de 51 aciertos y la desviación estándar es de 5.8, y la gráfica ni siquiera se interesa por mostrar los extremos. En este modelo, la probabilidad de que alguien obtenga entre 45 y 57 aciertos es de 0.654, y la probabilidad de que alguien obtenga menos de 70 aciertos es de 0.999052, que es prácticamente 1. Si tú hicieras este ejercicio durante toda la Liga Mx, obtendrías entre 40 y 62 aciertos con 92.8% de probabilidad. 

Eso quiere decir que cuando Ciro Procuna obtuvo 73 puntos, con un 47.7% de aciertos, estaba haciendo algo excepcional... si pronosticar los resultados de los partidos de fútbol fuera un proceso aleatorio. ¿Cuánto esperarías de un experto para considerarlo experto?

Los resultados que tienen los expertos de la televisión son indistinguibles de los resultados que obtendría un mono lanzando un dado. Es exactamente el mismo experimento que tener un Pulpo Paul o poner a tu perrito frente a tres platos de comida: si lo haces las suficientes veces, tu Chihuahua merecería un trabajo en ESPN. 

Naturalmente esto parece dejarnos con un mal sabor de boca. Consultando con mis amigos para escribir esta entrada, Mane dice que atinarle al 50% es lo que haría una persona promedio, a Luis le gustaría pedir un 66% de éxito y Yogui preferiría movernos a un modelo de no-lose, es decir, el empate cuenta como acierto, para el cual no tenemos datos suficientes.

Eso se ve más natural en algo como la NFL. Esta es la quiniela TD para la NFL de este año:

De los 256 partidos de temporada regular, los mejores tienen 170, que es justamente el 66% que pide Luis. A lo mejor lo que nos echa mosca mental es tener empates y usar la distribución binomial para modelar este ejercicio. 

Man vs Machine

¿Cómo le va a los algoritmos de computadora?

El Football Power Index de fivethirtyeight pronosticó cada uno de los encuentros del Apertura 2017 de la Liga Mx. Estos son sus resultados, contados a mano: 

131 aciertos

Son 66 del Clausura 2017 y 65 del Apertura 2017; son 131 de 306, para 42.81% aciertos. ¡Eso no está bien!

Por otro lado, los resultados del FPI para la Liga Premier 2016-2017 o La Liga 2016-2017, torneos más largos, con más equipos y de los que probablemente hay mayor información: 

227 aciertos / 218 aciertos

Esa es una precisión del 59.73% y 57.36%, respectivamente. ¡Eso es increíble! Digo, para lo que hemos estado viendo y el modelo binomial que hemos estado usando está muy lejos del azar. Sigue estando debajo del 66% que pide Luis o el 80% que pide Mane. A lo mejor, simplemente, la Liga MX es verdaderamente más difícil de predecir pero cualquier torneo es realmente complicado. 

Los algoritmos no están libres de la intervención humana, pues son humanos quienes los programan. Sus cuentas, pesos, sumas y restas tienen rastros de los mismos sesgos que tienen los humanos al tratar de predecir, con importantes diferencias si lo dejas correr repetidamente. Sobre todo un algoritmo basado en ELO que tiende a corregirse. 

La ventaja de los algoritmos es que no sienten apego hacia algún equipo en particular, no se sienten más confiados en sus predicciones si llevan una buena racha reciente, no se crean historias causales que justifiquen sus errores. Nuestros expertos humanos sí las tienen.

Sin embargo, la Liga MX parece ser tan peculiar que el algoritmo de 538 sigue por debajo de los comentaristas deportivos. ¿Qué tanta confianza les tienes?