Como siempre lo hago, comenzaré por contarte sobre el autor del libro que en este caso es Nate Silver.
Nate Silver ha vivido toda su vida alrededor de la predicción. En 2002, mientras trabajaba como un consultor más para la firma de contabilidad KPMG, ideó un método revolucionario para predecir el rendimiento de los jugadores de béisbol, que posteriormente adquirió el sitio web Baseball Prospectus. Al año siguiente, se dedicó al póquer en su tiempo libre y renunció a su trabajo después de ganar $15,000 dólares en seis meses, cabe mencionar que sus ganancias anuales de póquer pronto llegaron a las seis cifras. Luego, a principios de 2008, Silver notó que la mayoría de los pronósticos políticos eran “basura” por lo que decidió también reinventar ese campo. Sus poderes “predictivos” eran tales que en un momento la campaña de Obama recurrió a él en busca de orientación.
Actualmente, dirige el sitio web político FiveThirtyEight.com, donde publica un pronóstico actualizado de las elecciones y temas coyunturales.
Debido a que es un libro con muchas gráficas que hacen referencia a pronósticos estadísticos, evitaré clavarme en la parte técnica y concentrarme en lo que, desde mi perspectiva, son los puntos más importantes de cada capítulo.
Te dejamos este episodio de BookShake en donde puedes escuchar el análisis que le hicimos al libro:
1. Un fallo de predicción catastrófico
En la primera parte del libro, Nate se encarga de analizar las cuatro principales fallas de predicción que se sumaron a la crisis financiera de 2007. El primero de los cuales fue la burbuja inmobiliaria. Los propietarios esperaban que los precios de la vivienda siguieran subiendo, lo que provocó que se vendieran más viviendas y, posteriormente, más personas se vieran gravemente afectadas por la crisis financiera.
El segundo fue que las agencias calificadoras no evaluaron con precisión el riesgo asociado. Standard and Poor’s calificó las obligaciones de deuda garantizada en AAA. Silver argumenta que no fue ignorancia por parte de las agencias calificadoras, sino que los modelos estaban “llenos de suposiciones erróneas y falsa confianza sobre el riesgo que podría presentar un colapso en los precios de la vivienda”.
La tercera predicción fallida fue la incapacidad de prever cómo la crisis de la vivienda podría desencadenar una crisis financiera mundial.
El mercado estaba extremadamente apalancado hacia el mercado de la vivienda con $50 dólares invertidos por cada $1 dólar que los estadounidenses estaban dispuestos a invertir en una nueva casa.
Con tanto apalancamiento en el mercado, incluso un pequeño cambio porcentual podría ser catastrófico y no verlo fue una de las principales razones por las que la crisis financiera se convirtió en un evento global. Finalmente, la cuarta falla es que no pudieron predecir cuánto duraría la recesión.
En síntesis, lo que nos muestra todo esto es que las suposiciones en los modelos pueden tener impactos muy importantes. Las personas con frecuencia tienen una confianza ingenua en los modelos y no se dan cuenta de lo frágiles que son para nuestra toma de decisiones, muchas veces incluso con resultados desastrosos.
Una causa común es que las personas se centran en las señales que nos cuentan una historia sobre el mundo como nos gustaría que fuera, no en cómo es realmente. Y luego, ignoramos la incertidumbre, incluso si esta es una parte esencial del problema que estamos tratando de resolver.
2. ¿Eres más inteligente que un experto en televisión?
Silver describe en este capítulo un programa llamado The McLaughlin Group donde había un panel de expertos políticos a quienes al final de cada programa se les pedía que hicieran predicciones sobre una variedad de eventos políticos diferentes. Silver vio cientos de episodios de este programa y registró las predicciones respectivas de cada experto. Resultó que cada persona tenía razón sólo alrededor del 50% del tiempo.
Al buscar por qué las predicciones de estos supuestos expertos no eran mejores que lanzar una moneda al aire, Silver encontró un artículo de Philip Tetlock, profesor de ciencias políticas y psicología. En su artículo, Tetlock había encuestado a cientos de politólogos y les había pedido que predijeran eventos políticos.
Sus resultados mostraron que muchos de los politólogos también acertaron solo alrededor del 50% de las veces, pero hubo algunos que lo hicieron mucho mejor.
También hizo una serie de preguntas psicológicas para determinar si había alguna correlación entre aquellos predictores que lo hicieron mejor o peor. Clasificó a todos los participantes de la encuesta como zorros o erizos, siendo los zorros mucho mejores en la predicción.
Describe a los erizos como «personalidades tipo A que creen en las grandes ideas» y a los zorros como «criaturas rudas que creen en una plétora de pequeñas ideas y en adoptar una multitud de enfoques para resolver un problema». Los erizos son mejores para la televisión porque hacen grandes predicciones radicales, pero los zorros hacen mejores predicciones porque toman en cuenta todos los pequeños detalles. Otro problema con los erizos es que toman información y la modifican para alinearla con sus sesgos particulares. Esto se debe a que los erizos tienen dificultad para distinguir entre los hechos y su interés fundamental.
Silver aprovecha para explicar su propio modelo y menciona que sus predicciones son muy parecidas a las de un zorro y que todas siguen tres principios clave.
- El primer principio es pensar probabilísticamente. Cada predicción que hizo Silver no mostró solo un resultado, sino una variedad de resultados.
- El segundo principio es cambiar tus predicciones a medida que hay nuevos datos disponibles. Silver dice: “Debes hacer el mejor pronóstico posible hoy, independientemente de lo que hayas dicho la semana pasada, el mes pasado o el año pasado”.
- El último principio es buscar el consenso. Si hay una gran cantidad de modelos que predicen un resultado muy diferente al de tu modelo, es posible que haya algo mal. Siempre hay valores atípicos, pero la mayor parte de un grupo de personas es más preciso que un individuo.
Me gustan los primeros dos puntos, pero debo confesar que en este último no estoy tan de acuerdo.
3. Todo lo que me importa son las W y las L
Más adelante Silver se mete a hablar de lleno sobre el béisbol. Lo principal que se debe tomar de este capítulo es probablemente que se necesitan tanto estadísticas como humanos para hacer un mejor trabajo.
Afirma que un buen sistema de predicción de béisbol debe tener en cuenta el contexto de las estadísticas de un jugador, los cambios en el rendimiento a lo largo del tiempo y la distinción entre suerte y habilidad. El contexto de las estadísticas de un jugador se refiere al promedio de bateo de un jugador en casa frente a su promedio en los otros estadios de la liga u otras estadísticas de esa naturaleza.
Silver explica que la clave para distinguir entre suerte y habilidad es determinar qué estadísticas son menos susceptibles a la suerte. En otras palabras, qué estadísticas contienen la menor cantidad de ruido. Da el ejemplo de predecir el récord de victorias/derrotas de un lanzador. Si un lanzador poncha a un bateador, no puede embasarse y, por lo tanto, no puede anotar una carrera. Si el equipo contrario no puede anotar ninguna carrera, no ganará.
Aquí es donde Silver aprovecha para introducir el sistema que él creó llamado PECOTA. Silver usa el ejemplo de Dustin Pedroia. Pedroia es un jugador muy exitoso para los Medias Rojas que fue descartado por todos los cazatalentos debido a su falta de tamaño. El sistema PECOTA de Silver en realidad predijo que Pedroia se convertiría en un jugador exitoso. Pedroia tenía todos los fundamentos y buenas estadísticas, pero fue considerado un fiasco porque no encajaba en el molde del prototipo de beisbolista profesional.
Este ejemplo me gustó mucho porque evidencia un problema que muchas personas tienen con la predicción. Cuando algo no encaja en el molde, hay una tendencia a ignorarlo simplemente porque no sabemos cómo clasificarlo. Silver fue capaz de predecir con precisión el éxito de Pedroia porque su sistema agrupa a los jugadores por similitud en lugar de tener solo una idea prototípica de cómo es un jugador de béisbol exitoso.
4. Durante años nos has estado diciendo que la lluvia es verde
Silver introduce la idea de la teoría del caos, que básicamente establece que ciertos tipos de sistemas son difíciles de predecir. Esta teoría se aplica a sistemas que son tanto dinámicos como no lineales. Con este tipo de sistemas, incluso la más mínima diferencia en una entrada podría causar un error enorme en su cálculo.
Silver percibe al pronóstico del tiempo como una de las historias de éxito de la predicción, (algo con lo que los ciudadanos comunes podemos no estar de acuerdo), por el contrario, en el capítulo 5 discute uno de los mayores fracasos, la predicción de terremotos.
Regresando al punto del pronóstico del tiempo o del clima, Silver investiga la competencia entre las empresas de pronóstico del tiempo públicas y privadas para determinar qué sistema de pronóstico es mejor. Aquí nos explica un ensayo escrito por Allan Murphy, meteorólogo de la Universidad Estatal de Oregón, en el que intenta definir lo que constituye un buen pronóstico.
Él dice que hay tres formas de juzgar un pronóstico. La primera es, ¿fue correcto el pronóstico? La segunda es, ¿fue ese el mejor pronóstico que se pudo dar? La tercera es entender el valor económico.
Resulta que Weather Channel, AccuWeather y los pronósticos del gobierno según su análisis, son bastante iguales.
El hecho alarmante fue que los pronósticos hechos con diez días de anticipación eran en realidad peores que el promedio histórico de las condiciones en una fecha particular en un área particular.
Esto significa que un pronóstico de diez días es peor que lo que una persona promedio podría calcular por sí misma. La razón de esto es justo lo que apunta al inicio, el clima es dinámico y no lineal.
5. Buscando señal desesperadamente
Por otro lado, como ya lo mencioné, nos habla de los terremotos, prácticamente lo que dice es que, si bien ha habido muchos intentos de crear un modelo que los pronostique observando los temblores previos y posteriores, desafortunadamente, no ha habido un patrón decisivo que se ajuste a todos los escenarios.
La idea es tratar de encontrar algún tipo de patrón en los temblores previos que condujeron al evento principal, lo que podría ayudar a pronosticar el momento en que podría ocurrir otro gran evento, aunque esto último aún no se logra,
Silver también habla sobre el problema del ajuste excesivo en la predicción de terremotos.
Por lo general, hay pocos datos con los que trabajar y los científicos están desesperados por identificar algún tipo de patrón que ayude a sus predicciones. Lo que los llevará a confundir los datos ruidosos con la señal, y aunque eso hace que su modelo se vea mejor, termina brindándoles peores predicciones. Un ejemplo de ello es el devastador terremoto que asoló Japón en 2011.
En general, lo más probable es que nunca se logre el pronóstico real de los terremotos. Hay datos prometedores sobre la predicción de la ubicación de las réplicas de los grandes terremotos, pero en este momento la ciencia de la predicción de los terremotos sigue siendo extremadamente difícil.
6. Cómo ahogarse en tres pies de agua
En esta parte Silver nos habla sobre la incertidumbre y la pretensión de precisión en muchas predicciones (económicas y de otro tipo). La incertidumbre es vista como «el enemigo», como algo que amenaza la reputación de los expertos que hacen la predicción y, por lo tanto, se ignoran u ocultan las incertidumbres, lo que trae como resultado consecuencias desastrosas cuando surgen problemas. Esto queda perfectamente ilustrado con el ejemplo de la inundación de Grand Forks, donde la comunicación del margen de error podría haber ayudado a evitar mucho de lo que ocurrió.
En 1997, la ciudad de Grand Forks, Dakota del Norte, se inundó y casi todo el pueblo quedó destruido. El pueblo tenía gravámenes que podían soportar hasta 51 pies de agua, y el Servicio Meteorológico Nacional predijo que el agua subiría a 49 pies, por lo que los residentes pensaron que estarían bien.
En realidad, el margen de error en el pronóstico era de más o menos nueve pies, pero no transmitieron eso. Como resultado, el agua alcanzó los 54 pies y la ciudad se inundó. Si se hubiera articulado la incertidumbre en el pronóstico, más personas habrían estado mejor preparadas para un resultado peor.
Expresar la incertidumbre en las predicciones es importante, pero es algo que los economistas no suelen hacer.
Aquí Silver destaca un par de desafíos al hacer predicciones, por un lado, el exceso de confianza, que de acuerdo a su explicación se puede contrarrestar obteniendo retroalimentación para mejorar. El segundo desafío es que a menudo es difícil determinar la causa y el efecto y ver la diferencia entre la causalidad y la correlación.
Silver también advierte sobre ignorar los datos, especialmente cuando se estudian eventos raros. Ignorar los datos es a menudo una señal de que un pronosticador tiene demasiada confianza o trata de sobreajustar el modelo. La confianza a menudo se correlaciona inversamente con la precisión de una predicción, pero él afirma que la incertidumbre debe ser parte de cualquier predicción.
7. Modelos a seguir
Este capítulo trata sobre los peligros de la extrapolación y las suposiciones demasiado simplistas, utilizando como ejemplo las predicciones erróneas de la gripe. También se discuten aquí las predicciones autocumplidas y auto-cancelativas. A menudo, el mismo acto de predicción puede alterar la forma en que las personas se comportan. A veces no debemos fingir que podemos predecir, en algunos casos es mucho mejor prepararse para varios escenarios.
Pero, recuerda también: los modelos básicamente siempre están equivocados y aún así tienen valor porque pueden ayudarnos a entender las cosas y cuando entendemos cómo están mal y qué hacer cuando el modelo está equivocado puede ayudarnos a lidiar con los problemas de una mejor manera.
Para explicar lo anterior se vale de lo sucedido a mediados de los años 70, cuando un soldado en Fort Dix contrajo lo que los médicos inicialmente pensaron que era la gripe común, pero resultó ser el virus H1N1. Este soldado murió por eso. Existía la preocupación de que el virus se propagara y matara a muchos estadounidenses. Gerald Ford era presidente en ese momento y su secretario de salud, F. David Matthews, predijo que morirían un millón de estadounidenses.
El presidente Ford hizo que se crearan 200 millones de dosis de la vacuna contra el H1N1 e instó enfáticamente al público a vacunarse. Después de gastar millones de dólares, resultó que nunca hubo otro caso confirmado de H1N1. Los expertos médicos creían que la posibilidad de que muriera un millón de estadounidenses estaba entre el 2% y el 35%. Ford optó por ignorar estos bajos números de predicción, lo que fue catastrófico para él porque este fiasco jugó un papel en Ford perdiendo su candidatura a la reelección ante Jimmy Carter.
Como dije Silver también habla sobre las nociones de las predicciones autocumplidas y autocanceladas. Una predicción autocumplida ocurre cuando la predicción hace que las personas actúen de tal manera que aumenta la precisión de la predicción. Un ejemplo es el autismo.
En los últimos años, el autismo en los niños ha estado bastante en las noticias, y los diagnósticos de autismo también han aumentado a un ritmo similar. La idea es que cuanto más la enfermedad llama la atención del público, es más probable que las personas noten los síntomas de la enfermedad y, por lo tanto, la diagnostiquen.
Esto también puede hacer que nuestras predicciones sean falsamente precisas, ya que las personas pueden tener síntomas similares de la enfermedad que es muy publicitada y, por lo tanto, ser mal diagnosticadas. Por lo que el consejo final en este capítulo es que debemos ser cautelosos al hacer este tipo de predicciones.
8. Cada vez menos mal
Llegamos por fin a la segunda parte del libro, la que trata sobre la forma de hacer mejores predicciones, poco a poco, de ahí el título. Este capítulo discute sobre un apostador deportivo exitoso y cómo combina el conocimiento de las estadísticas y el conocimiento del béisbol para encontrar relaciones significativas en los datos (y ganar mucho dinero en el camino).
El apostador al que Silver se refiere es Haralabos Voulgaris, un hombre que gana millones de dólares al año apostando en partidos de la NBA. Voulgaris adopta un enfoque estadístico para realizar sus apuestas. Observa casi todos los juegos que se juegan y busca continuamente patrones que mejoren sus predicciones sobre quién ganará cada juego.
Silver explica que el enfoque de Voulgaris para el juego es muy similar al teorema de Bayes. El teorema de Bayes nos da la “Probabilidad de que una teoría o hipótesis sea verdadera si ha ocurrido algún evento”.
En cierto modo, este enfoque nos lleva cada vez más cerca de la verdad a medida que reunimos más evidencia. Gran parte del capítulo está dedicado a explicar el teorema de Bayes con probabilidades condicionales y probabilidad previa (que incluso puede basarse en un sentimiento visceral) a través de algunos ejemplos.
La clave del teorema de Bayes es que debemos actualizar continuamente nuestras estimaciones de probabilidad tan pronto como surja nueva evidencia.
9. Carrera contra las máquinas
«Rage Against The Machines» es el título del noveno capítulo, en donde Silver argumenta que debemos desarrollar una actitud más saludable hacia las computadoras y lo que podrían lograr para nosotros. La tecnología es beneficiosa como dispositivo ya que nos ahorra mano de obra, pero no debemos esperar que las máquinas piensen por nosotros. Con el ejemplo de las computadoras de ajedrez, Silver discute la heurística (atajos mentales) y su papel en la resolución de problemas.
Silver explica el concepto de basura que entra, basura que sale, lo que significa que un pronóstico simulado por computadora no tiene valor si las entradas que le das no son precisas. Esta es la razón por la cual las computadoras funcionan muy bien para el ajedrez y el pronóstico del tiempo, donde los sistemas se rigen por leyes que se entienden bien.
Para los terremotos, las computadoras no son muy útiles porque no entendemos las leyes que siguen los terremotos. En última instancia, Silver afirma que las mejores predicciones involucran tanto al hombre como a la máquina. Necesitas una computadora para hacer los cálculos que un humano no puede hacer, pero necesitas que el humano proporcione la información que una computadora no puede.
10. La burbuja del póker
Al igual que el tercer capítulo sobre el béisbol, el décimo capítulo sobre el póker es uno de los que no me pareció tan útil. La observación más interesante se encuentra posiblemente en el penúltimo párrafo: «La ironía es que, al estar menos enfocado en tus resultados, puedes lograr mejores».
Silver afirma que además de hacer buenas estimaciones de probabilidad; un buen jugador de póquer es impredecible. Él explica que debes ser impredecible en tu juego, porque eso hace que sea más difícil para los otros jugadores hacer estimaciones de probabilidad precisas de las cartas que tienes.
También presenta el Principio de predicción de Pareto, que describe la curva de aprendizaje para convertirse en un predictor exitoso. En el eje “x” está el esfuerzo y en el eje “y” está la precisión. La curva es empinada al principio, pero luego se nivela una vez que te vuelves bastante bueno en la predicción.
La idea es que es fácil aprender lo básico rápidamente, pero una vez que alcanzas los niveles más altos de conocimiento, se vuelve más difícil mejorar.
Silver afirma que los jugadores de póquer, al igual que cualquiera que se gana la vida haciendo pronósticos, se miden por los resultados.
11. Si no puedes vencerlos…
Un tema importante de este libro es que “El desempeño pasado no es indicativo de resultados futuros”. Esto es especialmente cierto con respecto al mercado de valores. Silver observó cómo se desempeñaron algunos fondos mutuos diferentes entre 2002 y 2006 y luego entre 2007 y 2011 y no encontró ninguna correlación.
Todos los fondos que analizó superaron al mercado en el marco de tiempo inicial, pero luego se desempeñaron de la misma manera que el mercado o tuvieron un rendimiento inferior en el siguiente marco de tiempo.
Esto es similar al problema del exceso de confianza que describe Silver. Cuando los inversionistas tienen en mente un cierto valor para algunas acciones y todos los demás parecen tener un valor completamente diferente, ese inversionista se equivoca casi siempre. El problema es que el exceso de confianza que tienen muchos inversionistas hace que el mercado actúe de manera irracional. Los síntomas de un mercado irracional son rendimientos por debajo del promedio y volatilidad extrema en el mercado, cosas que ningún inversionista quiere.
Estas malas decisiones tomadas por los comerciantes conducen a que Silver a explicar que la hipótesis del mercado eficiente es autodestructiva porque si cree que el mercado es eficiente y no hay forma de vencerlo, no tiene sentido realizar transacciones. Si no se realizan transacciones, entonces no hay mercado.
En cambio, Silver cree que el mercado no puede ser completamente eficiente, sino que necesita inversionistas novatos con menos habilidades para crear un mercado donde las personas calificadas puedan prevalecer. Su teoría es que se necesita variación en el conjunto de habilidades de los inversionistas dentro del mercado para que los más hábiles tengan la oportunidad de ganarle al mercado. Estos inversionistas no calificados se llaman inversionistas de ruido.
Silver también analiza la importancia de reconocer cuál es el consenso. Explica que cada vez que hagas una predicción, mires el consenso y cuanto más lejos esté tu predicción, más evidencia necesitarás para ella. Silver afirma que esa misma filosofía aplica a la inversión. Si te desvías mucho del consenso, debes tener una buena razón para hacerlo o, de lo contrario, terminarás como muchos inversionistas de ruido.
12. Un clima de saludable escepticismo
En este capítulo Silver aboga por un escepticismo saludable (que básicamente aplica para todo) y discute algunos puntos para esto, incluido el interés propio y el contrarianismo. Al respecto, nos dice: «No hay razón para alegar una conspiración cuando una explicación basada en el interés propio racional será suficiente». Y, por supuesto, hay escepticismo científico del cual habla en la segunda mitad del capítulo y la importancia de la incertidumbre en las previsiones (por ejemplo, incertidumbre de condición inicial, incertidumbre estructural e incertidumbre de escenario). Según la teoría del autor, siempre son trabajos en progreso siempre sujetos a un mayor refinamiento y pruebas.
13. Lo que no sabes te puede hacer daño
Este capítulo trata sobre el terrorismo y el conocido ataque a Pearl Harbor que parecía bastante predecible después de haber ocurrido. Los Estados Unidos no solo no estaban preparados, sino que también confundieron la ignorancia con el conocimiento y como resultado se hicieron más vulnerables al tomar el escenario equivocado como la forma más probable de ataque. Pero, como se dijo antes, separar la señal y el ruido puede ser difícil.
El problema subyacente es que fácilmente confundimos lo desconocido con lo improbable. Cuando una posibilidad no nos es familiar, fingimos dejar de pensar en ella y “nos hacemos de la vista gorda”, la bloqueamos mentalmente.
Curiosamente, Silver compara los terremotos con los actos de terrorismo y descubre que siguen el mismo tipo de ley de poder y, por lo tanto, el 9/11 no fue un valor atípico en absoluto y, con esto en mente, el ataque debería haber sido tan inimaginable como a menudo se discute.
Algo muy interesante en este último capítulo es lo que un profesor de la Universidad de Colorado llamado Aaron Clauset hizo para tratar de predecir ataques terroristas.
Lo que encontró es que predecir ataques terroristas es muy parecido a predecir terremotos. Si vives en un área y experimentas un par de terremotos de magnitud cinco y luego, un año después, uno de magnitud seis, sabemos por el pronóstico de terremotos que se avecina un terremoto grave.
Es lo mismo con el terrorismo. Cuando hay algunos ataques más pequeños a lo largo de los años, es una señal de que se avecina un gran ataque. Esto sugeriría que los ataques del 11 de septiembre no fueron un valor atípico estadístico, sino parte del proceso matemático.
Silver trazó todos los ataques terroristas en países de la OTAN desde 1979-2009 por número de ataques versus muertes (también incluyó los ataques del 11 de septiembre).
Lo que encontró es que cuando se coloca en una escala logarítmica doble, forma una línea recta. Esta es la especificación exacta de la ley de distribución de potencia. Es decir, no es que se sepa cuándo y dónde ocurriría específicamente un ataque, pero si los funcionarios supieran que ocurriría un gran ataque de algún tipo en los próximos 20 años, podrían estar mejor preparados.
Conclusiones
Silver explica sus tres reglas para convertirse en un buen pronosticador.
- Pensar probabilísticamente usando el modelo de pensamiento bayesiano (Teorema de Bayes).
- Cuando utilices el estilo de pensamiento bayesiano; conoce muy bien tus creencias previas. En otras palabras, debes tener un conocimiento básico de lo que sea que estás prediciendo antes de pasar a la predicción.
- Finalmente, Silver afirma que para hacer buenos pronósticos necesitamos hacer muchos de ellos. Cuantos más pronósticos hagas, más práctica obtendrás y mejor te volverás.
