Un post para reflexionar un poco sobre ese tema polémico y actual que es la verificación de los pronósticos.
«La mayoría de las personas saben opinar sobre un pronóstico meteorológico. Muy pocas saben verificarlo.»
Hay una escena que se repite cada día en millones de hogares cubanos: El meteorólogo anuncia lluvias «aisladas» para la tarde. En el parte del INSMET, «aisladas» significa que un tercio del área provincial estará cubierta por lluvia. Pero nadie te dice si tú estarás dentro de ese tercio o fuera de él. Al día siguiente, en tu barrio no cayó una gota. En el barrio vecino, un palo de agua. Y el veredicto es inmediato:
—Se equivocaron otra vez. Y allá van a endilgarles el cartelito de «mentirólogos», pero … cuando se acerca un huracán reclaman a «San Rubiera». Tranquilos amables lectores, pasa igual en todas partes del mundo, es una profesión que se juega su prestigio cada día.
Pero ¿realmente se equivocaron? ¿O es que nadie nos enseñó a leer un pronóstico?
Una ciencia condenada al examen permanente
Un científico que trabaja en el laboratorio puede tardar meses o años en saber si su hipótesis era correcta. La naturaleza le responde cuando el experimento concluye. Un astrónomo puede esperar décadas a que nuevas observaciones confirmen o refuten su teoría. Los creadores de un medicamento o de un tratamiento nuevo pasan largos años trabajando para ver triunfar sus resultados.
En meteorología, la naturaleza responde al esfuerzo cada día. Y lo hace en público.
Cada predicción tiene fecha de vencimiento. Después de unas horas o unos días, la atmósfera dicta sentencia. Pocas disciplinas científicas viven sometidas a una auditoría tan constante, tan implacable y tan visible.
Sin embargo, verificar un pronóstico no es preguntarse si llovió o no llovió.
Un pronóstico es un conjunto de afirmaciones simultáneas sobre espacio, tiempo e intensidad. ¿Llovió en toda la ciudad o solo en un barrio? ¿A la hora prevista? ¿Con la intensidad anunciada? ¿En los sitios que se identificaron como más probables? Ciertamente, el pronóstico de la precipitación es el más veleidoso.
Es como intentar acertar no solo el resultado de un partido de fútbol, sino también el minuto de cada gol, el número de tiros a puerta y la posesión del balón.
Cuando las probabilidades nos traicionan
La situación se complica con los pronósticos probabilísticos. Supongamos que durante cien días se emite un pronóstico de 70% de probabilidad de lluvia. Mucha gente piensa que debería llover en cada uno de esos cien días. Pero si llueve en setenta de ellos, el pronóstico fue extraordinariamente bueno.
La paradoja es evidente: un pronóstico probabilístico puede ser estadísticamente perfecto y, al mismo tiempo, generar una insatisfacción pública enorme.
La gente busca certezas. La atmósfera ofrece probabilidades. Y en ese abismo entre lo que queremos oír y lo que la ciencia puede decir, se pierde la posibilidad de un juicio justo.
Cómo se verifica en el mundo real
La verificación moderna es una disciplina científica en sí misma. No pregunta «¿llovió o no llovió?». Pregunta algo más concreto: de cada cien veces que anuncié un 70% de lluvia, ¿en cuántas llovió realmente?
Para responder eso, los centros meteorológicos usan un arsenal de métricas. Y cada una responde a una pregunta distinta:
El Brier Score mide qué tan cerca quedó tu pronóstico de la diana. Un cero es un tiro perfecto al centro. Un uno significa que disparaste sistemáticamente en dirección contraria. No importa si acertaste una vez por casualidad: el Brier Score castiga la inconsistencia.
El diagrama de fiabilidad es como una balanza que debe mantenerse en equilibrio. Si dices «70% de lluvia», debe llover aproximadamente setenta veces de cada cien. Si llueve solo treinta, tu balanza está rota: anuncias más de lo que ocurre. Si llueve noventa, también está rota, pero en el otro sentido.
La curva ROC mide la capacidad del sistema para distinguir entre un evento que va a ocurrir y uno que no. Es como un perro guardián: debe ladrar cuando hay un intruso, pero no cuando pasa el cartero. Un área bajo la curva de 0.5 significa que el perro ladra al azar; no sirve de nada (como el de mi casa que lo mismo le ladra a los gatos, a las gallinas del vecino, o a alguien que esté tocando a la puerta, o si vino la luz, o si se fue la luz, o si se bota el tanque elevado).
Los skill scores responden a la pregunta más dificil de todas: ¿este pronóstico es mejor que no tener pronóstico? Un valor de cero significa que no aporta nada sobre la climatología. Un valor negativo significa que sería mejor mirar por la ventana.
Los centros serios publican estas métricas abiertamente. No presumen de «aciertos». Presumen de habilidad estadística demostrable.
El caso noruego: la humildad de los números
MET Norway es uno de los servicios meteorológicos más respetados del mundo. Su modelo LAMEPS, combinado con el ECMWF, produce pronósticos que están entre los mejores del planeta.
Pero cuando publican sus resultados, no dicen «90% de efectividad». Publican Mean Absolute Error, Brier Skill Scores, curvas ROC y diagramas de fiabilidad. Publican el error absoluto medio de sus pronósticos de temperatura y lo comparan con la climatología. Publican, en fin, la letra pequeña de su propia incertidumbre.
Ese es el estándar internacional. No hay «porcentaje de acierto» en el sentido popular. Hay métricas que se pueden replicar, auditar y —si es necesario— refutar.
El caso cubano: cuando el 90% esconde la letra pequeña
INSMET verifica sus pronósticos desde 1978. Y publica resultados: un promedio de 87.5% de efectividad en las predicciones de 24 horas, con picos de 91.2% después de 2001. Villa Clara alcanza el 94% de eficiencia. Las Tunas reporta 93.2% de efectividad, y en 2022 llegó al 94.1%, ubicándose entre los mejores del país. Esos números son impresionantes, a un meteorólogo noruego lo dejan con la boca abierta. Pero ¿cómo se calculan?
Aquí está la clave. En la metodología cubana, un pronóstico se considera correcto cuando más del 50% de las observaciones de las estaciones de una región cumple los rangos establecidos. Para la dirección del viento, el umbral baja al 30%. Es decir, acierta el pronóstico si una de cada tres estaciones confirma la dirección del viento.
Eso no es lo mismo que verificar si el pronóstico fue certero para la ciudad de La Habana. Es verificar si fue suficientemente útil en el agregado regional.
La verdadera asimetría
La diferencia no es que unos mientan y otros sean humildes. Es que miden cosas distintas con reglas distintas.
MET Norway mide el error absoluto medio contra la climatología. Verifica punto por punto, estación por estación. Publica sus Brier Scores y sus diagramas de fiabilidad. Su referencia es la naturaleza misma: si el pronóstico no supera a la climatología, no sirve.
INSMET mide el porcentaje de pronósticos que pasaron un filtro creado por el personal del instituto según sus propios criterios. Verifica por regiones agregadas. Publica porcentajes de efectividad sin desglosar. Su referencia es un criterio interno que se ajusta según la variable: 50% de estaciones para temperatura, 30% para viento.
Cuando un noruego dice que su pronóstico tiene un skill score positivo, está diciendo que es mejor que no tener pronóstico. Cuando un cubano dice «90% de efectividad», está diciendo que, según los criterios internos del INSMET, nueve de cada diez pronósticos pasaron el filtro (creado por ellos). Pero el filtro es flexible. Y no se publica con el mismo nivel de detalle.
Esa es la verdadera asimetría. No está en los números. Está en quién decide cómo se cuentan.
El matiz que no podemos ignorar
Sería injusto cerrar aquí. La asimetría metodológica no es solo cuestión de transparencia institucional. Es también cuestión de recursos materiales.
Evaluar un pronóstico a nivel de «punto de rejilla» —es decir, para cada kilómetro cuadrado— exige una red de radares Doppler de alta densidad, estaciones automáticas que reporten cada minuto, y una capacidad de supercómputo que MET Norway tiene y el INSMET no.
El Instituto de Meteorología llegó a tener más de 1400 trabajadores. Hoy esa plantilla está lejos de poder cubrirse. Conozco más de treinta jóvenes meteorólogos talentosos, graduados del InSTEC, que se desempeñan en el extranjero (algunos vinculados a la Meteorología, otros no). El recurso humano, que era una de nuestras fortalezas, va menguando. Puedo añadir más, desde hace muchos años, muy pocos de los graduados en el InSTEC regresaban a sus provincias de origen. Ahora el asunto es peor —emigran.
No se puede exigir la misma granularidad de verificación cuando no se dispone de la misma granularidad de medición. La asimetría metodológica refleja, en parte, una asimetría material. Señalarlo no debilita mi crítica: la hace más honesta.
La práctica y las expectativas
Como expliqué con más detalle en mi post: ¿Lloverá? Yo veré y te diré publicado en Juventud Técnica, la gente quisiera saber cómo va a estar el tiempo, mañana, pasado mañana, de aquí a dos semanas, en el verano en la semana que planifico ir a la playa, en diciembre que su hija se quiere casar el 24 …
Cuando alguien afirma «ese pronóstico fue un desastre», casi nunca está evaluando el pronóstico en sí. Está evaluando su experiencia personal. Generalmente, porque le sucedió algo adverso: lo agarró un palo de agua en medio de la calle, se le mojó la ropa que dejó tendida, no llovió como esperaba para paliar que hace una semana no bombean agua … en fin el mar, como diría Guillén, que ya sabía que hay cosas que no se cambian, solo se navegan, y como suele usar la gente en Cuba como bisagra conversacional.
Un pronóstico puede ser excelente desde el punto de vista estadístico y resultar insatisfactorio para una persona concreta. Del mismo modo, un pronóstico mediocre puede parecer brillante si, por casualidad, acertó exactamente lo que ocurrió en nuestro barrio, especialmente si era lo que esperábamos: no llovió y pude hacer la fiesta de cumpleaños del niño en el patio.
La próxima vez que maldigas al meteorólogo porque en tu barrio no cayó una gota, pregúntate: ¿estabas en el tercio del área que el pronóstico cubría? ¿O simplemente no te tocó? Y si te tocó, ¿te acordaste de agradecerlo?
El asunto no es si se equivocó el meteorólogo, sino más bien si sabemos nosotros cómo reconocer cuándo tenía razón.
Y entonces … ¿cómo quedo yo?
La sociedad suele creer que verificar un pronóstico consiste simplemente en comparar lo anunciado con lo ocurrido. En realidad, la verificación meteorológica es una disciplina científica compleja que busca medir objetivamente la calidad de las predicciones y separar las impresiones subjetivas de la evidencia estadística.
El verdadero desafío no es solo mejorar los pronósticos.
Es aprender a juzgarlos con los mismos estándares que exigimos a quienes los emiten.
Mientras tanto en LADETEC …
OK, no lo vamos a engañar, en LADETEC no podemos hacer que llueva o no llueva según usted lo necesite, estamos trabajando en eso; pero ese servicio aún no lo tenemos disponible.
Si su problema es que necesita agua podemos hablar con un pipero para que le lleve (ya saben, tienen que «ayudarlo»), pero eso es solo para Camagüey. Si su problema es que está lloviendo y necesita ir a alguna parte, para eso tenemos a Pepe El Seco, que tiene un bicitaxi con nailons grandes (Pepe cubre hasta Florida, la de Camagüey no la otra y hasta Vetientes) y a usted no le cae ni una gota. Nota: Pepe tiene baterías y paneles solares en el bicitaxi.
En cambio, si su problema es hacer buenos pronósticos, sí tenemos algo disponible: nuestra implementación del formidable sistema de ayuda al pronóstico que se usa en aeropuertos y Oficinas de Pronósticos de los EE.UU.: Advanced Weather Interactive Processing System (AWIPS).
Nuestra versión se llama LAMULA™ AWIPS, y es la implementación del software libre AWIPS desarrollado por NCAR, pero alimentada por las fuentes de datos a las que usted tenga acceso (por omisión, AWIPS viene configurado con las fuentes de datos que están disponibles en el servicio meteorológico de los EE.UU.).
Nosotros (LADETEC) podríamos instalarselo en el Centro Nacional de Pronósticos del INSMET, en cualquier oficina provincial, en cualquier aeropuerto y la brecha tecnológica se acortaría (bueno, un poquitín).
Nosotros se lo instalamos en la versión más económica (en cuanto a medios de computación) que se van a encontrar en el mundo.
Si quiere saber de qué va AWIPS puede leerse el post: ¿Qué es AWIPS? O la versión del NWS dónde lo explica.
Por si alguien deseara contratarnos este servicio, estamos aquí para servirle.
Que el Buen Tiempo sea con Usted y que obtengan el 100% o más de aciertos. Los leo en los comentarios.
