En esta historia, acompañamos al legendario Dr. Juan Carlos González y a 16 valientes evaluadores —sí, nuestros propios estudiantes— que se atreven a mirar más allá de los indicadores bonitos y las coberturas engañosas. Cada personaje encarna una postura, una verdad, una herida… y una esperanza. Hay sorpresas, ironías, verdades incómodas y sobre todo, aprendizaje.

Este episodio no es solo una narración: es un homenaje a quienes creen que la evaluación no debe justificar lo que ya está hecho, sino cuestionar lo que aún no se ha logrado. A quienes piensan que evaluar no es un trámite, sino una herramienta para transformar realidades.

Espero que lo disfruten. Encontrarán 16 sorpresas ocultas en la historia, y ojalá cada episodio que escucharon a lo largo del curso haya sumado preguntas, saberes, y sobre todo, coraje para evaluar con técnica y con corazón.

El informe destaca el uso de datos clínicos y nutricionales recolectados en campo, aplicando análisis descriptivos y bivariados para construir un perfil de salud integral. También se valoran las acciones institucionales orientadas a la prevención, la equidad y la mejora del clima organizacional.

Más que una evaluación diagnóstica, esta experiencia se convierte en una poderosa herramienta para comprender el vínculo entre salud laboral y productividad. Un episodio para reflexionar sobre el rol estratégico del bienestar en el sector privado guatemalteco y sobre cómo la evaluación puede convertirse en catalizador de cambio real.

Durante la auditoría técnica, destacamos avances significativos: el uso de pre y post tests, la incorporación de análisis estadísticos robustos (como pruebas t y tamaño del efecto), una evaluación económica del retorno social (ROI), y una atención excepcional a las consideraciones éticas. También reflexionamos sobre desafíos como la falta de grupo control, el sesgo de auto-reporte y los límites en la generalización de resultados.

Lejos de ser solo una revisión, este episodio celebra el aprendizaje, el pensamiento crítico y la capacidad de transformar datos en decisiones. Una invitación abierta a escuchar, cuestionar y seguir mejorando la evaluación en salud pública desde la práctica real.

También exploramos los retos encontrados en la medición de resultados, la representatividad de los datos y el seguimiento del impacto real en la atención. Más allá de la crítica técnica, este análisis es una oportunidad valiosa para aprender cómo mejorar los procesos evaluativos en salud pública, fortalecer la toma de decisiones basadas en evidencia y convertir los reportes en herramientas de cambio.

Una conversación honesta, rigurosa y constructiva, pensada para quienes participaron en el ejercicio… y para quienes desean hacer mejor evaluación en Guatemala.

Este episodio profundiza en las complejidades de la calidad de los datos en los sistemas de información, explorando diversos artículos científicos, tocando temas como: ¿Por qué es crucial la calidad de los datos?, Barreras y desafíos en la generación de datos de alta calidad, Desafíos tecnológicos y contextuales: En entornos de Big Data e IoT, la heterogeneidad de los datos y la falta de una "referencia de oro" (una cantidad conocida y verificada), Oportunidades y enfoques para la mejora de la calidad de los datos, Mejoras en las interfaces de entrada de datos, Evaluación de extremo a extremo y retroalimentación.

aunque la calidad de los datos en sistemas como los de salud ya es alta en ciertos contextos, la naturaleza compleja de su generación y procesamiento exige una atención constante y la implementación de soluciones innovadoras y sistémicas. Comprender estas barreras y aplicar las soluciones adecuadas es crucial para garantizar que los datos sirvan eficazmente a sus propósitos de investigación, toma de decisiones y mejora de servicios.

• Los incentivos financieros aumentan la probabilidad de compartir información de salud en línea, incluso si se percibe como falsa.

• La legislación puede disuadir la difusión de información percibida como verdadera, pero no logra detener la desinformación que los usuarios consideran falsa.

El artículo ofrece implicaciones prácticas para los formuladores de políticas en la lucha contra la desinformación en el ámbito de la salud

El estudio aborda el papel crucial de la calidad de los datos en la era del Big Data y el Internet de las Cosas (IoT), especialmente en escenarios de IoT con datos compartidos donde los datos se intercambian entre diferentes dominios (como transporte inteligente e industria inteligente, o hogar inteligente y salud inteligente, para crear nuevas aplicaciones).

Problemas identificados con la calidad de los datos en IoT:

• La gran cantidad y heterogeneidad de los datos en IoT dificulta la evaluación de la calidad con métodos tradicionales.

• La mala calidad de los datos puede llevar a decisiones erróneas.

• Las dimensiones de calidad de los datos (DQD) tradicionales tienen limitaciones en IoT compartido, como la falta de una "referencia de oro" (valor de referencia conocido) para validar los datos, el uso de métricas estáticas limitadas y la evaluación aislada de la calidad en diferentes etapas. Además, cada aplicación en IoT compartido requiere una descripción única y un conjunto diferente de métricas de calidad.

Propuesta central del artículo: La confianza como medida de la calidad de los datos:

• El artículo propone la confianza (trust) como una nueva y prometedora perspectiva para evaluar la calidad de los datos en entornos de IoT.

• Se destaca que la confianza es personalizable (permite a cada consumidor definir su propia calidad según sus preferencias), dinámica (aumenta o disminuye con nuevas experiencias), y propagable (permite inferir niveles de confianza sin redefinir métricas). Estas propiedades abordan las limitaciones de las DQDs tradicionales.

• La confianza ha sido utilizada previamente para inferir calidad en diversos dominios computacionales como sistemas multi-agente, servicios web, redes sociales y redes P2P.

Integración con Blockchain para seguridad:

• El estudio concluye que las técnicas basadas en la confianza pueden combinarse con tecnologías como Blockchain para lograr una evaluación segura y de extremo a extremo de la calidad de los datos. Si bien Blockchain es útil para la privacidad e integridad, por sí sola no garantiza la calidad de los datos para el usuario final. La integración de métricas de confianza con Blockchain puede proporcionar una solución holística, haciendo visible la calidad a lo largo de todo el ciclo de vida de los datos.

En resumen, el artículo identifica los desafíos de la calidad de los datos en el IoT con datos compartidos, critica las limitaciones de los enfoques tradicionales (DQDs) y propone la confianza como un método adaptable y seguro, complementado con Blockchain, para una evaluación integral de la calidad de los datos de principio a fin.

El estudio, que utilizó ocho experimentos con información sensible y no sensible para fines de atención médica o marketing, encontró que el grado de estructuración influye significativamente en las percepciones de los pacientes sobre la completitud, precisión, riesgo psicológico, accesibilidad, representación concisa y comprensibilidad de la información.

Concluye que los profesionales de la salud deben adaptar las interfaces de entrada de datos según la sensibilidad de los datos médicos y el propósito del intercambio de información para mejorar la calidad de los registros compartidos.

En este episodio:

La evaluación de intervenciones en salud pública enfrenta retos metodológicos, debido a la dificultad de aplicar diseños con aleatorización y a la influencia de factores contextuales. Este artículo describe y compara diseños no experimentales, cuasiexperimentales y experimentales, detallando sus características, fortalezas, limitaciones y métodos estadísticos asociados. Su comprensión es esencial para implementar evaluaciones rigurosas, especialmente en contextos como Guatemala, donde las limitaciones logísticas, éticas y estructurales condicionan el tipo de diseño viable.

En este capítulo de cierre, te mostramos cómo transformar tus conclusiones en una herramienta poderosa para la toma de decisiones. Aprenderás a identificar a tus audiencias, a estructurar un informe claro y convincente, y a navegar el complejo camino para que tus hallazgos influyan realmente en la mejora de programas y en la formulación de políticas.

En este episodio final, aprenderás a:

• 1. Comunicar con Estrategia:
  • Identificar tus Audiencias: Descubre por qué no es lo mismo comunicar a los implementadores de un programa que a los financiadores o a los políticos, y cómo adaptar tu mensaje a cada uno.
  • El Poder del Resumen Ejecutivo: La herramienta de "vital trascendencia" para captar la atención de quienes toman las decisiones clave.
  • El Timing Perfecto: Por qué la oportunidad con la que entregas la información es tan importante como la información misma.
• 2. Construir un Informe de Evaluación Impactante:
  • La Estructura Ideal: Te guiamos paso a paso por los elementos que no pueden faltar: desde un resumen conciso hasta antecedentes, resultados claros, y conclusiones y recomendaciones que sean realistas y factibles.
  • Más allá del "Qué": Cómo discutir no solo los resultados, sino también el porqué de lo que funcionó (o no funcionó) en tu intervención.
• 3. Impulsar el Uso de los Resultados:
  • De la Evidencia a la Decisión: Cómo usar la evaluación para justificar modificaciones, optimizar recursos y decidir el futuro de un programa.
  • Influencia en Políticas Públicas: Entiende cómo tus hallazgos contribuyen a una base de evidencia sólida, aunque también deban convivir con otros factores como la economía política y las ideologías.
  • Decisiones Clave: Cómo las evaluaciones pueden fundamentar desde asignaciones presupuestarias hasta la decisión de expandir un programa a mayor escala.

¡Dale play y cierra el ciclo de la evaluación asegurándote de que tu trabajo genere un impacto real y duradero!

En este capítulo, nos adentramos en la sala de máquinas del análisis. Te guiaremos a través de las herramientas estadísticas y cualitativas para que puedas entender no solo qué cambió, sino por qué cambió y si ese cambio fue realmente gracias a tu programa. Además, exploraremos el análisis económico para responder la pregunta del millón: ¿fue una inversión eficiente?

En este episodio descubrirás:

• 1. El Poder del Análisis Cuantitativo:
  • Estadística Descriptiva: Un repaso rápido a las medidas esenciales (media, mediana, desviación) para resumir y entender tus datos.
  • El Reto del Contrafactual: Te explicamos el concepto clave para determinar el impacto real: qué habría pasado si tu programa no hubiera existido.
  • Diseños para Medir Impacto: Desmitificamos métodos rigurosos como la Asignación Aleatoria, Diferencias en Diferencias (DD) y el Pareamiento para que sepas cómo construir grupos de comparación válidos.
  • Significación Estadística vs. Relevancia Práctica: Aprende por qué un resultado "estadísticamente significativo" no siempre es importante en el mundo real.
• 2. La Profundidad del Análisis Cualitativo:
  • Descubre cómo analizar las experiencias y vivencias de los participantes para explicar los fenómenos que los números no pueden capturar por sí solos.
• 3. La Lógica del Análisis Económico (Evaluación de Eficiencia):
  • Análisis de Costos: Cómo identificar y valorar correctamente los recursos invertidos en tu intervención.
  • Costo-Efectividad y Costo-Beneficio: Entiende las diferentes formas de evaluar si los resultados obtenidos justifican la inversión realizada.
  • Análisis de Sensibilidad: Una herramienta clave para manejar la incertidumbre y ver qué tan robustos son tus resultados económicos ante diferentes escenarios.

En este capítulo profundizamos en el corazón técnico de la evaluación. Te llevamos de la mano para que aprendas a construir indicadores efectivos, a diseñar herramientas de recolección de datos y a entender la lógica que conecta tus acciones con los resultados finales. Descubre cómo transformar tus objetivos en cifras medibles y cómo asegurar que la información que recoges sea de calidad.

En este episodio aprenderás a:

• 1. Dominar los Indicadores de Evaluación:
  • Definición y Propósito: Qué es un indicador y por qué es la pieza clave para medir el logro de tus objetivos.
  • Características de un Buen Indicador: Conoce los criterios (como los famosos EMARF o CREMAS) que hacen que un indicador sea específico, medible, relevante y confiable.
  • Línea Base y Metas: La importancia de saber dónde empiezas (línea base) para poder definir a dónde quieres llegar (la meta).
  • Resultados Intermedios y Finales: Aprende a diferenciar entre productos inmediatos e impacto a largo plazo, y cómo medir ambos.
• 2. Recolectar Datos de Calidad:
  • Fuentes Cuantitativas y Cualitativas: Cómo combinar el poder de los números (encuestas, muestreo) con la profundidad de las historias (entrevistas, grupos focales).
  • Diseño de Cuestionarios: Consejos prácticos para elaborar preguntas efectivas y la importancia de hacer un "pre-test" antes de lanzarte al campo.
  • Calidad de los Datos: Cómo enfrentar desafíos comunes como la pérdida de participantes en el seguimiento y asegurar la validez de tus resultados.
• 3. Aplicar la Teoría del Cambio y el Marco Lógico:
  • La Cadena de Resultados: Visualiza cómo tus insumos y actividades se convierten en productos y resultados, creando una secuencia lógica de impacto.
  • Identificación de Supuestos y Riesgos: Aprende a identificar los factores externos que no controlas pero que son cruciales para el éxito de tu proyecto.

En este capítulo, desglosamos el concepto de evaluación para convertirlo en tu mejor aliado. Dejamos atrás la teoría complicada y te ofrecemos una guía práctica para entender qué tipo de evaluación necesitas, cuándo y cómo aplicarla. Aprende a medir lo que importa y asegura que tus intervenciones no solo se ejecuten bien, sino que respondan a necesidades reales y generen un impacto duradero.

En este episodio exploramos:

• 1. La Clasificación de la Evaluación:
  • Según el Nivel: Descubre la diferencia clave entre la evaluación táctica (revisar la operación) y la estratégica (valorar si la intervención es necesaria).
  • Según la Finalidad: Aprende cuándo usar una evaluación formativa para mejorar sobre la marcha y cuándo una sumativa para medir el impacto final.
  • Según la Perspectiva: Conoce los enfoques de desarrollo, gestión, experimental y económico para una visión 360°.
• 2. Las Fases Clave del Proceso de Evaluación:
  • La importancia de integrar la evaluación desde la planificación inicial.
  • Cómo realizar un diagnóstico de la situación que sirva como tu línea de base.
  • Las claves para formular objetivos claros y medibles.
  • El rol de los indicadores para medir el éxito de forma concreta.

¡Dale play y transforma la manera en que mides los resultados de tus proyectos!

El episodio también explica la importancia de los diseños evaluativos —como los estudios antes-después, series temporales o ensayos controlados— y cómo se eligen según el contexto y los objetivos. Además, se discuten las consideraciones éticas fundamentales al evaluar servicios de salud, tales como el consentimiento informado, la equidad, la confidencialidad y la validez de las decisiones derivadas de la evaluación.

•Rectoría o gobernanza: El centro de mando que define estrategias, políticas y normas.

•Generación de recursos: Todo lo necesario para operar, desde personal de salud e infraestructura hasta medicamentos y tecnología, analizando la concentración de estos en Guatemala.

•Financiación: Cómo se recauda, mancomuna y usa el dinero, destacando la alta fragmentación y dependencia del gasto de bolsillo en Guatemala.

•Prestación de servicios: La entrega directa de atención sanitaria y los desafíos de cobertura en el país.

Exploraremos cómo estas funciones se interrelacionan para alcanzar los grandes objetivos de un sistema de salud, como mejorar la salud de la población, garantizar la equidad y ofrecer protección financiera. Entenderemos cómo las barreras de acceso (geográficas, económicas, culturales, organizativas) pueden surgir de fallos en cualquiera de estas funciones.

Finalmente, abordaremos la evaluación en salud pública: qué es, su propósito central para determinar la eficacia y el impacto de políticas y programas, y su importancia como pilar fundamental a nivel mundial y en América Latina. Concluiremos con los avances y los retos cruciales que enfrenta Guatemala para consolidar una cultura evaluativa que permita traducir los hallazgos en mejoras tangibles. Porque, como bien decimos, ¡lo que no se comprende no se evalúa, y lo que no se evalúa, no se puede mejorar! RSSVERIFY

Mientras preparaba material para nuestras clases de Evaluación de Servicios de Salud —entre libros, artículos científicos y casos clínicos—, esta historia empezó a resonar de forma distinta. Me di cuenta de que podía funcionar como una metáfora provocadora para analizar cómo planteamos objetivos, evaluamos resultados y nos enfrentamos a la frustración en contextos institucionales o personales.

Es probable que al inicio cueste un poco encontrar conexiones claras entre una fábula de fantasía y la evaluación en salud, especialmente si estamos comenzando el ciclo. Pero confío en que, conforme avancemos, puedan desarrollar un análisis crítico propio, e incluso descubrir lecturas más profundas que las que yo logré hacer.

Espero que disfruten esta pequeña reflexión tanto como yo disfruté prepararla.