Hacer las preguntas correctas

La diferencia entre un lider que usa datos efectivamente y uno que se deja engañar por ellos no esta en su conocimiento tecnico. Esta en las preguntas que hace.

Un buen analisis puede ser mal interpretado. Un mal analisis puede parecer convincente. La unica defensa es saber que preguntar.

En esta leccion, aprenderemos un framework de 5 preguntas que debes hacer ante cualquier analisis, reporte o dashboard que llegue a tu escritorio.

Por que las preguntas son mas importantes que las respuestas

Albert Einstein dijo: "Si tuviera una hora para resolver un problema, pasaria 55 minutos pensando en el problema y 5 minutos pensando en la solucion."

En el mundo de los datos, esto se traduce en: la calidad de tus decisiones depende de la calidad de tus preguntas.

El patron del lider que no pregunta

1. Recibe reporte con conclusiones
2. Acepta las conclusiones como hechos
3. Toma decision basada en conclusiones
4. Descubre meses despues que el analisis tenia fallas
5. El costo ya esta hecho

El patron del lider que pregunta

1. Recibe reporte con conclusiones
2. Hace preguntas criticas sobre metodologia y datos
3. Identifica limitaciones y supuestos
4. Toma decision informada, conociendo los riesgos
5. Ajusta curso si nueva informacion emerge

El Framework de las 5 Preguntas

Estas son las 5 preguntas que debes hacer ante cualquier analisis de datos:

Pregunta 1: De donde vienen estos datos?

Esta pregunta aborda la fuente y calidad de los datos.

Sub-preguntas importantes:

• Cual es la fuente original de los datos?
• Que tan actualizados estan?
• Quien los recolecto y con que metodo?
• Hay datos faltantes o incompletos?
• Que sesgos podria tener la fuente?

Por que importa: Datos de mala calidad producen analisis de mala calidad. "Garbage in, garbage out."

Ejemplo practico:

Tu equipo presenta un analisis de satisfaccion del cliente basado en encuestas.

Preguntas a hacer:

• Que porcentaje de clientes respondio? (Si es 5%, los resultados pueden no ser representativos)
• Quienes tienden a responder encuestas? (Generalmente los muy satisfechos o muy insatisfechos)
• Como se selecciono a quienes enviar la encuesta?
• Las preguntas estaban sesgadas de alguna manera?

Señales de alerta:

• "Los datos vienen del sistema" (sin especificar cual sistema ni como)
• "Usamos los datos disponibles" (podrian faltar datos importantes)
• No hay informacion sobre el periodo de tiempo
• No se menciona la tasa de respuesta o tamano de muestra

Pregunta 2: Que mide esto exactamente?

Esta pregunta aborda las definiciones y metricas.

Sub-preguntas importantes:

• Como se define exactamente esta metrica?
• Es la metrica correcta para lo que queremos entender?
• Que no captura esta metrica?
• Hay formas alternativas de medir esto?

Por que importa: La forma en que defines algo determina lo que ves. Definiciones diferentes pueden llevar a conclusiones opuestas.

Ejemplo practico:

El reporte dice: "La retencion de clientes es del 85%"

Preguntas a hacer:

• Como se define "cliente"? (Usuario registrado? Usuario que pago? Usuario activo?)
• Como se define "retencion"? (Sigue pagando? Sigue usando? No se ha dado de baja?)
• Cual es el periodo? (Mensual? Anual? Desde el inicio?)
• Se cuenta como retenido a alguien que pauso y volvio?

Ejemplo de como las definiciones cambian la historia:

Definicion de retencion	Resultado
No cancelo suscripcion	85%
Uso el producto al menos 1 vez al mes	62%
Uso el producto al menos 1 vez a la semana	41%
Completo al menos 1 tarea clave al mes	38%

El mismo "dato" de retencion puede contar historias muy diferentes.

Pregunta 3: Que tan grande es la muestra y es representativa?

Esta pregunta aborda la validez estadistica.

Sub-preguntas importantes:

• Cuantos casos/personas/eventos incluye el analisis?
• Es suficiente para ser estadisticamente significativo?
• La muestra representa a toda la poblacion de interes?
• Hay segmentos importantes que no estan bien representados?

Por que importa: Conclusiones basadas en muestras pequeñas o no representativas pueden ser completamente erroneas.

Regla general para tamano de muestra:

Tipo de analisis	Tamano minimo sugerido
Tendencia general	100+ casos
Comparacion entre 2 grupos	50+ por grupo
Segmentacion (3-5 grupos)	30+ por grupo
Analisis estadistico robusto	200+ casos

Ejemplo practico:

"Los clientes del segmento Enterprise tienen 40% mayor satisfaccion que los SMB."

Preguntas a hacer:

• Cuantos clientes Enterprise tenemos en la muestra? (Si son 8, el 40% no es confiable)
• Cuantos clientes SMB?
• La diferencia es estadisticamente significativa o podria ser ruido?

Señales de alerta:

• No se menciona el tamano de muestra
• Los numeros son muy redondos (sugiere estimaciones, no datos reales)
• Hay muchos decimales (sugiere falsa precision con muestras pequeñas)

Pregunta 4: Que explicaciones alternativas existen?

Esta pregunta aborda las hipotesis rivales.

Sub-preguntas importantes:

• Que otras cosas podrian explicar este resultado?
• Hay factores externos que pudieron influir?
• Es posible que la relacion sea inversa a la que asumimos?
• Que variables no estamos considerando?

Por que importa: La primera explicacion que parece logica no siempre es la correcta. Buscar alternativas nos protege de errores.

Ejemplo practico:

"Las ventas aumentaron 20% despues de lanzar la nueva campana de marketing."

Explicaciones alternativas a considerar:

• Es temporada alta? (Estacionalidad)
• Los competidores subieron precios o tuvieron problemas?
• Hubo cambios economicos favorables?
• Se hicieron otros cambios al mismo tiempo (precio, producto, equipo)?
• Es un patron normal de crecimiento que hubiera ocurrido de todos modos?

Framework para generar alternativas:

1. Factores externos: Que cambio en el mercado, economia, competencia?
2. Factores internos paralelos: Que mas cambio en la empresa al mismo tiempo?
3. Causalidad inversa: Podria el efecto ser la causa?
4. Variable oculta: Que tercera cosa podria causar ambas?
5. Coincidencia temporal: Es posible que no haya relacion real?

Pregunta 5: Que acciones especificas sugiere esto?

Esta pregunta conecta el analisis con la decision.

Sub-preguntas importantes:

• Que deberiamos hacer diferente basado en estos datos?
• Que tan segura esta la recomendacion? Que tan costoso es equivocarse?
• Es reversible la decision? Podemos probar antes de comprometernos?
• Que datos adicionales nos darian mas confianza?

Por que importa: Los datos solo son utiles si llevan a accion. Pero la accion debe ser proporcional a la certeza del analisis.

Framework para decisiones basadas en datos:

Certeza del analisis	Costo de error	Accion recomendada
Alta	Bajo	Implementar directamente
Alta	Alto	Implementar con plan de contingencia
Media	Bajo	Probar en pequeña escala primero
Media	Alto	Buscar mas evidencia antes de actuar
Baja	Bajo	Experimentar y aprender
Baja	Alto	No actuar hasta tener mejor evidencia

Aplicando el framework: Caso completo

Situacion: Tu analista presenta el siguiente hallazgo:

"Los clientes que usan nuestra app movil gastan 45% mas que los que no la usan. Recomendacion: Invertir $500K en campana para aumentar adopcion de la app."

Aplicacion de las 5 preguntas:

P1: De donde vienen los datos?

• Datos de CRM y facturacion de los ultimos 12 meses
• 100% de clientes incluidos
• Validacion: Fuente confiable, datos completos

P2: Que mide exactamente?

• "Gasto" = Facturacion total anual
• "Usa app" = La descargo y la abrio al menos 1 vez
• Preocupacion: La definicion de "usa app" es muy laxa

P3: Tamano de muestra y representatividad?

• 5,000 clientes con app (30% del total)
• 12,000 clientes sin app (70% del total)
• Validacion: Muestra suficientemente grande

P4: Explicaciones alternativas?

• Los clientes de mayor gasto tienen mas incentivo a descargar la app (causalidad inversa)
• Los clientes mas tecnologicos gastan mas Y usan apps (variable oculta)
• Los clientes mas antiguos gastan mas Y tuvieron mas tiempo para descargar app
• Preocupacion seria: Probablemente causalidad inversa o variable oculta

P5: Que acciones sugiere?

• La recomendacion de $500K asume que la app causa mayor gasto
• Si la causalidad es inversa, la inversion no dara resultado
• Recomendacion: Hacer A/B test antes de inversion grande

Conclusion del analisis critico:

"El dato es real, pero la conclusion probablemente es incorrecta. Antes de invertir $500K, recomiendo un experimento controlado: incentivar descarga de app en un grupo aleatorio de clientes nuevos y medir si su comportamiento de compra cambia versus el grupo control."

Errores comunes al hacer preguntas

Error 1: No hacer preguntas por miedo a parecer ignorante

Los lideres efectivos preguntan. Las preguntas basicas son las mas importantes.

Antidoto: Enmarca las preguntas como "para asegurarme de entender" o "para poder explicar esto a otros".

Error 2: Hacer preguntas que ya tienen respuesta asumida

"Entonces esto confirma que nuestra estrategia funciona, verdad?"

Antidoto: Haz preguntas abiertas. "Que nos dice esto?" en lugar de "Esto significa X, verdad?"

Error 3: Aceptar la primera respuesta

Los analistas a veces no tienen toda la informacion a la mano. Esta bien pedir seguimiento.

Antidoto: "Interesante, puedes investigar mas sobre [punto especifico] y volver conmigo?"

Error 4: No cuestionar conclusiones que confirman lo que quieres creer

El sesgo de confirmacion nos hace aceptar sin critica lo que ya creemos.

Antidoto: Aplica el mismo rigor a hallazgos que te gustan y que no te gustan.

Checklist rapido para reuniones

Cuando te presenten datos en una reunion, ten esta lista mental:

• Se cual es la fuente de los datos?
• Entiendo como se definen las metricas clave?
• Conozco el tamano de muestra y su representatividad?
• He considerado al menos 2 explicaciones alternativas?
• Tengo claro que accion tomaria (o no) basado en esto?
• Conozco las limitaciones del analisis?

Frases utiles para hacer preguntas

Para entender la fuente:

• "Ayudame a entender de donde vienen estos numeros..."
• "Estos datos son de que periodo exactamente?"
• "Que porcentaje de [poblacion] esta representado aqui?"

Para clarificar definiciones:

• "Cuando dices [metrica], que incluye exactamente?"
• "Como se calcula este numero?"
• "Hay diferentes formas de medir esto? Por que elegimos esta?"

Para explorar alternativas:

• "Que otras cosas podrian explicar esto?"
• "Es posible que la relacion sea al reves?"
• "Que pasaria si [escenario alternativo]?"

Para conectar con accion:

• "Que deberiamos hacer diferente basado en esto?"
• "Que tan seguros estamos de esta recomendacion?"
• "Como podriamos probar esto en pequeña escala primero?"

Ejercicio practico

Lee el siguiente resumen de analisis y genera las 5 preguntas que harias:

Resumen presentado: "El analisis de los ultimos 6 meses muestra que los clientes que reciben llamadas de seguimiento de nuestro equipo de Customer Success tienen un NPS de 72, mientras que los que no reciben llamadas tienen NPS de 54. Esto demuestra que las llamadas de CS aumentan la satisfaccion en 18 puntos. Recomendamos duplicar el equipo de CS para llamar a todos los clientes."

Tu tarea: Escribe una pregunta especifica para cada una de las 5 categorias del framework.

Puntos clave de esta leccion

• La calidad de las decisiones depende de la calidad de las preguntas que hacemos
• Las 5 preguntas esenciales cubren: fuente, definiciones, muestra, alternativas y accion
• No hacer preguntas por miedo a parecer ignorante es un error costoso
• Las mismas preguntas aplican a hallazgos que nos gustan y que no nos gustan
• El objetivo no es rechazar los datos, sino entender sus limitaciones

Proxima leccion

En la siguiente leccion aprenderemos sobre hipotesis y validacion: como formular hipotesis correctamente y diseñar formas de probarlas con datos.

---

Quiz de comprension

1. Por que la pregunta sobre definiciones es tan importante?
2. Que preguntas ayudan a identificar explicaciones alternativas?
3. Como ajustas tu nivel de accion segun la certeza del analisis?
4. Por que es importante cuestionar tanto los hallazgos positivos como los negativos?