Preguntas frecuentes
¿Qué significa que un resultado sea «estadísticamente significativo»?
Significa que la probabilidad de observar esa diferencia por azar (si no hubiera efecto real) es menor que el umbral elegido. Al 95% de confianza, hay menos de un 5% de probabilidad de que la diferencia sea ruido aleatorio.
¿Cuántos visitantes necesito para una prueba A/B válida?
Depende de la tasa de conversión base y del efecto mínimo detectable (MDE). Para una conversión base del 5% que busca detectar una mejora relativa del 10% con 95% de confianza y 80% de potencia, necesitas alrededor de 31,000 visitantes por variante. Usa una calculadora de tamaño de muestra antes de lanzar la prueba.
¿Puedo detener la prueba tan pronto como vea un resultado significativo?
No. Detener antes del tamaño de muestra planificado infla los falsos positivos hasta en un 30%. Establece el tamaño de muestra de antemano y respétalo, a menos que uses métodos diseñados para pruebas secuenciales.
¿Qué nivel de confianza debo usar?
El 95% es el estándar para la mayoría de las pruebas de conversión. Reserva el 99% para decisiones de alto impacto o cambios difíciles de deshacer. El 90% es aceptable para experimentos exploratorios de bajo riesgo.
¿Qué hago si la prueba no es significativa?
Continúa recopilando datos hasta alcanzar el tamaño de muestra planificado. Si sigues sin significancia, la variante probablemente no tiene un efecto real o el efecto es demasiado pequeño para ser relevante a nivel de negocio.
¿Cómo se calcula la significancia estadística en las pruebas A/B?
Las pruebas A/B suelen usar una prueba z de dos proporciones. La fórmula calcula z = (p1 - p2) / sqrt(p_pool × (1-p_pool) × (1/n1 + 1/n2)), donde p1 y p2 son las tasas de conversión y n1/n2 son los tamaños de muestra. Un valor z superior a 1.96 significa p < 0.05 (95% de confianza).
¿Cuál es un buen efecto mínimo detectable (MDE)?
Para productos maduros: una mejora relativa del 1-3%. Para productos en etapa temprana con poco tráfico: 10-20% o más. Un MDE más pequeño requiere muestras más grandes: detectar una mejora del 1% necesita unas 100× el tráfico que detectar una mejora del 10%. Define el MDE según lo que sería comercialmente relevante, no según lo que es detectable.
Cortesía de AllCalculators.io
Calculadoras en línea gratuitas para el día a día. Sin registro.
Solo estimaciones. No es asesoría profesional de negocios.
Aviso de información de negocios: Solo estimaciones. No es asesoría profesional de negocios.
Esta calculadora ofrece estimaciones con fines informativos. Los resultados de un negocio varían según la industria, las condiciones del mercado y la ejecución. No sustituye la consultoría profesional, la asesoría contable ni la asesoría legal. Consulta a profesionales calificados antes de tomar decisiones de negocio.