Que una página reciba más citas después de modificarla no demuestra que el cambio las haya causado. Durante el mismo periodo pueden variar las búsquedas, los competidores, el índice y el propio producto generativo. Un experimento GEO necesita anticipar esas alternativas.
El estudio GEO: Generative Engine Optimization proporciona un ejemplo real de evaluación experimental. Sus resultados corresponden a sistemas y métricas definidos. Reutilizar una táctica sin reproducir las condiciones no permite trasladar automáticamente sus porcentajes.
1. Formula una hipótesis que pueda fallar
«Mejorar el contenido aumentará la visibilidad» deja abiertas demasiadas interpretaciones. Una hipótesis comprobable sería: «Añadir una tabla original de compatibilidad aumentará la proporción de respuestas que citan estas fichas para preguntas de compatibilidad, frente a fichas comparables sin el cambio».
Define intervención, unidad de análisis, preguntas, indicador principal y periodo antes de observar resultados. Anota qué efecto considerarías útil para el negocio; significación estadística y utilidad práctica son conceptos diferentes.
2. Distingue una prueba de laboratorio de una prueba en producción
En un laboratorio puedes fijar documentos y contexto para estudiar el comportamiento de un modelo. Eso ayuda a aislar mecanismos, pero no reproduce la selección de fuentes de un buscador comercial.
En producción observas el sistema completo con menor control. Sus resultados reflejan el entorno real, pero es más difícil atribuirlos a una causa. Presenta explícitamente cuál de los dos diseños utilizas.
3. Elige unidades y comparación
Si la intervención cambia una página, la página suele ser una unidad relevante de asignación. Repetir cien preguntas sobre la misma URL no equivale a disponer de cien páginas independientes.
Cuando sea viable, asigna aleatoriamente páginas comparables a intervención y control. Si no puedes aleatorizar, utiliza un diseño observacional y explica sus limitaciones. Evita seleccionar el grupo de tratamiento solo entre las páginas que peor rindieron: podrían recuperarse parcialmente por variación natural.
4. Construye un conjunto estable de preguntas
Incluye necesidades reales y fija la redacción de las preguntas que utilizarás en las comparaciones. Separa consultas de marca y consultas genéricas. Guarda plataforma, idioma, ubicación configurada, modalidad y disponibilidad de búsqueda.
Las sesiones deben ser comparables. Un historial que ya menciona tu web puede alterar la tarea respecto a una conversación nueva. No mezcles resultados de API e interfaz como si fueran el mismo entorno.
5. Registra una línea de base y repite
Observa ambos grupos antes y después del cambio. Distribuye las repeticiones en el tiempo y registra incidentes. Si el sistema actualiza su versión o cambia la forma de mostrar fuentes, anótalo y decide cómo afecta a la comparación.
No existe un número universal de repeticiones. Depende de la variabilidad, el tamaño de efecto y el diseño. Un piloto ayuda a estimar esas condiciones; cuando necesites conclusiones inferenciales, planifica potencia e incertidumbre con apoyo estadístico.
6. Evita pseudorreplicación y selección del resultado favorable
Las respuestas de una misma pregunta, página o día pueden estar correlacionadas. Un análisis que las trate todas como independientes puede exagerar la precisión. Agrupa el análisis según el diseño y muestra resultados por pregunta o página, además de los agregados.
Declara una métrica principal antes de empezar. Si pruebas diez variantes y destacas únicamente la ganadora, el lector debe conocer las otras nueve y el carácter exploratorio de la elección.
Ejemplo de análisis con cifras ficticias
Ejercicio, no datos de una campaña. El grupo intervenido pasa del 10 % al 16 % de respuestas con cita; el grupo de comparación pasa del 12 % al 15 %. La mejora del primero es de seis puntos porcentuales y la del segundo, de tres.
La diferencia de cambios es de tres puntos: (16 − 10) − (15 − 12). Es una descripción inicial, no una demostración automática de causalidad. Su interpretación requiere supuestos, entre ellos tendencias comparables en ausencia de intervención, y una estimación adecuada de incertidumbre.
7. Conserva un protocolo y los resultados negativos
| Registro | Contenido mínimo |
|---|---|
| Intervención | Qué cambió, dónde y cuándo |
| Medición | Preguntas, plataforma, métricas y repeticiones |
| Incidencias | Errores, cambios de sistema y observaciones excluidas |
| Conclusión | Efecto observado, incertidumbre y límites |
Publica también los resultados nulos. Un experimento útil reduce incertidumbre aunque no encuentre una mejora. La calidad del trabajo depende de si otra persona puede reconstruir el procedimiento y evaluar la conclusión.
Documentación consultada el 17 de octubre de 2026. Los ejemplos identificados como ficticios son ejercicios metodológicos.
Para comprender el recorrido completo, consulta De la búsqueda a la cita: anatomía técnica de una respuesta generativa.