Una cita visible no garantiza una interpretación fiel. Una respuesta puede enlazar a la página correcta y atribuirle un precio antiguo, una condición incompleta o una recomendación que el texto no contiene. Medir presencia y medir exactitud son trabajos diferentes.
Para una empresa, el riesgo editorial no se limita a desaparecer de una respuesta. También importa aparecer asociado a una afirmación equivocada. Esta auditoría propone comprobar la relación entre cada afirmación y la fuente citada.
1. Evalúa afirmaciones, no solo respuestas completas
Divide la respuesta en unidades comprobables. «El plan incluye soporte continuo y cuesta veinte euros al mes» contiene al menos dos afirmaciones. La fuente podría respaldar una y contradecir la otra.
Conserva el texto exacto, los enlaces, la fecha y la versión de la página consultada. Si la fuente cambia después, una revisión posterior podría evaluar un documento distinto del disponible durante la respuesta.
2. Separa exactitud factual y apoyo documental
Una afirmación puede ser verdadera y estar acompañada por una cita que no la respalda. También puede reproducir fielmente una fuente desactualizada. Evalúa ambas dimensiones:
- Apoyo: la fuente permite sostener lo que se afirma.
- Vigencia y exactitud: la afirmación corresponde a los hechos o condiciones aplicables.
- Atribución: el contenido se asigna a la organización, producto o autor correctos.
- Cobertura: las afirmaciones que requieren respaldo disponen de él.
El trabajo Enabling Large Language Models to Generate Text with Citations y su marco ALCE ofrecen una referencia real para distinguir evaluación de respuestas y calidad de citas. Una rúbrica empresarial debe adaptarse a los riesgos del contenido.
3. Define una rúbrica que permita repetir la evaluación
| Estado propuesto | Criterio |
|---|---|
| Respaldada | La fuente sostiene la afirmación con el mismo alcance |
| Parcial | Existe apoyo, pero falta una condición que cambia su interpretación |
| No respaldada | La fuente no aporta evidencia suficiente |
| Contradicha | La fuente indica algo incompatible |
| No evaluable | No puede accederse a la evidencia o falta contexto indispensable |
No fuerces los casos no evaluables dentro de «correcto» o «incorrecto». Reporta su volumen porque también afecta a la verificabilidad del resultado.
Ejemplo real de fuente y ejercicio de error
La ayuda oficial de Chrome sobre Incógnito explica que los archivos descargados permanecen en el dispositivo hasta que se eliminan.
Respuesta inventada para el ejercicio: «Al cerrar Incógnito se borran todos los archivos descargados». Aunque citara esa página, la afirmación estaría contradicha por ella. La presencia del enlace no convierte el texto en correcto.
Otro ejemplo inventado, «Incógnito limita los datos que conserva el navegador», puede ser compatible con la fuente, pero insuficiente si la pregunta trataba de anonimato frente al administrador de la red. La pertinencia de la respuesta exige considerar la necesidad original.
4. Añade gravedad al diagnóstico
Una imprecisión menor de estilo y una condición comercial falsa no merecen la misma prioridad. Define niveles según consecuencias: confusión leve, decisión de compra equivocada o riesgo elevado en ámbitos sensibles.
Registra el tipo de error: entidad, cantidad, fecha, negación, alcance o excepción omitida. Esta clasificación ayuda a detectar patrones. Si varias respuestas confunden una tarifa mensual y anual, revisa cómo aparece esa unidad en las fuentes disponibles.
5. Utiliza revisión humana y calibración
En una muestra inicial, pide a dos revisores que evalúen los mismos casos de forma independiente. Compara desacuerdos y mejora los criterios. Un porcentaje de acuerdo simple resulta descriptivo; si necesitas un análisis formal, elige una medida adecuada al tipo de etiquetas y su distribución.
Un modelo puede ayudar a localizar afirmaciones o proponer etiquetas. Conserva la evidencia y revisa especialmente los errores importantes. El evaluador automático no debe convertirse en una nueva fuente de afirmaciones sin comprobar.
6. Corrige lo que controlas y observa después
Si el origen es una ambigüedad propia, acerca condiciones y unidades al dato principal. Si existe una versión antigua, corrige su gestión. Si la respuesta contradice una fuente clara, conserva el caso y utiliza los mecanismos de reporte del servicio cuando proceda.
Una mejora editorial no garantiza corregir todas las futuras respuestas. Repite las mismas preguntas en condiciones comparables y registra también las que siguen fallando. La fidelidad es una dimensión de calidad que debe acompañar a cualquier informe de citas.
Documentación consultada el 17 de octubre de 2026. Los ejemplos identificados como ficticios son ejercicios metodológicos.
Para comprender el recorrido completo, consulta De la búsqueda a la cita: anatomía técnica de una respuesta generativa.