La respuesta pública de /robots.txt puede venir de más de una capa. Un archivo físico, un plugin SEO, la salida virtual de WordPress, el CDN o una plantilla de despliegue pueden ser el origen real. Cambiar solo la línea visible es una solución temporal si no sabes quién la genera.
Descarga el archivo vivo desde el host canónico
Guarda cuerpo y cabeceras y prueba la URL afectada contra cada grupo User-agent. Una regla demasiado amplia puede bloquear más rutas de las previstas.
Identifica qué capa es propietaria de la directiva
robots.txtfísico en el document root;- ajuste de visibilidad de WordPress;
- filtros de plugins SEO o seguridad;
- configuración de CDN/edge;
- plantillas de staging copiadas a producción.
Cambia solo la regla no deseada
Algunas rutas privadas, duplicadas o técnicas pueden seguir necesitando control de rastreo.
Valida la respuesta de producción después de purgar caché
Vuelve a pedir el host canónico y comprueba que el cambio sobrevive a despliegues y caché del CDN. Después usa la inspección en vivo de Search Console para URLs representativas.
Relaciona el bloqueo con lo que Google está viendo
Si aparecen páginas inesperadas en buscadores, compara el diagnóstico de spam SEO visible en Google. Si la migración dejó dominios o canonicals incoherentes, revisa el dominio antiguo después de migrar.
No uses robots.txt como control de acceso
Es una instrucción de rastreo, no una protección de datos sensibles. La privacidad debe imponerse con autenticación y autorización.
Validación
Googlebot debe poder rastrear las URLs públicas previstas, las rutas restringidas deben seguir controladas y la regla debe persistir después de caché y despliegues.