La resposta pública de /robots.txt pot venir de més d’una capa. Un fitxer físic, un plugin SEO, la sortida virtual de WordPress, el CDN o una plantilla de desplegament poden ser l’origen real. Canviar només la línia visible és una solució temporal si no saps qui la genera.
Descarrega el fitxer viu des de l’host canònic
Guarda cos i capçaleres i prova la URL afectada contra cada grup User-agent. Una regla massa ampla pot bloquejar més rutes de les previstes.
Identifica quina capa és propietària de la directiva
robots.txtfísic al document root;- ajust de visibilitat de WordPress;
- filtres de plugins SEO o seguretat;
- configuració de CDN/edge;
- plantilles de staging copiades a producció.
Canvia només la regla no desitjada
Algunes rutes privades, duplicades o tècniques poden continuar necessitant control de rastreig.
Valida la resposta de producció després de purgar cache
Torna a demanar l’host canònic i comprova que el canvi sobreviu a desplegaments i cache del CDN. Després utilitza la inspecció en viu de Search Console per a URLs representatives.
Relaciona el bloqueig amb el que Google està veient
Si apareixen pàgines inesperades a la cerca, compara el diagnòstic de spam SEO visible a Google. Si la migració ha deixat dominis o canonicals incoherents, revisa el domini antic després de migrar.
No utilitzis robots.txt com a control d’accés
És una instrucció de rastreig, no una protecció de dades sensibles. La privacitat s’ha d’imposar amb autenticació i autorització.
Validació
Googlebot ha de poder rastrejar les URLs públiques previstes, les rutes restringides han de continuar controlades i la regla ha de persistir després de cache i desplegaments.
CRITERI D’INCIDENT WP REPAIR
Reconstrueix la incidència abans de corregir-la
Una advertència de rastrejador també pot venir d’una regla adreçada a un camí massa ampli o agent d'usuari.
- 1
Obtén l’robots.txt en viu del servidor canònic i les capçaleres de registre.
- 2
Prova el URL afectada amb cada grup d’usuari- agent aplicable.
- 3
Comprova un fitxer físic abans dels filtres WordPress i plugin després d’ell.
- 4
Inspecciona CDN, plantilles de protecció i desplegament.
Què ha de quedar verificat
- Googlebot està autoritzat a rastrejar URLs públic previst.
- Les vies privades / administratives segueixen estant degudament protegides.
- La regla persisteix correctament a través de la implementació i actualització de la memòria cau.
Fonts tècniques oficials
Aquesta guia explica el diagnòstic. Si la web està afectada ara mateix, la intervenció ha de preservar una via de recuperació i verificar el recorregut real del negoci.
Veure el servei de reparació urgent →SOBRE ESTE SÍNTOMA
Preguntes freqüents d'aquesta guia.
Si establiu la configuració dels motors de cerca Discourage a WordPress, és prou per desbloquejar Googlebot?+
No sempre. Un fitxer robots.txt físic pujat al servidor anul·la la sortida virtual de WordPress, i un CDN també pot seguir servint una versió cau o específica de l’entorn, de manera que el canvi de configuració ha de ser verificat contra la resposta en viu, no suposa que és l’única font.
S' ha d’usar robots.txt per a ocultar contingut sensible o privat de ser trobat?+
No. Robots.txt és una instrucció de rastreig, no un control d’accés — les dades sensibles han de ser protegides amb autenticació o autorització, ja que una regla de deshabilitació no impedeix l’accés directe al URL.
Pot un bloqueig de seguretat plugin arrossegar-se sense que ningú toqui la configuració de visibilitat?+
Sí. Una regla plugin o de seguretat pot emetre de forma independent una directiva de descàrrec àmplia que bloqueja els rastrejadors, completament separats de la caixa de verificació de visibilitat de cerca WordPress, per la qual cosa ambdues fonts han de ser verificades.
Després de corregir la regla, n'hi ha prou amb mirar el fitxer robots.txt en viu per confirmar la correcció treballada?+
També ha de purgar caixets de vora i provar el representant URLs, ja que un CDN pot seguir servint el fitxer antic fins i tot després que es corregeix la font autoritzada, i l’eina d’inspecció en viu de Search Console ajuda a confirmar que Google està veient la regla actualitzada.