- Home
- Categorie
- Coding e Sistemistica
- Help Center: consigli per il tuo progetto
- Come posso sapere se il file robots.txt blocca l'accesso ai crawlers di Google?
-
Come posso sapere se il file robots.txt blocca l'accesso ai crawlers di Google?
Non ho mai avuto a che fare con il file robots.txt ma ho bisogno di sapere se sta bloccando o meno l'accesso ai crawlers di Google. Ho la necessità di far scansionare il prima possibile le pagine del mio vecchio sito, da qui la domanda.
-
Ciao, in Google Search Console, c'è l'apposito tool "Tester dei file robots.txt".
-
Ho controllato, grazie.
-
Ciao
aggiungo anche che se scarichi Screaming Frog puoi scansionare il sito e vedi quali risorse sono bloccate dal Robots.Se hai un sito piccolo è gratis (fino a 500 Url)
-
Grazie!