Test sul robots.txt

[uMoR]

Veniamo al dunque.

Ho aperto un nuovo sito, escluso Googlebot dall'indicizzazione di alcuni url e facendo site mi viene fuori:

- url che non doveva indicizzare
pagine simili

Fin qui potrei pensare che googlebot abbia visto i link che partivano dalla home page e che abbia messo questi url "in cache".

Ma puzzava.

Poi per caso stavo guardando se aveva preso alcuni link che ho messo ad un mio altro sito e mi appare nei risultati:

Titolo
descrizione
copia cache | pagine simili

di un sito il cui robots.txt dice:

User-agent: Googlebot
Disallow: /

Ho sbagliato io o google mi ha preso la pagina che non doveva prendere ?

[GrazieMamma]

Mi sembra perfetto, è scritto correttamente, questa cosa la sospettavo, non sarebbe bello nei nostri confronti da parte di google.