Questo è il Robots.txt che ho trovato...

[alfa038]

Un cliente si è rivolto a me per fare un'analisi del posizionamento del suo portale (realizzato da altri) e, quasi per caso, mi vado a vedere il file robots.txt che hanno impostato, quello che leggo con stupore è:

User-agent: GoogleBot
Disallow: /
Disallow: /cont/*
Allow: /cont/*Indir*
Allow: /cont/*Categ*

User-agent: *
Disallow: /

C'è qualcosa che non mi torna: ma non è che cosi impostato si nega l'indiciazzazione di tutte le pagine agli altri motori di ricerca che non siano Google?

La forma:

User-agent: *
Disallow: /

non serve proprio a questo scopo?P.S. tra l'altro trovo che anche le altre istruzioni non tornano: a Googlebot prima di dice di non indicizzare niente ( User-agent: GoogleBot, Disallow: /, Disallow: /ab/*) e poi di indicizzare (Allow: /ab/*Indir*, Allow: /ab/*Categ*)

Che ve ne pare?Grazie

[pacoweb]

Ciao Alfa038 ,

in effetti c'è un po di confusione dato che poi con il comando:

User-agent: *
Disallow: /

Non si vuole il sito in nessun motore di ricerca.