Se una pagina è bloccata attraverso il file robots.txt, Google non può accedere né al corpo del testo né al meta description del documento.
Da quale directory web può però trarre informazioni pubbliche da utilizzare nella parte testuale della snippet?
Per chi non lo avesse ancora mai vissuto sulla sua pelle, la risposta sta in questa pagina:
Google genera in modo completamente automatico i titoli e le descrizioni o "snippet" dei siti, tenendo in considerazione sia il contenuto di una pagina, sia le pagine web che vi fanno riferimento.
Utilizziamo numerose altre fonti per queste informazioni, comprese informazioni descrittive nel metatag di ciascuna pagina. Qualora queste informazioni non siano disponibili, possiamo utilizzare informazioni pubbliche, tratte da DMOZ.
Sono da considerarsi corrette anche le risposte che citino direttamente il dominio o che facciano riferimento ad ODP.
Classifica domanda:
carloskk
flokant
Peppuzzo
alienx89
overclokk
matteo87m
SimoneDesign
Provatoo
Mareika
codencode
Appena pronta, la classifica verrà pubblicata in questo thread.
Per altre curiosità relative a questa domanda, possiamo proseguire questa discussione.
Robots.txt
Questo file va messo nella root del sito e serve per indicare agli spider dei motori di ricerca cosa non prelevare.
Google
Google (pronuncia gùgol) è un motore di ricerca per Internet.
ODP
( conosciuta anche come ODP o Dmoz ) è la più grande e completa Directory del Web curata da uomini. E' costruita e mantenuta da una vasta comunità globale di editori volontari.
Dmoz
DMOZ è la più grande Directory del Web curata da uomini.