Quote:
unobinotrino
......
se la sezione del forum di un sito
fosse dichiarata come non percorribile allo spider
i link in quella sezione non sarebbero
utili perchè teoricamente invisibili al motore |
Se fosse dichiarata come non percorribile allo spider, ma se non lo è.
Voglio dire che se voglio escludere qualche sezione lo specifico, altrimenti lo spider passa e segue tutti i links.
Che bisogno c'era di specificare ...
basta che guardi nella root dei sito e controlli il file robots.txt.
Il dubbio che mi viene ora è che non dicesse di verificare il suo file
robots.txt, ma di verificare quello dei forum che uno segue per capire se restituiscono
PR.
Mi sembra l'unica
Maurizio
