- Home
- Categorie
- La Community Connect.gt
- Tutto sulla Community
- Importanza del file robots
-
Importanza del file robots
Ho notato che nella sitemap Mr.G indicizza links (di solito in php) molto simili tra loro (a volte sono moduli presenti in ogni pagina) tralasciando le pagine ottimizzate con url lunghe e quindi più rilevanti sia nelle serp che per adsense.
L'utilizzo del file robots bloccando molti files inutili e dir dovrebbe "liberare" lo spider dal carico di indicizzazione inutile e privilegiare le url's che dico io?
Mi sembra di aver notato che lo spider ha come una "riserva" di indicizzazione finita la quale si ferma... per poi tornare dopo un pò di tempo....Qualcuno conferma le mie ipotesi?
-
@Archetipo said:
Ho notato che nella sitemap Mr.G indicizza links (di solito in php) molto simili tra loro (a volte sono moduli presenti in ogni pagina) tralasciando le pagine ottimizzate con url lunghe e quindi più rilevanti sia nelle serp che per adsense.
L'utilizzo del file robots bloccando molti files inutili e dir dovrebbe "liberare" lo spider dal carico di indicizzazione inutile e privilegiare le url's che dico io?
Mi sembra di aver notato che lo spider ha come una "riserva" di indicizzazione finita la quale si ferma... per poi tornare dopo un pò di tempo....Qualcuno conferma le mie ipotesi?
secondo me si, cioè se hai tremila url inutili e le filtri attraverso il robotstxt ottimizzi il passaggio dello spider.