+ Rispondi alla Discussione
Risultati da 1 a 6 di 6

GG indicizza il file robots.txt

Ultimo Messaggio di fandangood il:
  1. #1
    User
    Data Registrazione
    Sep 2006
    Messaggi
    72

    GG indicizza il file robots.txt

    Mi sono appena accorto di una novit: se effettuo una ricerca tramite site:www.miosito.com mister GG mi restituisce anche www.miosito.com/robots.txt con la description ricavata dal contenuto inserito nel suddetto file.
    Confermo che fino a qualche giorno fa, come del resto per almeno gli ultimi 3 anni, Google non aveva mai indicizzato il file sopra citato. Avete qualche idea? Sta succedendo anche a voi?

    Grazie

  2. #2
    Banned L'avatar di cibino
    Data Registrazione
    Apr 2006
    Localit
    treviso
    Messaggi
    2,242
    a me googlebot ha indicizzato invece una url che avevo bloccato con il robots.txt.

    questa la stringa presente nel robots.txt
    Codice:
    User-agent: * 
    Disallow: /tag/
    e questa la serp
    serp

  3. #3
    Esperto L'avatar di Stuart
    Data Registrazione
    Jan 2006
    Localit
    Torino
    Messaggi
    3,881
    Citazione Originariamente Scritto da cibino
    a me googlebot ha indicizzato invece una url che avevo bloccato con il robots.txt.
    L'indicizzazione di una URL non considerata violazione delle direttive del robots.txt. La pagina cui fai riferimento, infatti, non stata scaricata. Come vedi, non ne esiste neanche una copia cache.
    E' un comportamento frequente di Google.

    __

    Ciao fandangood,

    Google stesso ha il suo robots.txt indicizzato
    http://www.google.it/search?hl=it&q=...n+Google&meta=

    Se questo file riceve un link, oppure posto nella sitemap, o per altri motivi che potrebbero portare lo spider a raggiungere il file come un qualsiasi file .txt , il robots.txt viene indicizzato.

    Anche questo non un comportmento anomalo o infrequente da parte di Google.


    .Stuart
    210720082115

  4. #4
    Banned L'avatar di cibino
    Data Registrazione
    Apr 2006
    Localit
    treviso
    Messaggi
    2,242
    Citazione Originariamente Scritto da Stuart Visualizza Messaggio
    L'indicizzazione di una URL non considerata violazione delle direttive del robots.txt. La pagina cui fai riferimento, infatti, non stata scaricata. Come vedi, non ne esiste neanche una copia cache.
    E' un comportamento frequente di Google.
    capisco. non lo sapevo!
    grazie mille, stuart

  5. #5
    Esperto L'avatar di Stuart
    Data Registrazione
    Jan 2006
    Localit
    Torino
    Messaggi
    3,881
    Altro esempio pratico..

    http:// shi.fter.net/ robots.txt

    e in serp

    http://www.google.it/search?hl=it&q=...nG=Cerca&meta=


    .Stuart
    210720082115

  6. #6
    User
    Data Registrazione
    Sep 2006
    Messaggi
    72
    Google stesso ha il suo robots.txt indicizzato
    http://www.google.it/search?hl=it&q=...Go ogle&meta=

    Se questo file riceve un link, oppure posto nella sitemap, o per altri motivi che potrebbero portare lo spider a raggiungere il file come un qualsiasi file .txt , il robots.txt viene indicizzato.

    Anche questo non un comportmento anomalo o infrequente da parte di Google.
    Non ho inlink sul robots (testato con Yahoo explorer), non ho una sitemap... Ho solo cambiato server di recente. Sar forse una configurazione a livello server del text-plain? Mah... Comunque grazie mille... e io che mi stavo preoccupando.

+ Rispondi alla Discussione

Tag per Questa Discussione

^ Permessi di Scrittura

  • Tu non puoi inviare nuove discussioni
  • Tu non puoi inviare risposte
  • Tu non puoi inviare allegati
  • Tu non puoi modificare i tuoi messaggi
  •  
  • Il codice BB Attivato
  • Le faccine sono Attivato
  • Il codice [IMG] Attivato
  • Il codice [VIDEO] Attivato
  • Il codice HTML Disattivato
  • Trackbacks Attivato
  • Pingback Attivato
  • Refback Attivato

SEO by vBSEO 3.6.0 PL2 ©2011, Crawlability, Inc.