+ Rispondi alla Discussione
Risultati da 1 a 2 di 2

GEt Robots.txt 301 da bot google legittimo

Ultimo Messaggio di Giorgiotave il:
  1. #1
    User L'avatar di JohnRock
    Data Registrazione
    Jul 2009
    Messaggi
    103

    GEt Robots.txt 301 da bot google legittimo

    Ciao a tutti,

    dai log vedo che il file robots.txt viene richiamato da alcuni ip legittimi di google bots. Quelli che riscontro sono

    66.249.64.3
    66.249.64.5
    66.249.64.7
    66.249.64.72
    66.249.64.74

    Lo strano che agli ultimi due il server risponde 301. Vi riporto un breve estratto. Perch risponde 301 solo a quegli ips? Non ci sono regole particolari a quanto pare lato server. Succede anche a voi?

    66.249.64.5 - - [05/Nov/2018:14:05:41 +0100] GET /robots.txt HTTP/1.0 200 152 - Mozilla/5.0 (compatible; Googlebot/2.1;
    66.249.64.5 - - [05/Nov/2018:16:39:44 +0100] GET /robots.txt HTTP/1.0 200 152 - Mozilla/5.0 (compatible; Googlebot/2.1;
    66.249.64.7 - - [06/Nov/2018:19:18:19 +0100] GET /robots.txt HTTP/1.0 200 152 - Mozilla/5.0 (compatible; Googlebot/2.1;
    66.249.64.72 - - [02/Nov/2018:04:39:29 +0100] GET /robots.txt HTTP/1.0 301 395 - Mozilla/5.0 (compatible; Googlebot/2.1;
    66.249.64.72 - - [02/Nov/2018:11:03:33 +0100] GET /robots.txt HTTP/1.0 301 395 - Mozilla/5.0 (compatible; Googlebot/2.1;
    66.249.64.72 - - [04/Nov/2018:11:37:46 +0100] GET /robots.txt HTTP/1.0 301 395 - Mozilla/5.0 (compatible; Googlebot/2.1;
    66.249.64.74 - - [05/Nov/2018:05:25:04 +0100] GET /robots.txt HTTP/1.0 301 395 - Mozilla/5.0 (compatible; Googlebot/2.1;
    66.249.64.74 - - [06/Nov/2018:19:18:19 +0100] GET /robots.txt HTTP/1.0 301 395 - Mozilla/5.0 (compatible; Googlebot/2.1;

  2. #2
    L'avatar di Giorgiotave
    Data Registrazione
    Oct 2004
    Localit
    Monasterace
    Messaggi
    40,604
    Visita il canale Youtube di Giorgiotave
    Ciao John,
    la situazione cambiata? Hai notato altro?

+ Rispondi alla Discussione

^ Permessi di Scrittura

  • Tu non puoi inviare nuove discussioni
  • Tu non puoi inviare risposte
  • Tu non puoi inviare allegati
  • Tu non puoi modificare i tuoi messaggi
  •  
  • Il codice BB Attivato
  • Le faccine sono Attivato
  • Il codice [IMG] Attivato
  • Il codice [VIDEO] Attivato
  • Il codice HTML Disattivato
  • Trackbacks Attivato
  • Pingback Attivato
  • Refback Attivato

SEO by vBSEO 3.6.0 PL2 ©2011, Crawlability, Inc.