Ciao a tutti,

dai log vedo che il file robots.txt viene richiamato da alcuni ip legittimi di google bots. Quelli che riscontro sono

66.249.64.3
66.249.64.5
66.249.64.7
66.249.64.72
66.249.64.74

Lo strano che agli ultimi due il server risponde 301. Vi riporto un breve estratto. Perch risponde 301 solo a quegli ips? Non ci sono regole particolari a quanto pare lato server. Succede anche a voi?

66.249.64.5 - - [05/Nov/2018:14:05:41 +0100] GET /robots.txt HTTP/1.0 200 152 - Mozilla/5.0 (compatible; Googlebot/2.1;
66.249.64.5 - - [05/Nov/2018:16:39:44 +0100] GET /robots.txt HTTP/1.0 200 152 - Mozilla/5.0 (compatible; Googlebot/2.1;
66.249.64.7 - - [06/Nov/2018:19:18:19 +0100] GET /robots.txt HTTP/1.0 200 152 - Mozilla/5.0 (compatible; Googlebot/2.1;
66.249.64.72 - - [02/Nov/2018:04:39:29 +0100] GET /robots.txt HTTP/1.0 301 395 - Mozilla/5.0 (compatible; Googlebot/2.1;
66.249.64.72 - - [02/Nov/2018:11:03:33 +0100] GET /robots.txt HTTP/1.0 301 395 - Mozilla/5.0 (compatible; Googlebot/2.1;
66.249.64.72 - - [04/Nov/2018:11:37:46 +0100] GET /robots.txt HTTP/1.0 301 395 - Mozilla/5.0 (compatible; Googlebot/2.1;
66.249.64.74 - - [05/Nov/2018:05:25:04 +0100] GET /robots.txt HTTP/1.0 301 395 - Mozilla/5.0 (compatible; Googlebot/2.1;
66.249.64.74 - - [06/Nov/2018:19:18:19 +0100] GET /robots.txt HTTP/1.0 301 395 - Mozilla/5.0 (compatible; Googlebot/2.1;