testato per quello che più mi premeva Teleport, risultati:
cinque minuti a scrivere il robots meglio utilizzabili per l'allevamento di coccodrilli, scarica il sito che è una bellezza.... nonostante il ban ai vari "emailcollector" lo spam non si conta... mie conclusioni "affrettate" il robots serve per evitare errore 404 e a poco altro
Feci una prova tempo fa con il file robot: risultato...non serve allo scopo.
Per fare quello che dite bisognerebbe agire lato server analizzando l'HTTP_USER_AGENT.
Teleport pro 1.62 ad esempio restituisce HTTP_USER_AGENT: mozilla/4.0 (compatible; msie 7.0; windows nt)
se in asp scrivi 2 righe di codice:
il crawler di turno non pescherà nessun dato della pagina che cerca ma sarà reindirizzato ad una pagina di nostra scelta o inesistente.Codice:crawler = LCase(Request.ServerVariables("HTTP_USER_AGENT")) if instr(crawler , "compatible") then response.redirect("vai-a-pagina-inesistente")
Bisognerebbe analizzare la cosa avendo una forbita lista di HTTP_USER_AGENT dei vari crawler.
@Luca
Con quel codice escludi pure tutti i browser IE:
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1)
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1)
Condivido invece sull'approccio, di non limitarsi al robots.txt, ma anche controllare il browser ad ogni richiesta di pagina.
il mio era ovviamente un esempio infatti ripeto che bisognerebbe analizzare la cosa avendo una forbita lista di HTTP_USER_AGENT dei vari crawler.Originariamente Scritto da Webmaster70
E io ripeto, se il mio esempio non era così esplicito, che bisogna testarlo con gli user agent di tutti i browser.
Se Teleport si camuffa da IE (come nel tuo esempio, e spesso software del genere lo fanno) attenzione a non escludere IE.
Feci a suo tempo delle prove per escludere teleport e simili con il robots e fallì miseramente...
Non so se il fallimento sia stato dato da un "impegno approssimativo e veloce" da parte mia o dall'abilità di questi software a non tener conto dei robots.
Sono interessato comunque a studiare la cosa...mi piacerebbe vedere alcune riflessioni ma soprattutto alcune prove in questo 3d.
Ultima modifica di Anika; 05-05-11 alle 03:15 Motivo: Lettera maiuscola all'inizio della frase
LinkBack URL
About LinkBacks
Rispondi Citando