+ Rispondi alla Discussione
Pagina 2 di 2 PrimaPrima 12
Risultati da 16 a 21 di 21

Elenco user agent inutili

Ultimo Messaggio di luca1317 il:
  1. #16
    User L'avatar di corvo
    Data Registrazione
    Jul 2005
    Messaggi
    436
    testato per quello che più mi premeva Teleport, risultati:
    cinque minuti a scrivere il robots meglio utilizzabili per l'allevamento di coccodrilli, scarica il sito che è una bellezza.... nonostante il ban ai vari "emailcollector" lo spam non si conta... mie conclusioni "affrettate" il robots serve per evitare errore 404 e a poco altro

  2. #17
    User
    Data Registrazione
    Sep 2009
    Messaggi
    112
    Feci una prova tempo fa con il file robot: risultato...non serve allo scopo.

    Per fare quello che dite bisognerebbe agire lato server analizzando l'HTTP_USER_AGENT.

    Teleport pro 1.62 ad esempio restituisce HTTP_USER_AGENT: mozilla/4.0 (compatible; msie 7.0; windows nt)

    se in asp scrivi 2 righe di codice:

    Codice:
    crawler = LCase(Request.ServerVariables("HTTP_USER_AGENT"))
    if instr(crawler , "compatible") then response.redirect("vai-a-pagina-inesistente")
    il crawler di turno non pescherà nessun dato della pagina che cerca ma sarà reindirizzato ad una pagina di nostra scelta o inesistente.

    Bisognerebbe analizzare la cosa avendo una forbita lista di HTTP_USER_AGENT dei vari crawler.

  3. #18
    Moderatore L'avatar di Webmaster70
    Data Registrazione
    Jun 2009
    Località
    Bologna
    Messaggi
    1,091
    Aggiungi Webmaster70 su Facebook Aggiungi Webmaster70 su Linkedin
    @Luca

    Con quel codice escludi pure tutti i browser IE:

    Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
    Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)
    Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1)
    Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1)

    Condivido invece sull'approccio, di non limitarsi al robots.txt, ma anche controllare il browser ad ogni richiesta di pagina.

  4. #19
    User
    Data Registrazione
    Sep 2009
    Messaggi
    112
    Citazione Originariamente Scritto da Webmaster70 Visualizza Messaggio
    @Luca

    Con quel codice escludi pure tutti i browser IE:

    Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
    Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)
    Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1)
    Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1)

    Condivido invece sull'approccio, di non limitarsi al robots.txt, ma anche controllare il browser ad ogni richiesta di pagina.
    il mio era ovviamente un esempio infatti ripeto che bisognerebbe analizzare la cosa avendo una forbita lista di HTTP_USER_AGENT dei vari crawler.

  5. #20
    Moderatore L'avatar di Webmaster70
    Data Registrazione
    Jun 2009
    Località
    Bologna
    Messaggi
    1,091
    Aggiungi Webmaster70 su Facebook Aggiungi Webmaster70 su Linkedin
    E io ripeto, se il mio esempio non era così esplicito, che bisogna testarlo con gli user agent di tutti i browser.

    Se Teleport si camuffa da IE (come nel tuo esempio, e spesso software del genere lo fanno) attenzione a non escludere IE.

  6. #21
    User
    Data Registrazione
    Sep 2009
    Messaggi
    112
    Feci a suo tempo delle prove per escludere teleport e simili con il robots e fallì miseramente...

    Non so se il fallimento sia stato dato da un "impegno approssimativo e veloce" da parte mia o dall'abilità di questi software a non tener conto dei robots.

    Sono interessato comunque a studiare la cosa...mi piacerebbe vedere alcune riflessioni ma soprattutto alcune prove in questo 3d.
    Ultima modifica di Anika; 05-05-11 alle 03:15 Motivo: Lettera maiuscola all'inizio della frase

+ Rispondi alla Discussione
Pagina 2 di 2 PrimaPrima 12

Tag per Questa Discussione

^ Permessi di Scrittura

  • Tu non puoi inviare nuove discussioni
  • Tu non puoi inviare risposte
  • Tu non puoi inviare allegati
  • Tu non puoi modificare i tuoi messaggi
  •  
  • Il codice BB è Attivato
  • Le faccine sono Attivato
  • Il codice [IMG] è Attivato
  • Il codice [VIDEO] è Attivato
  • Il codice HTML è Disattivato
  • Trackbacks Attivato
  • Pingback Attivato
  • Refback Attivato

SEO by vBSEO 3.6.0 PL2 ©2011, Crawlability, Inc.