 |
 |
|
| Condividi questo contenuto nei Social Network: |
|
Tweet |
|
|
|
Ti stiamo aspettando: Registrati subito e gratis. Entra a far parte di una delle comunità più attive in Italia. Se hai dimenticato i tuoi dati li puoi recuperare subito. |
||||
|
|||||||||
 Laboratorio Seo I test sui motori di ricerca Hey Amico Visitatore, Condividi con noi le tue idee e la tua conoscenza Aprendo una nuova discussione nella sezione Laboratorio Seo |
|
|
|
LinkBack | Strumenti di discussione |
21-05-05, 21:14
|
#1 (permalink) |
|
User
Data di registrazione: Jan 2005
Ubicazione: Roma
Messaggi: 414
|
Elenco user agent inutili
Ragazzi che ne dite se tutti insieme tiriamo giù una lista di user agent "consuma banda" e sostanzialmente inutili?
In questi giorni stò ottimizzando al meglio le mie risorse (server e connessione) Ho visto che html.it ha una buona lista di user agent indesiderati nel robots.txt , che ne dite se ne creiamo una insieme? |
|
__________________
SEOGM |
|
|
|
|
|
|
21-05-05, 22:25
|
#2 (permalink) |
Data di registrazione: Oct 2004
Ubicazione: Monasterace
Messaggi: 34,891
|
Ottima Idea
|
|
__________________
Giorgio Taverniti Blog - Il mio account Twitter! Che aspetti? Diventa MODERATRICE del Forum gt  Importante evento sul Web Marketing: 5 sale, 27 argomenti, 33 esperti presenti, streaming e video registrati...a soli 149€ 
|
|
|
|
|
|
23-05-05, 23:23
|
#5 (permalink) |
|
Data di registrazione: Oct 2004
Ubicazione: Monasterace
Messaggi: 34,891
|
Intende gli spider dei motori che arrivano nel tuo sito e lo controllano. Molti non servono e possono essere esclusi, chi fa una lista?
|
|
__________________
Giorgio Taverniti Blog - Il mio account Twitter! Che aspetti? Diventa MODERATRICE del Forum gt Importante evento sul Web Marketing: 5 sale, 27 argomenti, 33 esperti presenti, streaming e video registrati...a soli 149€
|
|
|
|
|
|
26-05-05, 11:17
|
#6 (permalink) |
|
User
Data di registrazione: May 2005
Messaggi: 62
|
Io ne ho due tra i piu esclusi dai siti piu grossi..
User-agent: EmailCollector (Scansiona il Web alla ricerca di E-mail). Disallow: / User-agent: Teleport (Software per lo scaricamento di interi siti). Disallow: / |
|
__________________
Verifica regole firma Ultima modifica di Anika : 01-05-11 15:28. Motivo: Lettere maiuscola all'inizio della frase |
|
|
|
|
|
27-05-05, 09:56
|
#7 (permalink) |
|
User
Data di registrazione: Jan 2005
Ubicazione: Roma
Messaggi: 414
|
Bene, se ne conoscete altri quotate!
 User-agent: webmirror Disallow: / User-agent: webcopy Disallow: / User-agent: WinHTTrack Disallow: / User-agent: website extractor Disallow: / User-agent: SuperBot Disallow: / User-agent: SuperBot/2.6 Disallow: / User-agent: WebReaper Disallow: / User-agent: Black Hole Disallow: / User-agent: Titan Disallow: / User-agent: NetMechanic Disallow: / User-agent: CherryPicker Disallow: / User-agent: EmailCollector Disallow: / User-agent: DISCo Pump 3.1 Disallow: / User-agent: NetAttache Disallow: / User-agent: NetAttache Light 1.1 Disallow: / User-agent: EmailSiphon Disallow: / User-agent: WebBandit Disallow: / User-agent: EmailWolf Disallow: / User-agent: ExtractorPro Disallow: / User-agent: CopyRightCheck Disallow: / User-agent: Crescent Disallow: / User-agent: SiteSnagger Disallow: / User-agent: ProWebWalker Disallow: / User-agent: CheeseBot Disallow: / User-agent: Alexibot Disallow: / User-agent: Teleport Disallow: / User-agent: Wget Disallow: / User-agent: MIIxpc Disallow: / User-agent: Telesoft Disallow: / User-agent: Website Quester Disallow: / User-agent: WebZip Disallow: / User-agent: moget/2.1 Disallow: / User-agent: WebZip/4.0 Disallow: / User-agent: WebStripper Disallow: / User-agent: WebStripper/2.02 Disallow: / User-agent: WebSauger Disallow: / User-agent: WebCopier Disallow: / User-agent: NetAnts Disallow: / User-agent: Mister PiX Disallow: / User-agent: WebAuto Disallow: / User-agent: TheNomad Disallow: / User-agent: WWW-Collector-E Disallow: / User-agent: RMA Disallow: / User-agent: libWeb/clsHTTP Disallow: / User-agent: asterias Disallow: / User-agent: httplib Disallow: / User-agent: turingos Disallow: / User-agent: spanner Disallow: / User-agent: InfoNaviRobot Disallow: / User-agent: Harvest/1.5 Disallow: / User-agent: Bullseye/1.0 Disallow: / User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 Disallow: / User-agent: CherryPickerSE/1.0 Disallow: / User-agent: CherryPickerElite/1.0 Disallow: / User-agent: WebBandit/3.50 Disallow: / User-agent: NICErsPRO Disallow: / User-agent: Microsoft URL Control - 5.01.4511 Disallow: / User-agent: DittoSpyder Disallow: / User-agent: Foobot Disallow: / User-agent: WebmasterWorldForumBot Disallow: / User-agent: SpankBot Disallow: / User-agent: BotALot Disallow: / User-agent: lwp-trivial/1.34 Disallow: / User-agent: lwp-trivial Disallow: / User-agent: Wget/1.6 Disallow: / User-agent: BunnySlippers Disallow: / User-agent: URLy Warning Disallow: / User-agent: Wget/1.5.3 Disallow: / User-agent: LinkWalker Disallow: / User-agent: cosmos Disallow: / User-agent: moget Disallow: / User-agent: hloader Disallow: / User-agent: humanlinks Disallow: / User-agent: LinkextractorPro Disallow: / User-agent: Mata Hari Disallow: / User-agent: LexiBot Disallow: / User-agent: Offline Explorer Disallow: / User-agent: Web Image Collector Disallow: / User-agent: The Intraformant Disallow: / User-agent: True_Robot/1.0 Disallow: / User-agent: True_Robot Disallow: / User-agent: BlowFish/1.0 Disallow: / User-agent: JennyBot Disallow: / User-agent: MIIxpc/4.2 Disallow: / User-agent: BuiltBotTough Disallow: / User-agent: ProPowerBot/2.14 Disallow: / User-agent: BackDoorBot/1.0 Disallow: / User-agent: toCrawl/UrlDispatcher Disallow: / User-agent: WebEnhancer Disallow: / User-agent: TightTwatBot Disallow: / User-agent: suzuran Disallow: / User-agent: VCI WebViewer VCI WebViewer Win32 Disallow: / User-agent: VCI Disallow: / User-agent: Szukacz/1.4 Disallow: / User-agent: QueryN Metasearch Disallow: / User-agent: Openfind data gathere Disallow: / User-agent: Openfind Disallow: / User-agent: Xenu's Link Sleuth 1.1c Disallow: / User-agent: Xenu's Disallow: / User-agent: Zeus Disallow: / User-agent: RepoMonkey Bait & Tackle/v1.01 Disallow: / User-agent: RepoMonkey Disallow: / User-agent: Zeus 32297 Webster Pro V2.9 Win32 Disallow: / User-agent: Webster Pro Disallow: / User-agent: EroCrawler Disallow: / User-agent: LinkScan/8.1a Unix Disallow: / User-agent: Kenjin Spider Disallow: / User-agent: Cegbfeieh Disallow: / |
|
|
|
|
27-05-05, 10:48
|
#8 (permalink) |
|
User
Data di registrazione: May 2005
Messaggi: 62
|
Ammazza quanti sono.. ma cosa sono e quello che fanno non si sa?
Aggiungiamo pure varianti del classico teleport ma non so se sono dannosi a tal punto.. User-agent: TeleportPro Disallow: / User-agent: Teleport Pro/1.29.1718 Disallow: / User-agent: Teleport Pro/1.29.1632 Disallow: / User-agent: Teleport Pro/1.29.1590 Disallow: / User-agent: Teleport Pro/1.29 Disallow: / |
|
__________________
Verifica regole firma Ultima modifica di Anika : 01-05-11 15:29. Motivo: Messa la lettera maiuscola all'inizio delle frase |
|
|
|
|
|
27-05-05, 14:20
|
#9 (permalink) |
|
User
Data di registrazione: Jan 2005
Ubicazione: Roma
Messaggi: 414
|
Perfetto!
Qualcuno offre di più? dai che non mi va di comprare un terzo server per questi succhia banda da 4 soldi...
 User-agent: EmailCollector (Scansiona il Web alla ricerca di E-mail). Disallow: / User-agent: Teleport (Software per lo scaricamento di interi siti). Disallow: / User-agent: webmirror Disallow: / User-agent: webcopy Disallow: / User-agent: WinHTTrack Disallow: / User-agent: website extractor Disallow: / User-agent: SuperBot Disallow: / User-agent: SuperBot/2.6 Disallow: / User-agent: WebReaper Disallow: / User-agent: Black Hole Disallow: / User-agent: Titan Disallow: / User-agent: NetMechanic Disallow: / User-agent: CherryPicker Disallow: / User-agent: EmailCollector Disallow: / User-agent: DISCo Pump 3.1 Disallow: / User-agent: NetAttache Disallow: / User-agent: NetAttache Light 1.1 Disallow: / User-agent: EmailSiphon Disallow: / User-agent: WebBandit Disallow: / User-agent: EmailWolf Disallow: / User-agent: ExtractorPro Disallow: / User-agent: CopyRightCheck Disallow: / User-agent: Crescent Disallow: / User-agent: SiteSnagger Disallow: / User-agent: ProWebWalker Disallow: / User-agent: CheeseBot Disallow: / User-agent: Alexibot Disallow: / User-agent: Teleport Disallow: / User-agent: Wget Disallow: / User-agent: MIIxpc Disallow: / User-agent: Telesoft Disallow: / User-agent: Website Quester Disallow: / User-agent: WebZip Disallow: / User-agent: moget/2.1 Disallow: / User-agent: WebZip/4.0 Disallow: / User-agent: WebStripper Disallow: / User-agent: WebStripper/2.02 Disallow: / User-agent: WebSauger Disallow: / User-agent: WebCopier Disallow: / User-agent: NetAnts Disallow: / User-agent: Mister PiX Disallow: / User-agent: WebAuto Disallow: / User-agent: TheNomad Disallow: / User-agent: WWW-Collector-E Disallow: / User-agent: RMA Disallow: / User-agent: libWeb/clsHTTP Disallow: / User-agent: asterias Disallow: / User-agent: httplib Disallow: / User-agent: turingos Disallow: / User-agent: spanner Disallow: / User-agent: InfoNaviRobot Disallow: / User-agent: Harvest/1.5 Disallow: / User-agent: Bullseye/1.0 Disallow: / User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 Disallow: / User-agent: CherryPickerSE/1.0 Disallow: / User-agent: CherryPickerElite/1.0 Disallow: / User-agent: WebBandit/3.50 Disallow: / User-agent: NICErsPRO Disallow: / User-agent: Microsoft URL Control - 5.01.4511 Disallow: / User-agent: DittoSpyder Disallow: / User-agent: Foobot Disallow: / User-agent: WebmasterWorldForumBot Disallow: / User-agent: SpankBot Disallow: / User-agent: BotALot Disallow: / User-agent: lwp-trivial/1.34 Disallow: / User-agent: lwp-trivial Disallow: / User-agent: Wget/1.6 Disallow: / User-agent: BunnySlippers Disallow: / User-agent: URLy Warning Disallow: / User-agent: Wget/1.5.3 Disallow: / User-agent: LinkWalker Disallow: / User-agent: cosmos Disallow: / User-agent: moget Disallow: / User-agent: hloader Disallow: / User-agent: humanlinks Disallow: / User-agent: LinkextractorPro Disallow: / User-agent: Mata Hari Disallow: / User-agent: LexiBot Disallow: / User-agent: Offline Explorer Disallow: / User-agent: Web Image Collector Disallow: / User-agent: The Intraformant Disallow: / User-agent: True_Robot/1.0 Disallow: / User-agent: True_Robot Disallow: / User-agent: BlowFish/1.0 Disallow: / User-agent: JennyBot Disallow: / User-agent: MIIxpc/4.2 Disallow: / User-agent: BuiltBotTough Disallow: / User-agent: ProPowerBot/2.14 Disallow: / User-agent: BackDoorBot/1.0 Disallow: / User-agent: toCrawl/UrlDispatcher Disallow: / User-agent: WebEnhancer Disallow: / User-agent: TightTwatBot Disallow: / User-agent: suzuran Disallow: / User-agent: VCI WebViewer VCI WebViewer Win32 Disallow: / User-agent: VCI Disallow: / User-agent: Szukacz/1.4 Disallow: / User-agent: QueryN Metasearch Disallow: / User-agent: Openfind data gathere Disallow: / User-agent: Openfind Disallow: / User-agent: Xenu's Link Sleuth 1.1c Disallow: / User-agent: Xenu's Disallow: / User-agent: Zeus Disallow: / User-agent: RepoMonkey Bait & Tackle/v1.01 Disallow: / User-agent: RepoMonkey Disallow: / User-agent: Zeus 32297 Webster Pro V2.9 Win32 Disallow: / User-agent: Webster Pro Disallow: / User-agent: EroCrawler Disallow: / User-agent: LinkScan/8.1a Unix Disallow: / User-agent: Kenjin Spider Disallow: / User-agent: Cegbfeieh Disallow: / User-agent: TeleportPro Disallow: / User-agent: Teleport Pro/1.29.1718 Disallow: / User-agent: Teleport Pro/1.29.1632 Disallow: / User-agent: Teleport Pro/1.29.1590 Disallow: / User-agent: Teleport Pro/1.29 Disallow: / |
|
|
|
|
27-05-05, 14:29
|
#10 (permalink) |
|
Banned
Data di registrazione: Feb 2005
Ubicazione: Roma
Messaggi: 5,444
|
non so se li avete già segnalati
User-agent: Xenu's Link Sleuth 1.1c Disallow: / User-agent: Xenu's Disallow: / User-agent: Offline Explorer Disallow: / User-agent: WebmasterWorldForumBot Disallow: / User-agent: WebStripper Disallow: / User-agent: WebStripper/2.02 Disallow: / User-agent: WebSauger Disallow: / User-agent: WebCopier Disallow: / User-agent: WebReaper Disallow: / User-agent: webmirror Disallow: / |
|
|
|
|
27-05-05, 22:22
|
#11 (permalink) |
|
Data di registrazione: Oct 2004
Ubicazione: Monasterace
Messaggi: 34,891
|
Io consumo molto, un bel test mettere il robots.......
|
|
__________________
Giorgio Taverniti Blog - Il mio account Twitter! Che aspetti? Diventa MODERATRICE del Forum gt Importante evento sul Web Marketing: 5 sale, 27 argomenti, 33 esperti presenti, streaming e video registrati...a soli 149€
|
|
|
|
|
|
28-05-05, 01:20
|
#13 (permalink) |
|
Data di registrazione: Oct 2004
Ubicazione: Monasterace
Messaggi: 34,891
|
Ago come mai?
|
|
__________________
Giorgio Taverniti Blog - Il mio account Twitter! Che aspetti? Diventa MODERATRICE del Forum gt Importante evento sul Web Marketing: 5 sale, 27 argomenti, 33 esperti presenti, streaming e video registrati...a soli 149€
|
|
|
|
|
|
28-05-05, 03:49
|
#14 (permalink) | |
|
Esperto
Data di registrazione: Apr 2005
Messaggi: 480
|
Quote:
Questo comportamento e' ... E' un discorso lunghissimo e non ho voglia di iniziare una lotta contro i mulini a vento, non ho una Dulcinea del Toboso per la quale ne velga la pena. Condannereste un innocente pur di condannare 100 colpevoli? Se implemento un filtro, che penalizza quel sito che riceve-eccede in breve tempo in link ricevuti, levo una miriade di siti di spam, ma so che in qualche caso anche un sito che riporta una "novita' assoluta" rischiera', con buone probabilita', di essere bannato per "immediato eccesso di successo". Mediapartners-Google e' uno spider e pertanto dovrebbe rispondere alle "leggi" per gli spider. Peccato che queste "leggi" siano ad uso e consumo dei motori stessi. Faccio un esempio. Vi immaginate qualche regola non legata al fattore tempo?? Devi pagare il canone televisivo. Vuol dire che lo pago un anno e poi mai piu?. Devi fare il biglietto per parcheggiare. Lo faccio oggi e poi sono a posto per la vita? Per entrare al cinema compra il biglietto. Bene, ne compro uno e poi entro a sbafo a vita? No, non esiste, il tempo scorre e tutto e' in base al tempo. Questo quando non sei a casa tua. Se "usi", accedi a cose altrui dovrai rinnovare di volta in volta il contratto tra le 2 parti, tu e chi ti fa accedere ai suoi beni. Allora uno spider ogni volta che accede ad una mia pagina dovrebbe verificare la mia volonta', la mia scelta di farlo accedere o meno a quella mia pagina. Ma i motori non specificano il tempo di considerazione di un robots.txt e soprattutto non hanno memoria. Non ti dicono che controllano il robots.txt al massino 1 volta al giorno, e se ti sta bene cosi' allora ok viceversa amen. Lo controllano quando e come vogliono loro. E se io non volessi dalle 3 alle 4 farmi spiderizzare una pagina? Beh direte, se non accetti le loro regole nessuno ti obbliga a farti spiderizzare. Ok ma se un altro utente inserisce nel loro add url la mia url? Beh, allora potrai decidere di lasciarli fuori a vita grazie al robots.txt Ma se volessi essere inserito? Allora vado e leggo cosa dice lo standard per i robots, e mi adeguo, ma io mi adeguo mentre i motori si adeguano al mio robots solo quando decidono di leggerlo. Ma dovrebbero leggere il robots.txt SEMPRE prima di spiderizzare una mia pagina. SEMPRE. Sempre perche' lo standard non specifica un tempo e pertanto la logica del buon padre di famiglia consiglia: sempre. Ma non lo fanno. Perche' non lo fanno? Perche' non ne sono obbligati. Il robots.txt e' solo un'indicazione, un suggerimento, nulla di piu'. Ed allora se nessuno sul web e' "obbligato" a seguire cerrettamente un'indicazione di massima che senso ha pensare che mettere un elenco infinito di ua "perniciosi" possa avere un senso? Se i motori considerano ed usano a loro uso e consumo i robots come pensare che gli ua meno "seri" vi si attengano? Si rischia solo di fare robots.txt pesanti che rallenteranno gli spider seri senza frenare in alcun modo gli ua minori. | |
|
|
|
|
28-05-05, 12:34
|
#15 (permalink) |
|
User Attivo
Data di registrazione: Dec 2004
Ubicazione: abito sulla luna e ogni volta che mi telefono è un'interrurbana
Messaggi: 2,413
|
Non so perchè, ma ieri sera quando mi stavo addormentando ormai sulla tastiera l'ultimo post che ho letto è stato questo e mi sono chiesto proprio chi obbliga uno spider a considerare i robots?
Mi sembra troppo facile e troppo semplice, in un mondo in cui devi cercare di proteggerti a più non posso perchè c'è sempre qualcuno che tenta di fregarti, qualcuno che tenta di bucare quello che hai fatto o le tue difese. Io chiedo a giganti dello spam, a "siti" senza molti peli sulla lingua di non considerare alcune sezioni del sito semplicemente con un file di testo piccolo piccolo. Mi puzza molto. Con questa riflessione mi sono addormentato e questa mattina ho trovato quacun'altro che avvalora la mia tesi. |
|
__________________
bilancio familiare Ultima modifica di Anika : 01-05-11 15:21. Motivo: Attenzione, le frasi vanno iniziate con la lettera maiuscola. |
|
|
|
|
Seo e Tecnologie
