+ Rispondi alla Discussione
Risultati da 1 a 2 di 2

Robots.txt, interpretazioni soggettive.

Ultimo Messaggio di pieropan il:
  1. #1
    Esperto L'avatar di agoago
    Data Registrazione
    Apr 2005
    Messaggi
    481

    Robots.txt, interpretazioni soggettive.

    Non rimarchero' ne vi parlero' (come faccio ormai da anni) di quanto sia essenziale che il rispetto del robots.txt ottenga (asap) una valenza-valore legalmente riconosciuto in tutto il web.

    Invece questa volta, piu' semplicemente faccio presente la posizione di google qui riportatata:

    http://www.google.com/support/webmasters/bin/answer.py?answer=40362

    nella quale afferma:

    URLs are case-sensitive.
    For instance, Disallow: /private_file.html
    would block
    http://www.example.com/private_file.html,
    but would allow
    http://www.example.com/Private_File.html.

    Mi sembrerebbe una cosa assurda se G ne tenesse realmente conto, visto che nessun wm (o quasi) si preoccupa del case sensitive delle proprie url, infatti poi matt afferma:

    Robots.txt ...upper vs. lower case doesn’t matter.

    Notare la sottigliezza, G ci dice che il contenuto del robots e' case sensitive, ma poi non ci dice ufficialmente se lui terra' conto di questo aspetto.

    Insomma se G un domani volesse spiderizzare le serp di live.com:

    http://search.live.com/REsults.aspx?q=home

    potrebbe farlo senza remore, in quanto il robots di live riporta:

    User-agent: *
    Disallow: /results

    e non

    User-agent: *
    Disallow: /REsults

    -------------------------------

    Una cosa che mi ha sempre lasciato perplesso e' l'uso e la dimensione che assume il carattere / nel robots.txt.

    Esempio del robots.txt di G:

    User-agent: *
    Disallow: /news?output=xhtml&
    Allow: /news?output=xhtml
    Disallow: /news

    G ci dice che la pagina:

    http://www.google.com/news?output=xhtml
    puo' essere spiderizzata, mentre:

    http://www.google.com/news?output=xhtml&q=home
    no.

    Fin qui tutto normale, ora prendiamo in considerazione:

    http://www.google.com/news?output=xhtml////&q=home

    e vediamo cosa ci dice Google riguardo all' Allow:
    "The Allow line works exactly like the Disallow line"

    -------------

    Ricapitoliamo.
    G nel suo robots per prima cosa ci dice di non spiderizzare tutto cio' che inzia e segue questa sua url:

    /news?output=xhtml&

    poi mette un'eccezione, (correttissimo) e cioe' che si puo' spiderizzare tutto cio' che inzia e segue questa sua url:

    Allow: /news?output=xhtml

    (ma non se a seguire c'e' il carattere &, come prima specificato)

    Infine afferma che in tutti gli altri casi non si puo' spiderizzare le url che iniziano con /news

    --------

    Il contenuto di:

    http://www.google.com/news?output=xhtml&q=home

    e' identico al contenuto di:

    http://www.google.com/news?output=xhtml////&q=home

    con la differenza che la prima url mi e' preclusa alla spiderizzazione, la seconda no.

    -----------------------

    Insomma l'uso-aggiunta (l'abuso del carattere /) in moltissimi casi mi permettera' di spiderizzare url che viceversa mi sarebbero precluse (precluse solo per deontologia, ma per un vero informatico rispettare la netiquette e' tutto).

    E' vero, e' una lotta contro i mulini a vento, ma mi piace ricordare le parole di Guccini:

    "Dovrei anche rinunciare ad un po' di dignitą,
    farmi umile e accettare che sia questa la realtą ?"
    Non difendo le mie idee, potrebbero essere sbagliate.

  2. #2
    Esperto L'avatar di pieropan
    Data Registrazione
    Apr 2006
    Localitą
    Aree tribali del nordest
    Messaggi
    230
    Eheh.... intanto ciao agoago.

    La sintassi del robots.txt č subdola, č vero, spesso non ci si ragiona abbastanza.

    Prendi questo:

    User-agent: *
    Allow: /

    Che fa googlebot in questo caso? Entra? Nahhhhhh
    L'allow prende senso per google sono in presenza di un disallow....
    Provare per credere.

    Ciao, stammi bene.
    Pieropan

+ Rispondi alla Discussione

^ Permessi di Scrittura

  • Tu non puoi inviare nuove discussioni
  • Tu non puoi inviare risposte
  • Tu non puoi inviare allegati
  • Tu non puoi modificare i tuoi messaggi
  •  
  • Il codice BB č Attivato
  • Le faccine sono Attivato
  • Il codice [IMG] č Attivato
  • Il codice [VIDEO] č Attivato
  • Il codice HTML č Disattivato
  • Trackbacks Attivato
  • Pingback Attivato
  • Refback Attivato

SEO by vBSEO 3.6.0 PL2 ©2011, Crawlability, Inc.