• A
    User Attivo •

    Robots.txt, interpretazioni soggettive.

    Non rimarchero' ne vi parlero' (come faccio ormai da anni) di quanto sia essenziale che il rispetto del robots.txt ottenga (asap) una valenza-valore legalmente riconosciuto in tutto il web.

    Invece questa volta, piu' semplicemente faccio presente la posizione di google qui riportatata:

    http://www.google.com/support/webmasters/bin/answer.py?answer=40362

    nella quale afferma:

    URLs are case-sensitive.
    For instance, Disallow: /private_file.html
    would block
    http://www.example.com/private_file.html,
    but would allow
    http://www.example.com/Private_File.html.

    Mi sembrerebbe una cosa assurda se G ne tenesse realmente conto, visto che nessun wm (o quasi) si preoccupa del case sensitive delle proprie url, infatti poi matt afferma:

    Robots.txt ...upper vs. lower case doesn?t matter.

    Notare la sottigliezza, G ci dice che il contenuto del robots e' case sensitive, ma poi non ci dice ufficialmente se lui terra' conto di questo aspetto.

    Insomma se G un domani volesse spiderizzare le serp di live.com:

    http://search.live.com/REsults.aspx?q=home

    potrebbe farlo senza remore, in quanto il robots di live riporta:

    User-agent: *
    Disallow: /results

    e non

    User-agent: *
    Disallow: /REsults

    Una cosa che mi ha sempre lasciato perplesso e' l'uso e la dimensione che assume il carattere / nel robots.txt.

    Esempio del robots.txt di G:

    User-agent: *
    Disallow: /news?output=xhtml&
    Allow: /news?output=xhtml
    Disallow: /news

    G ci dice che la pagina:

    http://www.google.com/news?output=xhtml
    puo' essere spiderizzata, mentre:

    http://www.google.com/news?output=xhtml&q=home
    no.

    Fin qui tutto normale, ora prendiamo in considerazione:

    http://www.google.com/news?output=xhtml////&q=home

    e vediamo cosa ci dice Google riguardo all' Allow:
    "The Allow line works exactly like the Disallow line"

    Ricapitoliamo.
    G nel suo robots per prima cosa ci dice di non spiderizzare tutto cio' che inzia e segue questa sua url:

    /news?output=xhtml&

    poi mette un'eccezione, (correttissimo) e cioe' che si puo' spiderizzare tutto cio' che inzia e segue questa sua url:

    Allow: /news?output=xhtml

    (ma non se a seguire c'e' il carattere &, come prima specificato)

    Infine afferma che in tutti gli altri casi non si puo' spiderizzare le url che iniziano con /news

    Il contenuto di:

    http://www.google.com/news?output=xhtml&q=home

    e' identico al contenuto di:

    http://www.google.com/news?output=xhtml////&q=home

    con la differenza che la prima url mi e' preclusa alla spiderizzazione, la seconda no.

    Insomma l'uso-aggiunta (l'abuso del carattere /) in moltissimi casi mi permettera' di spiderizzare url che viceversa mi sarebbero precluse (precluse solo per deontologia, ma per un vero informatico rispettare la netiquette e' tutto).

    E' vero, e' una lotta contro i mulini a vento, ma mi piace ricordare le parole di Guccini:

    "Dovrei anche rinunciare ad un po' di dignità,
    farmi umile e accettare che sia questa la realtà ?"

    0
  • P
    User Attivo •

    Eheh.... intanto ciao agoago.

    La sintassi del robots.txt è subdola, è vero, spesso non ci si ragiona abbastanza.

    Prendi questo:

    User-agent: *
    Allow: /

    Che fa googlebot in questo caso? Entra? Nahhhhhh
    L'allow prende senso per google sono in presenza di un disallow....
    Provare per credere.

    Ciao, stammi bene.

    0
Effettua l'accesso per rispondere