• User

    robots.txt

    Non mi interessa disabilitare l'indicizzazione di determinate cartelle o file da parte degli spider e ho ripulito il sito da pagine di test, pagine in costruzione, pagine "brutte", etc. Anche se non per mi serve per le sue funzioni ho deciso di inserire il file robots.txt sperando che ciò mi aiuti nell'indicizzazione nei motori di ricerca, anche se non ho capito come e perchè. In ogni caso dato che non mi costa nulla il robots lo metto. Per fare in modo che non ci sia nessuna disabilitazione va bene una cosa così scritta con blocco note :


    /robots.txt file for http://www.utopie.org/

    mail [email][email protected][/email] for constructive criticism

    User-agent: utopie
    Disallow:

    l'esempio che faccio sopra va bene? Non mi è chiaro cosa mettere (o non mettere) dopo "User-agent"... ve bene anche un nome di fantasia? Per favore fattemelo sapere così lo metto on line. grazie
    :ciauz:


  • User Attivo

    Tramite il file robots.txt è possibile indicare quali sezioni del sito è possibile indicizzare, o restringere il campo di azione di determinati spider. Tutto questo va gestito tramite il file robots.txt da porre nella directory principale del dominio. (www.dominio.com/robots.txt). Il file in questione è composto da alcune direttive che gli spider comprendono come istruzioni da eseguire per poter leggere o meno delle sezioni del sito. User-agent indica lo spider che deve prestare attenzione all’istruzione seguente e tramite il carattere * indica che la direttiva seguente è valida per tutti gli spider. Disallow deve essere preceduta da User-agent e indica quali cartelle non devono essere indicizzate, nel caso si lascia in bianco si da l’accesso a tutto il sito. Ecco alcuni esempi esplicativi.
    Escludere tutti i file presenti nel domnio a tutti i robots
    User-agent: *
    Disallow: /
    Consentire l’accesso a tutti gli spider
    User-agent: *
    Disallow:
    (questa definizione equivale a non inserire il file robots.txt)
    Escludere tutti i robots da determinate cartelle
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /secret/
    Escludere un determinato robot dalla lettura di alcune cartelle
    User-agent: Scooter
    Disallow: /cgi-bin/
    Disallow: /secret/
    Se non si ha l’accesso in scrittura sul server è possibile pilotare l’accesso alle pagine trmaite il meta tag ROBOTS con la seguente sintassi:
    <meta name=’robots’ conten=’noindex,nofollow’>
    http://www.robotstxt.org/wc/robots.html


  • User

    Perfetto!
    :eheh:

    Dunque nel mio caso inserisco
    User-agent: *
    Disallow:
    Thanks
    :ciauz:


  • User Attivo

    si così hai aggiunto un tassello alla tua cultura SEO 😉