• User Attivo

    File robots ottimale

    Ciao a tutti ragassuoli, volevo fare una domanda agli esperti.
    Da poco tempo ho, finalmente, capito bene o male l'importanza del file robots.txt e della sitemap.xml e, navigando in cerca di info, sono arrivato a fare il mio robots ma non so bene se è il più ottimale per un blog.
    Il file è scritto così:

    User-agent: *
    Disallow: /wp-
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Disallow: /cgi-bin/
    Allow: /wp-content/uploads/
    Disallow: /feed/
    Disallow: /trackback/
    Disallow: /comments/
    Disallow: /feed/
    Disallow: /trackback/
    Disallow: /comments/
    Disallow: /
    ?

    Disallow: /
    ?
    Disallow: /tag/
    Disallow: /category/

    Sitemap: w w w . learn-to-dance.us/sitemap.xml

    Sapete dirmi se è ottimale o meno e, nel caso, come migliorarlo? Perchè sono un pochino in confusione! Grazie a tutti, un saluto.


  • Moderatore

    Il tuo robots.txt mi sembra buono, ho però una domanda da farti: nel tuo sito usi permalinks statici (.../titolo_articolo.html) o dinamici (.../?p=123)?
    Se usi i primi tutto ok, ma se usi i secondi (pessimi per il posizionamento, ti conviene passare a quelli statici) stati attento, perchè queste due istruzioni

    Disallow: /?
    Disallow: /*?

    bloccano l?indicizzazione degli URL contenenti querystring e tu, avendo tutti i link così, faresti in modo che nessuno venga indicizzato!

    Comunque non spaventarti, non penso che sia questo il tuo caso. 😄


  • User Attivo

    Scusa l'ignoranza, posso chiederti la differenza tra link statico e link dinamico?

    Io dovrei impostare i link tipo www . tynurl/ef98
    ma non so cosa si intende per dinamico o statico....
    Spiegazione rapida per gnappi? 😉


  • Moderatore

    Molto alla veloce, statico quando la pagina è in formato .html o .php ed è caratterizzata da una sequenza di parole, dinamico quando è caratterizzata da un ID (/?p=ID)

    Comunque, il blog è quello che hai in firma? Se sì non hai problemi, il tuo robots.txt va benissimo, la mia era solo una precisazione a scopo informativo. 😉


  • Super User

    Ciao a tutti mi inserisco in questa interessante discussione
    al momento il mio file robots è così

    User-agent: *
    Disallow:
    Sitemap: indirizzo sitemap

    Ho però tramite plugin SEO per Wp escluso tag, archivio, ricerche e autori. Ho però lasciato le categorie? Pensate sia meglio toglierle?
    e anche escludere i commenti al fine del posizionamento? Sempre tramite questo file si possono escludere le sottopagine della home?


  • Moderatore

    @Katherine said:

    Ciao a tutti mi inserisco in questa interessante discussione
    al momento il mio file robots è così

    User-agent: *
    Disallow:
    Sitemap: indirizzo sitemap

    Allo stato attuale il tuo robots.txt è impostato in modo tale da permettere l'acceso a tutti i boot. Stop.

    @Katherine said:

    Ho però tramite plugin SEO per Wp escluso tag, archivio, ricerche e autori. Ho però lasciato le categorie? Pensate sia meglio toglierle?
    e anche escludere i commenti al fine del posizionamento? Sempre tramite questo file si possono escludere le sottopagine della home?
    Il discorso categorie è strettamente collegato a quello delle tag, che ho visto che hai già provveduto ad escludere.
    Allora, il punto è: di solito, quando pubblichi un articolo, sei solita ad inserirlo in più categorie? Se la risposta è sì, allora forse sarebbe meglio escludere le categorie, e ti spiego il perchè: ogni pagina di ogni categoria si troverà ad avere contenuti pressochè uguali, pertanto agli occhi di Google questi risulterebbero come contenuti duplicati. Ora, se il numero di questo tipo di pagine non supera il 15-20% del n° di pagine totali indicizzate, tutto ok. Se invece questo numero, come di norma accade in un blog più o meno attivo, si rischia di cadere in una penalizzazione di Google per tag exception.
    Facendo un attimo il punto della situazione, il consiglio in linea di massima è di disabilitarle, oppure di prestare molta attenzione alla gestione dei tag e delle categorie.

    Per i commenti, i feedback ed i trackback il discorso è simile: se li lasci abilitati, rischi di far indicizzare un tuo articolo più volte e con più indirizzi, pertanto potresti rischiare anche qui la penalizzazione per contenuti duplicati.

    Per escludere una pagina precisa, devi fare

    Disallow: link_pagina


  • Super User

    io vorrei escludere anche tutte le sottopagine della home del tipo miosito/page2, page3, ecc...hai idea di come si possa fare? in modo automatico dato che con l'aumentare dei post anche quello delle pagine aumenta...


  • User Attivo

    @lastrobt said:

    Molto alla veloce, statico quando la pagina è in formato .html o .php ed è caratterizzata da una sequenza di parole, dinamico quando è caratterizzata da un ID (/?p=ID)

    Perfetto grazie della precisazione.

    @lastrobt said:

    Comunque, il blog è quello che hai in firma? Se sì non hai problemi, il tuo robots.txt va benissimo, la mia era solo una precisazione a scopo informativo. 😉

    No a dire il vero il mio blog è un blog a tema nuovo che sto costruendo in inglese learn-to-dance.us e praticamente lo uso per le affiliazioni di click bank. Però anche quei link sono statici, quindi non dovrei avere problemi. Grazie delle info.


  • Moderatore

    Di nulla, figurati, ed in bocca al lupo per il blog! 😉

    EDIT: ho visitato adesso il tuo blog, guarda che i tupi permalink sono dinamici (/?p=ID), perciò con il tuo .htaccess non indicizzi niente! Vai in impostazioni > permalink e impostane uno che contenga %postname%


  • User Attivo

    @lastrobt said:

    Di nulla, figurati, ed in bocca al lupo per il blog! 😉

    EDIT: ho visitato adesso il tuo blog, guarda che i tupi permalink sono dinamici (/?p=ID), perciò con il tuo .htaccess non indicizzi niente! Vai in impostazioni > permalink e impostane uno che contenga %postname%

    Fatto grazie!!! Non me ne ero nemmeno accorto!! Non sono proprio un esperto. Mitico!:ciauz: