+ Rispondi alla Discussione
Risultati da 1 a 2 di 2

Correttezza mio file robots.txt

Ultimo Messaggio di DavideMancuso il:
  1. #1
    User Newbie
    Data Registrazione
    Jan 2015
    Località
    Guidonia Montecelio (RM)
    Messaggi
    7

    Correttezza mio file robots.txt

    Ciao ragazzi,
    mi confermate che il mio file Robots.txt, di cui vi mostro il codice qui di seguito, è corretto?

    Codice:
    ######## GRUPPO A ########
    User-agent: Googlebot
    User-agent: Googlebot-Mobile
    User-agent: Bingbot
    User-agent: Slurp
    User-agent: Msnbot
    Disallow: /risorse/
    Allow: /risorse/css/
    Allow: /risorse/js/
    Disallow: /paginaX
    Disallow: /paginaY
    Disallow: /paginaZ
    
    ######## GRUPPO B ########
    User-agent: *
    Disallow: /
    Quello a cui voglio arrivare è questo:
    1. Bloccare la scansione a TUTTI i crawler, eccetto Google, Bing, Yahoo! e MSN;
    2. Google, Bing, Yahoo! e MSN possono accedere a tutto il sito, eccetto la directory "risorse" e le pagine X/Y/Z;
    3. In "risorse", quindi, non accede a nulla tranne le sotto-directory "css" e "js".


    Forse devo aggiungere al GRUPPO A la riga: Allow: / , ovvero:

    Codice:
    ######## GRUPPO A ########
    User-agent: Googlebot
    User-agent: Googlebot-Mobile
    User-agent: Bingbot
    User-agent: Slurp
    User-agent: Msnbot
    Allow: /
    Disallow: /risorse/
    Allow: /risorse/css/
    Allow: /risorse/js/
    Disallow: /paginaX
    Disallow: /paginaY
    Disallow: /paginaZ
    
    ######## GRUPPO B ########
    User-agent: *
    Disallow: /


    Grazie a tutti per quanto farete!
    Disallow: /pagina1

  2. #2
    User L'avatar di DavideMancuso
    Data Registrazione
    Dec 2015
    Località
    Siena
    Messaggi
    56
    Aggiungi DavideMancuso su Linkedin
    Ciao Siluc, il secondo blocco di codice mi sembra corretto. Dopo la lista di bot accettati è corretto inserire Allow: /
    Davide - psdtohtml.it - Sviluppo Front-End

+ Rispondi alla Discussione

Tag per Questa Discussione

^ Permessi di Scrittura

  • Tu non puoi inviare nuove discussioni
  • Tu non puoi inviare risposte
  • Tu non puoi inviare allegati
  • Tu non puoi modificare i tuoi messaggi
  •  
  • Il codice BB è Attivato
  • Le faccine sono Attivato
  • Il codice [IMG] è Attivato
  • Il codice [VIDEO] è Attivato
  • Il codice HTML è Disattivato
  • Trackbacks Attivato
  • Pingback Attivato
  • Refback Attivato

SEO by vBSEO 3.6.0 PL2 ©2011, Crawlability, Inc.