• User

    Googlebot non riesce ad accedere ai file CSS e JS

    GWT mi da questo messaggio su un ecommerce con prestashop ma a me il robots sembra giusto.

    Di recente, i sistemi di Google hanno rilevato un problema con la tua home page che influisce negativamente sulla visualizzazione e sull'indicizzazione dei tuoi contenuti da parte dei nostri algoritmi. Nello specifico, Googlebot non può accedere ai tuoi file JavaScript e/o CSS a causa delle limitazioni del tuo file robots.txt. Questi file aiutano Google a comprendere se il tuo sito web funziona correttamente, pertanto bloccare l'accesso a questi asset può causare ranking inferiori a quelli ottimali.

    Il mio robots.txt è il seguente:

    robots.txt automaticaly generated by PrestaShop e-commerce open-source solution

    This file is to prevent the crawling and indexing of certain parts

    of your site by web crawlers and spiders run by sites like Yahoo!

    and Google. By telling these "robots" where not to go on your site,

    you save bandwidth and server resources.

    For more information about the robots.txt standard, see:

    User-agent: *

    Private pages

    Disallow: /*orderby=
    Disallow: /*orderway=
    Disallow: /*tag=
    Disallow: /*id_currency=
    Disallow: /*search_query=
    Disallow: /*back=
    Disallow: /*n=
    Disallow: /*controller=addresses
    Disallow: /*controller=address
    Disallow: /*controller=authentication
    Disallow: /*controller=cart
    Disallow: /*controller=discount
    Disallow: /*controller=footer
    Disallow: /*controller=get-file
    Disallow: /*controller=header
    Disallow: /*controller=history
    Disallow: /*controller=identity
    Disallow: /*controller=images.inc
    Disallow: /*controller=init
    Disallow: /*controller=my-account
    Disallow: /*controller=order
    Disallow: /*controller=order-opc
    Disallow: /*controller=order-slip
    Disallow: /*controller=order-detail
    Disallow: /*controller=order-follow
    Disallow: /*controller=order-return
    Disallow: /*controller=order-confirmation
    Disallow: /*controller=pagination
    Disallow: /*controller=password
    Disallow: /*controller=pdf-invoice
    Disallow: /*controller=pdf-order-return
    Disallow: /*controller=pdf-order-slip
    Disallow: /*controller=product-sort
    Disallow: /*controller=search
    Disallow: /*controller=statistics
    Disallow: /*controller=attachment
    Disallow: /*controller=guest-tracking

    Directories

    Disallow: */classes/
    Disallow: */config/
    Disallow: */download/
    Disallow: */mails/
    #Disallow: */modules/
    Disallow: */translations/
    Disallow: */tools/

    Files

    Disallow: /password-recupero
    Disallow: /indirizzo
    Disallow: /indirizzi
    Disallow: /autenticazione
    Disallow: /carrello
    Disallow: /sconto
    Disallow: /storico-ordine
    Disallow: /identita
    Disallow: /il-mio-account
    Disallow: /seguito-ordine
    Disallow: /nota-di-ordine
    Disallow: /ordine
    Disallow: /cerca
    Disallow: /ordine-veloce
    Disallow: /ospite-monitoraggio

    Sitemap

    Sapete dirmi dove è che blocca lo spider?:?


  • User Attivo

    Ciao Fra25,
    ti consiglierei di passare il sito su Screaming Frog e poi dal menu "Response Codes" scegli il filtro "Blocked by Robots.txt" così puoi avere una lista delle eventuali risorse bloccate da robots.
    Spero ti sia utile!
    Ciao


  • User

    @nimue86 said:

    Ciao Fra25,
    ti consiglierei di passare il sito su Screaming Frog e poi dal menu "Response Codes" scegli il filtro "Blocked by Robots.txt" così puoi avere una lista delle eventuali risorse bloccate da robots.
    Spero ti sia utile!
    Ciao

    ciao!
    ho provato subito... mi da 9 punti, otto dei quali sono tipo:

    /carrello?qty=1&id_product=147&token=a5940fddb0cebe0a7d1efc3d0e0859b3&add=

    e uno invece è

    /autenticazione?back=my-account

    In pratica sono i carrelli utenti e l'account. Non mi segnala nessun JS o css.


  • User Attivo

    Ok, hai provato anche a guardare dentro Webmaster Tool su Indice Google>Risorse Bloccate ?
    Ti dovrebbe dare una lista più completa.
    Magari ha una vecchia lista di risorse che per lui sono bloccate, ma che magari non ci sono più (p.e. plugin disinstallati)


  • User

    @nimue86 said:

    Ok, hai provato anche a guardare dentro Webmaster Tool su Indice Google>Risorse Bloccate ?
    Ti dovrebbe dare una lista più completa.
    Magari ha una vecchia lista di risorse che per lui sono bloccate, ma che magari non ci sono più (p.e. plugin disinstallati)

    allora... in GWT mi dice che ho 26 pagine con risorse bloccate:

    16 pagine hanno bloccato: /modules/protect/disable.css (è un modulo che "protegge" i contenuti delle pagine bloccando la copia, il tasto destro, la selezione del testo).
    10 pagine hanno bloccato: /modules/productpaymentlogos/img/payment-logo.png

    Cioè sarebbe risorse dentro la cartella /modules/ che di default ha il disallow però dal robots dovrebbe essere aperta perchè ho messo il cancelletto davanti, cosi: #Disallow: */modules/

    forse devo proprio aprirla e scrivere : allow: */modules/ ?


  • User Attivo

    Fai una prova del nove 🙂
    Vai su Scansione>Tester dei file Robots.txt e prova le url che ti dà come bloccate.
    Puoi usare lo strumento anche per testare le modifiche che apporterai al robots.txt per rendere accessibili le risorse


  • User

    @nimue86 said:

    Fai una prova del nove 🙂
    Vai su Scansione>Tester dei file Robots.txt e prova le url che ti dà come bloccate.
    Puoi usare lo strumento anche per testare le modifiche che apporterai al robots.txt per rendere accessibili le risorse

    Fatto, googlebot:

    /modules/protect/disable.css me la da CONSENTITO
    modules/productpaymentlogos/img/payment-logo.png me la da CONSENTITO

    sono un po' confuso 😄


  • User Attivo

    Beh l'importante è che Googlebot riesca ad accedere a queste risorse.
    Come ultima cosa, fossi in te, proverei un recupero di una delle pagine interessate da queste risorse (anche la Home volendo) su Scansione>Visualizza come Google
    Ti dovrebbe fornire un'ultima prova delle risorse eventualmente bloccate.
    Poi direi che puoi stare tranquillo 🙂


  • User

    @nimue86 said:

    Beh l'importante è che Googlebot riesca ad accedere a queste risorse.
    Come ultima cosa, fossi in te, proverei un recupero di una delle pagine interessate da queste risorse (anche la Home volendo) su Scansione>Visualizza come Google
    Ti dovrebbe fornire un'ultima prova delle risorse eventualmente bloccate.
    Poi direi che puoi stare tranquillo 🙂

    lol adesso mi sparo 😄
    gli ho dato una pagina di quelle con errori e mi da una lista di css del template e anche di immagini jpg temporaneamente non raggiungibili.
    Poi mi elenca anche delle risorse esterne bloccate dal robot, tipo la chat e un js di googleusercontent che non ho capito cosa sia.
    😄


  • User Attivo

    Si tratta di risorse che ci sono davvero?
    Nel senso...un conto è se sono bloccate, un altro è se non sono raggiungibili per altri problemi


  • User

    la cosa sembra migliorata, ieri ho scritto nel robots qualche "allow" e ora ho provato a testare le pagine "visualizza come google" , sia l'homepage che alcune di ieri e mi rileva bloccate solamente delle risorse esterne.
    Io non ho controllo su queste risorse esterne quindi non posso farci nulla... quindi google non si deve arrabbiare con me, giusto?! 😄 😄


  • User Attivo

    Ah bene!
    Sì sulle risorse esterne non c'è molto controllo, però la loro incidenza dipende da quanto possono impattare sul sito web e su come lo vedono gli utenti.
    Cito la guida di Webmaster Tool:
    "Procedi con gli host di cui non hai il controllo e, se le risorse hanno un forte impatto visivo, contatta i webmaster dei siti interessati per chiedere loro se è possibile sbloccare la risorsa per Googlebot o rimuovere la dipendenza della pagina dalla risorsa."


  • User

    infatti! Adesso vediamo se GWT mi rimanda un messaggio riguardo a qualche blocco...staremo a vedere. Grazie dell'aiuto!


  • User Attivo

    Prego! 🙂