• User

    il robots mi blocca le nuove pagine indicizzate

    salve,
    ho un e-commerce su prestashop da circa 1 anno.
    finora tutto ok , ma da circa 1 mese ho notato che lo Stato Indicizzazione e' sceso di botto , ed e' stato assorbito dal file robots.
    ed anche i nuovi prodotti che inserisco sul sito , anche inviando la sitemap aggiornata , le pagine della sitemap indicizzate aumentano ma se vedo lo stato dell'indicizzazione e' sempre fermo , e il file robots aumentare.

    premetto che non ho fatto alcuna modifica al file robots.

    grazie


  • ModSenior

    Che significa che lo stato dell'indicizzazione è stato assorbito dal file robots e che questo aumenta?

    Valerio Notarfrancesco


  • User

    Stavo per chiedere la stessa cosa. Che significa "e' stato assorbito dal file robots"?
    Forse dipende dal fatto che le pagine dei diversi prodotti hanno sostanzialmente lo
    stesso contenuto. A Google non piacciono più le pagine molto simili tra lor.
    Questo potrebbe essere una causa. Ma è solo un'ipotesi.


  • User

    @vnotarfrancesco said:

    Che significa che lo stato dell'indicizzazione è stato assorbito dal file robots e che questo aumenta?

    Valerio Notarfrancesco

    si forse non sono stato molto chiaro..:)

    in pratica, andando nel WBT , in ''Stato dell'Indicizzazione'' dove e' presente il grafico con le 3 varianti : Blu (totali indicizzate) , Verde (non selezionate) e Arancione (bloccate dai robot) , circa 1 mese fa la variante blu e scesa di un buon 30% e si e' alzata della stessa percentuale la variante Arancione.

    in pratica ci sono molte meno pagine indicizzate da google..
    ed anche quando aggiungo altri prodotti al sito ,invio la sitemap , nella sezione sitemap risultano aumentare dopo pochi giorni le pagine indicizzate , ma se vado nel grafico di Stato dell'indicizzazione non aumenta.

    e' normale??


  • ModSenior

    Prova a vedere se hai qualche componente o plugin di Prestashop che genera dinamicamente il file robots.txt.
    Magari ha un'opzione che ti sta bloccando le url del tuo e-commerce.

    Valerio Notarfrancesco


  • User

    non credo e comunque non ho installato o modificato nulla negli ultimi mesi..
    questo e' il file robots generato automaticamente da prestashop:

    robots.txt automaticaly generated by PrestaShop e-commerce open-source solution

    #prestashop com -

    This file is to prevent the crawling and indexing of certain parts

    of your site by web crawlers and spiders run by sites like Yahoo!

    and Google. By telling these "robots" where not to go on your site,

    you save bandwidth and server resources.

    For more information about the robots.txt standard, see:

    GoogleBot specific

    User-agent: Googlebot
    Disallow: /*orderby=
    Disallow: /*orderway=
    Disallow: /*tag=
    Disallow: /*id_currency=
    Disallow: /*search_query=
    Disallow: /*id_lang=
    Disallow: /*back=
    Disallow: /*utm_source=
    Disallow: /*utm_medium=
    Disallow: /*utm_campaign=
    Disallow: /*n=

    All bots

    User-agent: *

    Directories

    Disallow: /classes/
    Disallow: /config/
    Disallow: /download/
    Disallow: /mails/
    Disallow: /modules/
    Disallow: /translations/
    Disallow: /tools/
    Disallow: /it/

    Files

    Disallow: /addresses.php
    Disallow: /address.php
    Disallow: /authentication.php
    Disallow: /cart.php
    Disallow: /discount.php
    Disallow: /footer.php
    Disallow: /get-file.php
    Disallow: /header.php
    Disallow: /history.php
    Disallow: /identity.php
    Disallow: /images.inc.php
    Disallow: /init.php
    Disallow: /my-account.php
    Disallow: /order.php
    Disallow: /order-opc.php
    Disallow: /order-slip.php
    Disallow: /order-detail.php
    Disallow: /order-follow.php
    Disallow: /order-return.php
    Disallow: /order-confirmation.php
    Disallow: /pagination.php
    Disallow: /password.php
    Disallow: /pdf-invoice.php
    Disallow: /pdf-order-return.php
    Disallow: /pdf-order-slip.php
    Disallow: /product-sort.php
    Disallow: /search.php
    Disallow: /statistics.php
    Disallow: /attachment.php
    Disallow: /guest-tracking

    Sitemap


  • User

    é esattamente uguale al mio robots.txt (prestashop)

    e come ho scritto nell'altra discussione quello che non mi torna è questa riga:

    Disallow: /it/

    Non capisco come mai prestashop la generi :bho:


  • User

    ma anche tu hai il mio stesso problema descritto?


  • User

    @alfy82 said:

    ma anche tu hai il mio stesso problema descritto?

    Io sto seguendo questo ecommerce prestashop da poche settimane è ho notato questa riga sul robots.txt (Disallow: /it/)

    Ho notato poi su webmaster tools come hai spiegato sopra delle strane anomalie sul grafico:

    oi47.tinypic.com/ sc7vop .jpg

    Il problema è che seguendo il sito da poco non ho idea di cosa abbia combinato la persona che lo seguiva prima ma evidentemente a marzo qualcosa dev'essere successo :fumato:


  • User

    @Diego Gualdoni said:

    Stavo per chiedere la stessa cosa. Che significa "e' stato assorbito dal file robots"?
    Forse dipende dal fatto che le pagine dei diversi prodotti hanno sostanzialmente lo
    stesso contenuto. A Google non piacciono più le pagine molto simili tra lor.
    Questo potrebbe essere una causa. Ma è solo un'ipotesi.

    si probabilmente il problema e' contenuto duplicato ,in quanto alcuni prodotit erano inseriti in varie categorie.
    ora ho messo ogni prodotto in una sola categoria , e reinviato la sitemap
    devo comunicare altro a google o devo solo attendere?


  • User

    @alfy82 said:

    si probabilmente il problema e' contenuto duplicato ,in quanto alcuni prodotit erano inseriti in varie categorie.

    Beh in prestashop i prodotti anche se sono inseriti in più categorie rimandano comunque alla stessa pagina di prodotto che è univoca,
    l'unica cosa dupilcata è la presenza dello stesso blocco prodotto su due (o più) pagine (categorie). Credi che questo sia compromettente per google? mi pare assurdo..:dull:


  • User

    boh , ho totlo tutti i prodotti duplicati , ma le pagine bloccate dal robots continuano ad aumentare mentre le totale indicizzate rimangono stabili..


  • User

    @alfy82 said:

    boh , ho totlo tutti i prodotti duplicati , ma le pagine bloccate dal robots continuano ad aumentare mentre le totale indicizzate rimangono stabili..

    Hai provato a togliere il Disallow: /it/ dal robots.txt ?
    speravo che qualcun altro rispondesse ma non sembrano essere molto attivi, ci sono le feste :fumato:


  • User

    appena rimosso , ora attendiamo i risultati ,spero positivi
    ho anche postato la stessa domanda sul forum di prestashop su questo disallow/it

    tu lo hai tolto?


  • User

    @GioDeesa said:

    Hai provato a togliere il Disallow: /it/ dal robots.txt ?
    speravo che qualcun altro rispondesse ma non sembrano essere molto attivi, ci sono le feste :fumato:

    nel forum prestashop mi hanno risposto:

    ''Evita che i robot google e affini perdano tempo a cercare in cartelle ininfluenti, ad es clienti ecc''

    pero' ho ancora il problema che i file bloccati dal robots aumentano e quelli indicizzati sono sempre fermi , anche aggiungendo nuovi prodotti..


  • User

    @alfy82 said:

    tu lo hai tolto?

    L'ho tolto oggi, aspetto di vedere se cambia qualcosa..


  • User

    Ho visto anche che con prestashop ci sono dei problemi con le duplicazioni, la homepage me la duplica 3 volte 😮

    Dovrò mettere mano all'htaccess....certo che cmq sto forum non è molto vivo a dare consigli o sono capitato nella sezione sfigata..boh :rollo: