+ Rispondi alla Discussione
Risultati da 1 a 14 di 14

Help!!! File Robot.txt blocca l'indicizzazione del sito...

Ultimo Messaggio di must il:
  1. #1
    User Newbie
    Data Registrazione
    Mar 2014
    Località
    Firenze
    Messaggi
    5
    Segui kjkha su Twitter Aggiungi kjkha su Google+

    Help!!! File Robot.txt blocca l'indicizzazione del sito...

    Carissimi, partendo dal presupposto che mi sto approcciando alla materia per la prima volta nella mia esistenza...
    Sto avendo un problema che forse voi ragazzi/e un po' più navigati potete aiutarmi a risolvere.
    Ho creato un blog/sito di servizi per turisti nella città di Firenze, su piattaforma wordpress con hosting aruba.

    Ieri sera ho reso il sito pubblico per la prima volta (deflaggando anche la visibilità ai motori di ricerca) ed ho verificato che nella pagina di ricerca di google appare questa dicitura:
    "Non è disponibile una descrizione per questo risultato a causa del file robots.txt del sito.Leggi ulteriori informazioni."

    cliccando sul link del presunto file robot.txt, si apre una finestra che dice quanto segue:
    "User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/ Sitemap: nomesito+sitemap"

    per tentare di risolvere il problema, ho cercato di eliminare il file robot.txt dal root....ma nella directory principale non lo trovo...è possibile che si trovi in una sottocartella?
    Per l'ottimizzazione SEO del sito sto utilizzando Yoast Wordpress SEO, e le pagine risultano essere tutte corrette.
    Anche attraverso i google Webmaster tools mi si presenta il problema, e mi vengono indicate le 9 url bloccate, che non si riferiscono a pagine vere e proprie ma piuttosto a fogli di stile, script e carattere, insomma..non so come risolvere la cosa.

    Ho una domanda: Non è che avendo deflaggato la visibilità ai motori di ricerca, google ci metterà un po' di tempo, prima di indicizzare il sito?
    Avete idea di come posso procedere? devo aspettare del tempo oppure posso apportare delle modifiche in modo che il sito venga regolarmente indicizzato e visualizzato?
    Aspetto un vostro riscontro...
    Grazie!

  2. #2
    User L'avatar di ZanchettaSol
    Data Registrazione
    Mar 2014
    Località
    Roma
    Messaggi
    46
    Segui ZanchettaSol su Twitter Aggiungi ZanchettaSol su Google+ Aggiungi ZanchettaSol su Facebook Aggiungi ZanchettaSol su Linkedin
    Ciao kjkha, il link sarebbe di aiuto... comunque così senza altre info potrei dirti che quel risultato è vecchio. Dal GWT reinvia la sitemap e guarda la copia cache di google. Non eliminare il file robots perche così si indicizzano anche le pagine lato admin. Guarda anche le impostazioni di yoast per sicurezza, io uso solo joomla quindi non conosco bene wordpress.
    Le nostre passioni al Vostro servizio!

  3. #3
    User Newbie
    Data Registrazione
    Mar 2014
    Località
    Firenze
    Messaggi
    5
    Segui kjkha su Twitter Aggiungi kjkha su Google+
    ciao Zanchetta, grazie della risposta! purtroppo il forum non mi permette di inserire url :/
    in realtàil file robot txt non è stato mai creato da me, infatti non capisco da dove riesca a prenderlo se non c'è nel root..cercherò di capire meglio se il problema proviene da Yoast.. grazie ancora e buona domenica!

  4. #4
    User L'avatar di ZanchettaSol
    Data Registrazione
    Mar 2014
    Località
    Roma
    Messaggi
    46
    Segui ZanchettaSol su Twitter Aggiungi ZanchettaSol su Google+ Aggiungi ZanchettaSol su Facebook Aggiungi ZanchettaSol su Linkedin
    Se vuoi mandami il link in pvt!
    Le nostre passioni al Vostro servizio!

  5. #5
    User Attivo
    Data Registrazione
    Mar 2009
    Località
    Milano
    Messaggi
    2,161
    Segui ziobudda su Twitter Aggiungi ziobudda su Google+
    Ciao, per inserire link usa www .dominio .ext/percorso

    M.
    Sviluppo creazione siti portali Drupal - - Assistenza Drupal - Corsi Drupal

  6. #6
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    Località
    Bologna
    Messaggi
    4,550
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    Ciao kjkha,

    Wordpress crea da solo il robots.txt, ma è un file virtuale.
    Tramite Yoast se vuoi puoi modificarlo tramite la sezione "Modifica Files", ma pur lasciandolo come è ora non dovresti avere problemi di indicizzazione.

    I file JS potrebbero essere bloccati perché alcuni temi usano i file delle librerie JS pescandoli da wp-includes che Wordpress di default blocca erroneamente.
    Come ho già fatto in un post ti consiglio di impostare il tuo robots.txt su Wordpress come segue:

    Codice:
    User-Agent: *
    Disallow:
    Utilizzare il robots.txt per bloccare le sezioni amministrative è un errore perché in primis espone solamente a problemi di sicurezza.
    Ti consiglio anche di cambiare il percorso della cartella wp-admin in qualcos'altro oppure di bloccarne l'accesso solamente al tuo IP o tramite pass .htaccess/.htpasswd

  7. #7
    User Attivo
    Data Registrazione
    Mar 2009
    Località
    Milano
    Messaggi
    2,161
    Segui ziobudda su Twitter Aggiungi ziobudda su Google+
    Citazione Originariamente Scritto da Juanin Visualizza Messaggio
    Utilizzare il robots.txt per bloccare le sezioni amministrative è un errore perché in primis espone solamente a problemi di sicurezza.
    Ciao, me la spieghi questa tua affermazione ?
    Grazie.

    M.
    Sviluppo creazione siti portali Drupal - - Assistenza Drupal - Corsi Drupal

  8. #8
    User Attivo L'avatar di must
    Data Registrazione
    Mar 2005
    Località
    Swieqi, Malta
    Messaggi
    4,327
    Segui must su Twitter Aggiungi must su Google+ Aggiungi must su Facebook Aggiungi must su Linkedin
    Citazione Originariamente Scritto da ziobudda Visualizza Messaggio
    Ciao, me la spieghi questa tua affermazione ?
    Grazie.

    M.
    perché basta aprire il robots.txt per vedere quali URLs danno accesso al backend, per esempio

  9. #9
    User Attivo
    Data Registrazione
    Mar 2009
    Località
    Milano
    Messaggi
    2,161
    Segui ziobudda su Twitter Aggiungi ziobudda su Google+
    Citazione Originariamente Scritto da must Visualizza Messaggio
    perché basta aprire il robots.txt per vedere quali URLs danno accesso al backend, per esempio
    Per quello basta sapere quale è il CMS utilizzato per saperlo.

    M.
    Sviluppo creazione siti portali Drupal - - Assistenza Drupal - Corsi Drupal

  10. #10
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    Località
    Bologna
    Messaggi
    4,550
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    ziobudda Must ti ha dato la risposta.

    In ogni caso basterebbe anche sapere quale è il CMS sì ed è per questo che ho scritto di bloccare la sezione in altri modi o cambiare nome senza però esporla inutilmente nel robots.txt.
    L'uso dei CMS è già da solo un'esposizione a falle di sicurezza e se in più poi lo dichiariamo anche senza prendere accorgimenti...

    Fatto sta che bloccare nel robots.txt sezioni admin/private non ha senso a differenza di quanto consigliano il 90% dei post e delle persone in giro per forum e social.
    Farlo è una cosa pessima. Stop. Almeno secondo me, poi ognuno è libero di fare come vuole a casa sua

    Non ti torna qualcosa?

  11. #11
    User Attivo
    Data Registrazione
    Mar 2009
    Località
    Milano
    Messaggi
    2,161
    Segui ziobudda su Twitter Aggiungi ziobudda su Google+
    Ciao, ognuno è libera di pensarla come vuole, ma decisamente l'affermazione
    L'uso dei CMS è già da solo un'esposizione a falle di sicurezza

    lascia tutto il tempo che trova.

    Quindi ci facciamo tutto custom e ci leghiamo al programmatore/azienda di turno che è più sicuro dei CMS utilizzati per la maggiore ? Direi che è inutile continuare, si va fuori target e basta.

    M.

    Sviluppo creazione siti portali Drupal - - Assistenza Drupal - Corsi Drupal

  12. #12
    Utente Premium
    Data Registrazione
    Jul 2012
    Località
    Roma
    Messaggi
    1,218
    - Quindi ci facciamo tutto custom e ci leghiamo al programmatore/azienda di turno che è più sicuro dei CMS utilizzati per la maggiore?

    Non credo fosse questo il punto. Juanin non ha detto di non usare WordPress o Joomla o Drupal, ha detto che se si usa un CMS si è esposti a falle di sicurezza. Io avrei detto "eventuali falle di sicurezza", ma credo fosse quello il concetto a cui si riferiva Juanin. Il giorno in cui esce fuori una falla di sicurezza per uno di quei 3 CMS lo possono venire a sapere tutti i blackhat del mondo e quindi possono essere a rischio tutti i siti realizzati con quel CMS o con un particolare plugin di quel CMS. Per non parlare di eventuali plugin per CMS ideati apposta per creare problemi (non credo che tutti i webmaster prima di installare un plugin, magari scaricato chissà dove, lo vanno ad analizzare).

    Ciò comunque non vuol dire che il "programmatore/azienda di turno" sia più affidabile in termini di sicurezza, sopratutto se il programmatore o l'azienda ci fornisce comunque un CMS.

    Di sicuro però tra un sito con Joomla o WordPress e un sito realizzato solo in Html è ovvio che il sito in Html è più sicuro, perchè se ti bucano l'FTP possono cancellare il sito con o senza CMS, ma col CMS ci sono delle possibilità in più per creare danni.


  13. #13
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    Località
    Bologna
    Messaggi
    4,550
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    Citazione Originariamente Scritto da ziobudda Visualizza Messaggio
    Quindi ci facciamo tutto custom e ci leghiamo al programmatore/azienda di turno che è più sicuro dei CMS utilizzati per la maggiore?
    Non ho mai detto questo. Tu hai parlato di CMS e non io

    Citazione Originariamente Scritto da ziobudda Visualizza Messaggio
    Direi che è inutile continuare, si va fuori target e basta.
    Infatti kjkha ha fatto una domanda e io gli ho risposto fornendo anche alcuni argomenti utili per potersi fare un ragionamento anche da solo.

    Detto questo....io sono un amante dell'Open Source e so benissimo che poi bisogna prendersene onori e oneri e se non conosci bene quello che fai, ma usi solamente un CMS perché ci vuole poco a farci un sito stai pur sicuro che verrai bucato più velocemente della luce e se lo esponi pure nel robots.txt ancora di più.

  14. #14
    User Attivo L'avatar di must
    Data Registrazione
    Mar 2005
    Località
    Swieqi, Malta
    Messaggi
    4,327
    Segui must su Twitter Aggiungi must su Google+ Aggiungi must su Facebook Aggiungi must su Linkedin
    Eppoi, per tenere una risorsa fuori dall'indice di Google, il robots.txt è lo strumento sbagliato.

    noindex is the answer.

+ Rispondi alla Discussione

Tag per Questa Discussione

^ Permessi di Scrittura

  • Tu non puoi inviare nuove discussioni
  • Tu non puoi inviare risposte
  • Tu non puoi inviare allegati
  • Tu non puoi modificare i tuoi messaggi
  •  
  • Il codice BB è Attivato
  • Le faccine sono Attivato
  • Il codice [IMG] è Attivato
  • Il codice [VIDEO] è Attivato
  • Il codice HTML è Disattivato
  • Trackbacks Attivato
  • Pingback Attivato
  • Refback Attivato

SEO by vBSEO 3.6.0 PL2 ©2011, Crawlability, Inc.