• Moderatore

    Quante volte al giorno passano gli spider?

    Analizzando le statistiche di PHP-Stats mi è venuta in mente questa domanda: quante volte al giorno passano i vari spider nel vostro sito web? E qual'è quello che passa di più?

    PS. Si, è vero, non mi faccio mai i ca**i miei... 😄


  • Community Manager

    Google passa tanto 🙂


  • Moderatore

    @Giorgiotave said:

    Google passa tanto 🙂

    Come ordine? Più di 50 volte al giorno?


  • Moderatore

    @sitionweb said:

    Analizzando le statistiche di PHP-Stats mi è venuta in mente questa domanda: quante volte al giorno passano i vari spider nel vostro sito web? E qual'è quello che passa di più?

    PS. Si, è vero, non mi faccio mai i ca**i miei... 😄

    Googlebot ed MsnBot sono testa a testa e spesso vince MSN nel breve periodo, nel medio periodo Google comunque vince.
    In ogni caso non credo che si possa trovare una risposta alla domanda,
    molte variabili dovrebbero essere poste a parità (numero di pagine del sito, frequenza di aggiornamento ( o touch 😉 ) delle pagine, PR, etcc...)

    Dalla distribuzione per fascia oraria si evince che le visite degli spider sono abbastanza uniformemente distribuite nell'arco della giornata anche se si nota un picco dalle 7 alle 8 del mattino (in Italia) e un altro dopo la mezzanotte...Motivo di più per fare aggiornamenti a notte fonda...


  • Super User

    @sitionweb said:

    Analizzando le statistiche di PHP-Stats

    Io ho visto alcuni contatori PHP-Stats che non contano correttamente gli accessi degli spider. Quindi ti consiglio di informarti se ti serve un aggiunta per PHP-stats per monitorare correttamente gli accessi degli spider.
    Riguardo il numero dei passaggi, in genere googlebot passa la notte (diciamo dalle 22 alle 8 di mattina) ma spesso anche il pomeriggio. Il numero di accessi dipende da quanto aggiorni e da quanto è linkato il tuo sito.


  • Moderatore

    Continuando ad analizzare php-stats vedo che è Yahoo!Slurp che passa di più...

    @lukas said:

    Quindi ti consiglio di informarti se ti serve un aggiunta per PHP-stats per monitorare correttamente gli accessi degli spider.

    Ne conosci uno da consigliare?


  • Super User

    @sitionweb said:

    quante volte al giorno passano i vari spider nel vostro sito web?

    Cosa intendi per "volta"?

    Ci sono siti in cui uno spider può passare continuamente, senza che sia possibile identificare alcuna "volta".

    Non controllo gli orari da un po'. In teoria alcuni spider potrebbero passare più spesso durante le ore (locali) in cui il web server del sito è presumibilmente meno trafficato.


  • Super User

    la frequenza e durata della visita dello spider dipende ( come per tante altre cose ) dall'opinione ceh il motore si è fatto del nostro sito (popolarità)

    :ciauz:


  • Moderatore

    @LowLevel said:

    Cosa intendi per "volta"?

    Beh, intendo la frequenza di visite dello spider nel sito web...

    @Rinzi said:

    la frequenza e durata della visita dello spider dipende ( come per tante altre cose ) dall'opinione ceh il motore si è fatto del nostro sito (popolarità)

    Immagino che maggiore è la popolarità del sito, maggiori sono le visite dello spider... A questo punto maggiore e la frequenza di aggiornamento maggiori sono le visite? A frequenza di aggiornamento giornaliera corrisponde almeno una visita al giorno o non è detto?


  • Super User

    @sitionweb said:

    Continuando ad analizzare php-stats vedo che è Yahoo!Slurp che passa di più...

    Ne conosci uno da consigliare?

    No non so, ma se vedi che Yahoo Slurp passa probabilmente il tuo PHP-stats funziona bene. Io avevo visto delle statistiche per un sito, e dopo una settimana segnava solo 4 passaggi degli spider, mentre invece GoogleBot aveva fatto almeno 20000 pagine viste.
    Casomai chiedi sul forum di PHPStats se hai problemi.


  • Super User

    sarà stato fatto l'include del codice javascript anzichè quello php 😄


  • Super User

    @sitionweb said:

    A questo punto maggiore e la frequenza di aggiornamento maggiori sono le visite?

    A parità di altri fattori, sì.

    A frequenza di aggiornamento giornaliera corrisponde almeno una visita al giorno o non è detto?

    Non è detto. Perchè, come detto sopra, ci sono altri fattori.

    Esempio teorico:

    Frequenza = K * B * N * P

    Dove:

    B = Quantità di byte dei nuovi testi introdotti con le modifiche nei precedenti 7 giorni

    P = PageRank della pagina

    K ed N: due costanti, per attribuire pesi diversi ai due fattori di cui sopra.

    Validità della formula sopra ipotizzata: zero. Perché la progettazione di un crawling prende in considerazione ben oltre due miseri parametri, compresi quelli volti ad evitare i flood ed i carichi sullo stesso server.

    Era giusto per dare un'idea della logica di base che sta dietro una semplice decisione sulla frequenza di crawling di un documento/sito.