Traccia dei crawler

[Seabird]

Ho il sito su ******. Come si fa a sapere se sono passati i vari crawlers dei più importanti motori di ricerca?

Scusate, probabilmente sarà un tema già trattato, ma io non l'ho trovato.

[bra_mik]

Seabird

Ho il sito su *****. Come si fa a sapere se sono passati i vari crawlers dei più importanti motori di ricerca?

Scusate, probabilmente sarà un tema già trattato, ma io non l'ho trovato.

Se hai un sistema di statistiche adeguato ti fornirà questa informazione.

Se non ce l'hai dovrai aspettare di vederti nei vari indici dei motori.

In alternativa potresti mettere un po' di codice nelle tue pagine almeno in home in cui di fai spedire una mail con user agent etc (ovviamente questo ti rallentera' un po' il sito)

In php fare una cose del genere è banale (2 righe di codice) e almeno per i primi tempi ti puo' fornire qualche informazione utile.

[m4rc0]

Se hai php e un database mySql e un po' di buona volontà
basta creare una tabella

	CREATE TABLE httplog (
	log_id int(10) unsigned NOT NULL auto_increment,
	log_ip varchar(15) NOT NULL default '',
	log_ref varchar(255) NOT NULL default '',
	log_url varchar(255) NOT NULL default '',
	log_date datetime NOT NULL default '0000-00-00 00:00:00',
	log_agent varchar(255) NOT NULL default ''
	PRIMARY KEY (log_id)
	) TYPE=MyISAM ;

Quindi in ogni pagina (crei un a pagina contatore.php e la includi in ogni pagina) inserisci il seguente codice

	 mysql_connect("miohost", "mialogin", "miapassword") or die (mysql_error());
	 mysql_select_db("miodatabase") or die ("Impossibile selezionare il database.");
	 mysql_query("INSERT INTO logs(log_ip, log_ref, log_url, log_date, log_agent) VALUES(\"".$HTTP_SERVER_VARS['REMOTE_ADDR']."\", \"".$HTTP_SERVER_VARS['HTTP_REFERER']."\", \"".$HTTP_SERVER_VARS['REQUEST_URI']."\", NOW(), \"".$HTTP_SERVER_VARS['HTTP_USER_AGENT']."\")");

Query SQL per individuare i bot

SELECT * FROM httplog WHERE LOG_AGENT like '%bot%' OR LOG_AGENT   like '%slurp%'

oppure ti crei un campo LOG_BOT che assume valori 0 o 1 e lo popoli facendo questo lavoro in php ad ogni visita nella pagina contatore.php.

Così mi sono fatto un cantatore di visite.
Riesco a monitorare sia le visite sia dei bot che degli utenti,
anche pagina per pagina sapere quanti e quali crawler sono passati.

[EmmeBar]

Ciao seabird,

Ho editato, come da regolamento, il nome della società che ti fornisce lo spazio.

Tra l'altro non credo sia necessario conoscerlo per rispondere alla tua domanda.

[Seabird]

Oh oh... scusa EmmeBar... non sapevo che non si potesse dire chi mi fornisce lo spazio web. Confesso che non leggo mai i regolamenti dei forum. Ok, cercherò di ricordarmi di non farlo più.


Per monitorare il mio sito uso questo, che non mi piace tanto perchè mi da risultati strani. E poi i crawlers non li registra.

Putroppo non sono pratico di queste cose. Mi sembra di ricordare di aver letto che se voglio tenere traccia dei crawlers devo interrogare il log. Ma che è sto' log e come si interroga?

Ho letto anche che bisogna pubblicare un file delorie. Ma che è sto' delorie?

Bèh... se avete da suggerirmi qualche sistema di statistiche gratuito e migliore del mio, che in più tiene traccia del passaggio dei vari crawlers ve ne sarei tanto grato.

Per il momento vi ringrazio delle risposte. Sono un po' in arabo per me, ma cercherò di tradurle.