Ciao a tutti,
qualcuno sa dirmi come posso recuperare i
nomi degli spider da inserire nel
file robots.txt?
Da poco mi sto accostando a questa pratica ed ero interessata a capire meglio come compilare il file e personalizzarlo un pochino...
In particolare mi interessavano gli spider dei motori italiani... ma non solo...
Grazie per la collaborazione...
