Il file Robots.txt è un semplice file di testo, con estensione .txt ed editabile con qualunque editor di testo, che risiede nella radice dei siti web.
La sua caratteristica consiste nel poter essere interpretato dagli spider provenienti dai motori di ricerca e quindi è utilizzato per influenzarne l'attività da svolgere sul proprio sito.
Per maggiori informazioni fare riferimento a questa risorsa.
Articolo a cura di mirkoagrati 21:16, Dic 20, 2009 (CET)