Il file Robots.txt è un semplice file di testo che risiede nella directory di root (in italiano radice) di un sito e contiene alcune istruzioni utili ad comandare l'attività svolta dagli spiders inviati dai motori di ricerca.
Per ulteriori approfondimenti fare riferimento a questa risorsa.
