escludere tutte le sottocartelle (robots.txt)

[dk.wamp]

escludere tutte le sottocartelle (robots.txt)

Ciao, avrei una curiosità, lavoro con uno script che mi crea sotto cartelle che poi per via di pagina linkate qua e la sui siti mi vengono elencate nei motori di ricerca, ma io non vorrei. Vorrei che il mio sito su site:miodominio.net comparisse solo con l'homepage e altre 3 o a pagine normali presenti nella root.

Come faccio a mettere nel robots.txt un'istruzione che impedisca ai motori di ricerca di indicizzare tutte le mie cartelle? (che non posso bloccare una per una, essendo con nome random e in continua evoluzione)

Ovviamente il mio sito ha una sitemap senza queste directory

che fo?

[federico.sasso]

ciao,
hai diverse opzioni:

La prima è escludere tutto tranne le pagine che ti interessano. Lo svantaggio è che devi citarle tutte, la manutenzione è difficile.

Oppure puoi lanciarti in acrobazie sintattiche con l'uso di * nel robots.txt; sinceramente lascerei perdere, anche perché non tutti i motori di ricerca lo supportano, e anche Google non credo permetta di usarlo più volte all'interno della stessa riga.

Quello che farei io:
Modificherei lo script perché crei le sottocartelle casuali non all'interno della root, ma all'interno di una sottocartella predefinita, e escluderei quella da robots.txt

Spero d'esserti stato d'aiuto

[dk.wamp]

Ho deciso che provo ad usare i metatag dato che i files sono costruiti su un template ben preciso. Modificare la script sarebbe durissima. Comunque attuerò una tua variazione oltre il meta quello di escludere tutto e autorizzare solo alcune pagine. Grazie dei consigli.