Spiders

[agoago]

Quando un motore vuole conoscere il contenuto di una pagina manda un suo spider.
Lo spider ne legge il contenuto ed il motore lo archivia.

Da sempre il wm pensa-ritiene che un motore basi i propri sort analizzando quanto letto del codice-testo della pagina spiderizzata, pesando link in uscita ed entrata ecc ecc.

Da qualche anno e' opinione comune che il motore tenga conto anche di altri fattori, chi e' l'owner del sito, su che server risiede, l'ip ecc ecc, i cosi' detti fattori esterni.

Tutto giusto... tutto vero, ma e' la classica mezza verita' e come tale fa danni come e peggio di una bugia.

-----------------

Lo spider legge il contenuto di una pagina ed il motore l'archivia.
Il motore sa che una pagina puo' contenere richiami a file esterni (vedi js), sa che puo' utilizzare javascript, ajax o quanto altro.

Il motore pertanto sa che non potra' piu' (come faceva anni prima) usare solo il codice letto dalla pagina spiderizzata, ma dovra' anche eseguire localmente la stessa, ovviamente usando un base url.

Eseguito localmente il contenuto letto dal suo spider il motore solo allora prendera' atto del vero contenuto testuale (presentato agli utenti) della pagina spiderizzata, e da li trarra' le dovute conclusioni.

Pertanto per quante tecniche si possano utilizzare in una pagina, il motore sapra' sempre che testo realmente una pagina mostra agli utenti.

Non c'e' verso... o almeno non ci sarebbe se...

------------

Quando un motore esegue il contenuto spiderizzato di una pagina, in seconda battuta e' come se da browser facesse, via tasto destro del mouse, un "select all".

Il motore a questo punto avra' 2 riferimenti, il contenuto spiderizzato ed il testo visto tramite "select all" prodotto-visto grazie all'esecuzione del codice della pagina spiderizzata.

Con questo "trucco" i motori leggono-vedono perfettamente tutto, codice interpretato e non, ma nessuno puo' chiudersi fuori dalla propria fortezza, e pertanto dovevano lasciare una porta aperta ma difficilmente rintracciabile.
E non c'e' miglior nascondiglio del nascondere qualcosa mettondolo sotto gli occhi di tutti.

--------------

Se richiamate un testo via js in una vostra pagina i motori lo leggono-vedono (in seconda battuta) senza problemi, ma guarda caso gli annunci Adsense non possono, non sono spiderizzabili da nessun motore.

Semplicemente e' la porta lasciata aperta dai motori.
A loro uso e consumo, con la speranza che i wm ne prendessero atto il piu' tardi possibile.

Il contenuto di un iframe, iframe richiamato tramite js, non e' visibile ai motori.
Se lo facessero si chiuderebbero fuori.

Un wm puo' scrivere cosa vuole in un iframe richiamato da un suo js senza che nessun motore possa rendersene conto.

Ed i motori non possono farci nulla, viceversa anche le loro inserzioni sarebbero spiderizzate e falserebbero i sort di mezzo web.

-------

Un wm puo' scegliere quale testo far vedere o meno (senza problemi) ai motori, e' il sogno di ogni seo.

Un wm puo' nascondere ai motori quel testo che si ripete in ogni sua pagina, potra' usare parole "scomode" consapevole che solo gli utenti le leggeranno.

[trancedesigner]

ciao agoago, ho la sensazione che ciò che stai dicendo sia molto interessante e che possa essere un valido punto da approfondire.

per la mia poca esperienza però non intendo bene il concetto alla base; hai tempo e voglia di spigarlo più semplicemente o in maniera diversa?

achille

[Salatti.NET]

Ottimo intervento agoago, molto interessante.

Un wm puo' nascondere ai motori quel testo che si ripete in ogni sua pagina, potra' usare parole "scomode" consapevole che solo gli utenti le leggeranno.

Si potrebbe anche inserire nell'iframe il contenuto vero e proprio e nel resto della pagina qualcosa di ottimizzato per i motori...

[franseo]

Illuminante ago..... davvero molto interessante.

Ma tecnicamente non è possibile che i motori scindano fra un frame in js con adsense (o altro advertising) ed un frame in js senza adsense leggendo solo i secondi ?!?!?!?

La mia è una domanda pura e semplice, non conosco il js.

Ciao Ciao

[FuSioNmAn]

Sei sicuro che non interpretano/scansionano questo iframe generato da js (che poi sarebbe un semplice document.write dell'html?

E' troppo drastica come soluzione oltre ad essere poco attuabile
Basterebbe fare un controllo sul src dell'iframe nella pagina.
Quando trova un loro indirizzo (es. http://pagead2.googlesyndicat...) ignora, che sia inserito da javascript o a mano nell'html.
Ignorare sull'ip/host è l'unico modo certo per escludere solo quello che dicono loro.
In questo modo non scansionerebbero adsense ma rimarrevvero scansionati tutti gli altri iframe (e quindi non tagliano fuori niente).
Credo che facciano così o almeno io farei così rispetto ad ignorare tutto un mondo tecnico

[domenico biancardi]

molti concetti sono corretti, sopratutto sul fatto dell'esecuzione in locale o comunque l'esecuzione che permette di visualizzare il risultato finale anche con i js. Però secondo me è una soluzione che non può durare per molto quella che proponi. Mettiamo che attuiamo un tricks del genere e che un giorno mettano nell'algoritmo una stupida funzioncina in grado di bannare chi utilizza questo tricks... allora a questo punto che si fa?

[joker197cinque]

FuSioNmAn

Credo che facciano così o almeno io farei così rispetto ad ignorare tutto un mondo tecnico

Probabilmente farei anche io cosi, pero' l'hack descritto da agoago secondo me funziona ...basta vedere come ancora oggi alcuni siti sono posizionati benissimo col trucchetto delle gif trasparenti 1X1 con i link...

Va da sè cmq che come ogni hack che si rispetti, è destinato ad avere un periodo di vita più o meno lungo...e non vorrei essere tra quelli che verranno "presi"...

[FuSioNmAn]

joker197cinque

Probabilmente farei anche io cosi, pero' l'hack descritto da agoago secondo me funziona ...basta vedere come ancora oggi alcuni siti sono posizionati benissimo col trucchetto delle gif trasparenti 1X1 con i link...

Va da sè cmq che come ogni hack che si rispetti, è destinato ad avere un periodo di vita più o meno lungo...e non vorrei essere tra quelli che verranno "presi"...

beh non è facile stare dietro milioni di utenti e scovare i furbetti della situazione.
Prima o poi li beccano. Ignorarli significherebbe perdere qualsiasi traccia per risalire e comunque perdere contenuti di chi usa frame con js (ce ne sono di sicuro in giro).
Tengono i dati conservati, devono solo interpretarli.
Altrimenti mi vien da pensare che per scovarne alcuni, in passato, si sono messi a controllare a mano tutti i siti. Cosa alquanto impossibile.

Cmq io ho detto la mia...magari mi sbaglio ed è come dice agoago.
Mi suona comunque un po strano.
Dalla mia esperienza ho capito che ignorare dei dati (e quindi non tracciarli) è sempre sbagliato.
Il filtro lo fai dopo, in visualizzazione o esecuzione o interpretazione di quello che hai setacciato.
Conoscendo le menti che ci sono dietro G dubito che facciano errori grossolani.
Io sono sempre dell'idea di non fare pagine apposta per i motori.
Il sito deve valere per gli utenti e bisogna mostrare ai motori quello che l'utente vede altrimenti rischi di vanificare le visite provenienti dalle ricerche (contenuto diverso dalla ricerca=>chiusura sito)

[Everfluxx]

agoago

Ed i motori non possono farci nulla, viceversa anche le loro inserzioni sarebbero spiderizzate

No, non lo sarebbero: http://pagead2.googlesyndication.com/robots.txt

[agoago]

Salatti.NET scrive:

"Si potrebbe anche inserire nell'iframe il contenuto vero e proprio e nel resto della pagina qualcosa di ottimizzato per i motori..."

Centro.

---

Franseo, FuSioNmAn ribadiscono lo stesso concetto, per i motori sarebbe facilissimo escludere cosa gli pare come gli pare... via ip, dominio ecc ecc.

Tuttavia nessuno dice che non ne siano in grado, ma invece che non possano farlo, sarebbe considerato "illegittimo".

Un bot non puo' fare eccezzioni, se si scoprisse che un motore interpretasse un qualcosa a proprio uso e consumo sarebbe uno scandalo.
Affamati e furbi (i motori) per certo, pazzi suicidi no di sicuro.

---

Domenico.biancardi scrive:

"Mettiamo che attuiamo un tricks del genere e che un giorno mettano nell'algoritmo una stupida funzioncina in grado di bannare chi utilizza questo tricks... allora a questo punto che si fa?"

Tutte le pagine che usano adsense sarebbero bannate. Impensabile.

-------

Joker197cinque scrive:

"Va da sè cmq che come ogni hack che si rispetti, è destinato ad avere un periodo di vita più o meno lungo...e non vorrei essere tra quelli che verranno "presi"..."

Dubbio legittimo... se non fosse che questo "hack" lo hanno concordato tra di loro i 3 motori, a loro uso e consuno.
Hanno legittimato-stabilito una tecnica che permettesse alle pagine che contengono i loro annunci pubblicitari di non poter essere spiderizzate per il testo degli annunci proposti dalle pagine.

Insomma, suvvia, cerchiamo di capirci.

I motori propongono i loro annunci pubblicitari?
Possono permettersi che il testo, i link dei loro annunci influenzino il contenuto-valore della pagina che mostra questi annunci?

NO! Non possono, potevano, potranno. Falserebbero mezzo web.

Potrebbero fare un'eccezione per il codice-testo dei loro annunci??

NO! Non possono, potevano, potranno. Sarebbe un suicidio di immagine, come informatici, come societa' informatiche. Uno "sputtanamento" assoluto di quelle regole non scritte, ma ovunque sottintese, che regolano indistintamente il calcolo dei sort.

-------

FuSioNmAn scrive:

"....Dalla mia esperienza ho capito che ignorare dei dati (e quindi non tracciarli) è sempre sbagliato.
Il filtro lo fai dopo, in visualizzazione o esecuzione o interpretazione di quello che hai setacciato.
Conoscendo le menti che ci sono dietro G dubito che facciano errori grossolani...."


FuSioNmAn, scusa l'espressione volgare: ma che cazzo!
Ignorare dei dati e' sbagliato?? Ma certoooooooooo!!
Usare filtri a posteriore e' importante ?? Ma certooooooo!
G allora farebbe errori grossolani??

Certo che Google e compagni di meranda fanno un errore madornale, ma non per ignoranza, ma per scelta.
Ignorano dei dati ed adattano i loro filtri perche' non possono fare altrimenti.
E' un male necessario, devono poter ignorare i loro annunci pubblicitari, e questo e' il compromesso accettato comunemente, per quanto possa dargli il vomito.

Non hanno scelta, ne ora ne mai. Potranno cambiare sistema mille volte, ma ci sara' sempre una tecnica concordata dai motori per non spiderizzare i loro annunci nelle pagine. Ora e fra mille anni.

---------

Everfluxx ricorda che per non essere spiderizzati basta il robots.

Il primo spider ignora il robots, ma il bot eseguendo il contenuto letto dal primo spider vede se questo richiama un testo che non e' presente nella pagina spiderizzata.

Ho scritto un post in merito un anno fa, se una pagina richiama un testo bloccato via robots, la pagine viene penalizzata.
Questo perche' il primo spider vede un testo diverso dal testo catturato dal codice della pagina spiderizzata eseguito localmente in seconda battuta dal motore.

Ma se si mette un testo dentro un iframe richiamato da un js, il testo letto dal primo spider ed eseguito poi localmente dal motore corrisponde perfettamente, coincidono.

Un testo esterno bloccato via robots, ma visibile eseguendo la pagina che lo richiama, e' penalizzante, un testo bloccato o no via robots ma richiamato via iframe+js non e' visto quando il motore esegue localmente cosa ha spiderizzato il suo spider.

[FuSioNmAn]

agoago

Salatti.NET scrive:


FuSioNmAn scrive:

"....Dalla mia esperienza ho capito che ignorare dei dati (e quindi non tracciarli) è sempre sbagliato.
Il filtro lo fai dopo, in visualizzazione o esecuzione o interpretazione di quello che hai setacciato.
Conoscendo le menti che ci sono dietro G dubito che facciano errori grossolani...."


FuSioNmAn, scusa l'espressione volgare: ma che cazzo!
Ignorare dei dati e' sbagliato?? Ma certoooooooooo!!
Usare filtri a posteriore e' importante ?? Ma certooooooo!
G allora farebbe errori grossolani??

Certo che Google e compagni di meranda fanno un errore madornale, ma non per ignoranza, ma per scelta.
Ignorano dei dati ed adattano i loro filtri perche' non possono fare altrimenti.
E' un male necessario, devono poter ignorare i loro annunci pubblicitari, e questo e' il compromesso accettato comunemente, per quanto possa dargli il vomito.

Non per tutti è così scontato. E magari da quell'affermazione qualcuno ha capito che sta sbagliando a tracciare i dati del suo sito.
Ad ogni modo io intendevo la stessa cosa e cioè che quelli di google non sono dei fessi per cui se agiscono in un modo c'è un motivo.
Poi più su ho affermato che ignorano i loro messaggi tramite controlli su loro stessi e non escludendo l'intero uso di iframe.
Forse non mi sono spiegato bene.

[Everfluxx]

agoago

Everfluxx ricorda che per non essere spiderizzati basta il robots.

Il primo spider ignora il robots, ma il bot eseguendo il contenuto letto dal primo spider vede se questo richiama un testo che non e' presente nella pagina spiderizzata.

Ho scritto un post in merito un anno fa, se una pagina richiama un testo bloccato via robots, la pagine viene penalizzata.
Questo perche' il primo spider vede un testo diverso dal testo catturato dal codice della pagina spiderizzata eseguito localmente in seconda battuta dal motore.

Ma se si mette un testo dentro un iframe richiamato da un js, il testo letto dal primo spider ed eseguito poi localmente dal motore corrisponde perfettamente, coincidono.

Un testo esterno bloccato via robots, ma visibile eseguendo la pagina che lo richiama, e' penalizzante, un testo bloccato o no via robots ma richiamato via iframe+js non e' visto quando il motore esegue localmente cosa ha spiderizzato il suo spider.

Mi venisse un colpo se ho capito una parola di quello che hai scritto, ago.

Vado per tentativi: tu stai dicendo che il motori non indicizzano i contenuti JavaScript perché altrimenti, così facendo, indicizzerebbero anche i propri annunci (es. AdSense). Giusto?

Io dico che per impedire l'indicizzazione degli annunci AdSense basta e avanza il Disallow nel robots.txt che ho citato sopra.

Tu dici che i motori hanno modo di "eseguire localmente" (?) gli script per verificare se il contenuto HTML statico + quello generato dinamicamente corrisponde a quello che vede l'utente, renderizzato dal browser. In caso contrario, è JS-based cloaking, e come tale va bannato. Okay.

Poi dici che un modo per aggirare questo controllo è includere il testo che si desidera rendere "invisibile" ai motori in un iframe creato per mezzo di una funzione JavaScript, tecnica utilizzata per visualizzare gli annunci AdSense (vedi http://pagead2.googlesyndication.com/pagead/show_ads.js), e che questa è la tecnica che Google ha dovuto adottare appunto per impedire l'indicizzazione dei propri annunci da parte di altri motori di ricerca. Tale tecnica costituisce, a tua detta, una sorta di "backdoor" che permetterebbe ai webmaster di rendere invisibili a Google parte dei propri contenuti.

Io credo che esistano modi più efficaci (e semplici) per impedire l'accesso ai contenuti degli annunci AdSense, anche da parte di motori che non rispettano robots.txt.

Inoltre, se ammettiamo che Google sia in grado di eseguire il codice JavaScript per verificare la rispondenza fra quanto renderizzato dal browser e quanto "visto" dal bot, allora non vedo perché non dovrebbe essere tecnicamente in grado di renderizzare anche il contenuto di un iframe creato per mezzo di una funzione JavaScript.

Infine, per mia esperienza, i maggiori motori di ricerca (Google, Yahoo!, Live, Ask) rispettano quasi religiosamente robots.txt (Slurp ogni tanto scazza, ma innocentemente).

[agoago]

Mi sono spiegato poco chiaramente.

Passa lo spider e legga il contenuto della pagina A.
La pagina A contiene dei richiami a file esterni, per dire dei js.
Questi file sono inibiti all'indicizzazione per via del robots.txt.
Questi file esterni, ovviamente non sono letti dallo spider, in quanto il robots lo vieta.

Nessun trucco nessun inganno da parte di nessuno, da sempre funziona cosi'.

Fin qui tutto normale.

-----

Ora immaginiamoci che i motori abbiano anni fa deciso di eseguire il codice spiderizzato delle pagine, per dire la pagina A.

Eseguono la pagina A, e la pagina A richiama dei file esterni, file che magari inseriscono del testo nuovo rispetto al testo letto dallo spider.

Quando eseguono localmente la pagina A, il testo dei file js appare al motore, perche' il robots inibisce la spiderizzazione dei js, ma non inibisce che il js sia eseguito da un utente, vedi motore.

-----

A questo ipotizziamo che nel testo spiderizzato della pagina A ci sia solo la parola cane.

Il testo che appare invece nella pagina A, dopo averla eseguita localmente dal motore e' cane - gatto.

La parola gatto infatti viene prodotta in A dal file js richiamato da A.

Fin qui tutto semplice.

---------

Cosa succede adesso?

Per prima cosa il motore si arrabbia, perche' constata che il wm della pagina A ha falsato cosa percepito dal motore rispetto cosa percepisce-vede un utente.

Il motore e' in grado di capire se cosa inibito sia voluto o indipendente dal wm, per dire Adsense non penalizza il wm, in quanto il wm si attiene allo sponsor e non e' una sua libera scelta.

Se un wm inibisce sul suo sito Z un file richiamato da A (pagina A sul sito Z) file posto sempre sul sito Z... (il famoso js bloccato dal robots) al motore piace meno, ed eseguiendo la pagina A il motore se ne accorge, e penalizza.

--------

Questo il primo aspetto.

I motori tuttavia non potevano sprecare una marea di risorse per capire se il testo nuovo richiamato dall'estermo dalla pagina A appartenesse a file esterni od interni rispetto al sito Z (che ospita la pagina A).

Dovevano trovare un modo semplice, una tecnica concordata, per escludere immediatamente il "nuovo testo" di ogni pagina spiderizzata qualora appartenesse, fosse prodotto, da file esterni "loro".

Da qui l'introduzione del iframe richiamto dal js.

Il testo dentro l'iframe richiamato da un js non e' visibile con il "select all" e pertanto viene escluso immediatamente nella-dalla fase di controllo incrociato tra cosa ha letto lo spider e cosa ha visto il motore che ha eseguito localmente quanto letto dal suo spider.

Siccome nessun wm stampa gatto in una sua pagina mettendo la parola gatto dentro un iframe richiamato da un js, il motore sa che, statisticamente, se vedesse gatto oltre che cane nella pagina A dovra' analizzare la situazione, mentre se gatto non lo vede e' perche' sara' all 99,999 % un testo prodotto da Adsense e simili.

---------

Ora ovvio che i motori potrebbero rinunciare a questo "trucco" per capire meglio cosa fa un wm, ma cosi' facendo dovrebbero usare immense risorse, perche' in questo caso dovrebbero sempre andare a confrontare se un testo nuovo appartenga a certi js preferenziali o ai js dei wm.

Con questo sistema invece hanno risolto la questione.

Quando fra x anni troppi wm userenno questa tecnica potranno stabilire un nuovo modo per evitare che i "loro" testi rientrino-appesantiscano il controllo incrociato tra spiderizzato ed esecuzione di quanto hanno spiderizzato.

--------

Si potrebbe obbiettare che protrebbero levare, prima di eseguire cosa hanno spiderizzato, tutti quei file esterni che appartengano a chi e' di loro interesse.

Purtroppo questo sistema, che sarebbe per loro perfetto e molto pratico, non e' deotologicamente permesso.

Un motore puo' scegliere qualsiasi strada per analizzare il web, ma qualsiasi essa sia deve valere universalmente, senza eccezioni.

Iframe+js e' una strada, strada che chiunque di noi puo' percorrere, non e' una strada privata intestata ai soli motori.

Trattare-escludere-valorizzare il testo loro e dei loro partner, in modo anamalo rispetto a qualsiasi altro testo, sarebbe uno scandalo che nessun motore potrebbe permettersi.

Per questo motivo FuSioNmAn i motori non possono ignorare:

"....i loro messaggi tramite controlli su loro stessi e non escludendo l'intero uso di iframe."

Sarebbe' "de facto" un suicidio.

[Everfluxx]

My $0.02:

1. Il fatto che noi non abbiamo evidenza che i motori facciano una determinata cosa non significa che non la facciano.
2. Il fatto che i motori non facciano una determinata cosa non significa che non siano tecnicamente in grado di farla.

[agoago]

Everfluxx scrive:

"Il fatto che noi non abbiamo evidenza che i motori facciano una determinata cosa non significa che non la facciano."

Per questo motivo e' preferibile basarsi sulla logica delle cose, sulla teoria, piuttosto che sul visibile-tangibile di ogni giorno.

A volte pero' i motori fanno cio' che non solo non siamo in grado di "vedere", ma anche cosa non siamo in grado di prevedere-supporre, capita spesso nel caso dei brevetti.

I seo lavorano con cosa vedono e cosa suppongono possa essere, di piu' non si puo' fare.




"Il fatto che i motori non facciano una determinata cosa non significa che non siano tecnicamente in grado di farla."

Indiscutibile, ma ci sono casi in cui non conta cosa sanno-decidono di fare i motori, ma cosa non possono permettersi di fare.

E per esempio, trattare il proprio codice diversamente da un qualsiasi altro codice sarebbe deontologicamente aberrante, anche se tecnicamente potrebbero farlo in qualsiasi momento.