Potenziale test di verifica: dns e motori

[agoago]

Per puro caso mi sono imbattuto in questa particolare situazione:

Un mio vecchio sito era puntato ad un numero ip, numero ip dedicato solo a quel sito, per esempio: miosito.xyz su 100.100.100.100

Poi per fare un test ho fatto coincidere lato server un nuovo dominio con il contenuto del vecchio, come dire lato dns il sito miosito.xyz e nuovosito.xyz puntavano sullo stesso contenuto, ed avevano lo stesso ip.

Ho valutato, cercato di capire, come ragionavano i motori per filtrare i contenuti duplicati, fatte le mie deduzioni ho finito il test.

Fin qui tutto nella regola.

---------

Finito il test ho voluto spostare il sito storico miosito.xyz su un nuovo ip, e lasciare il nuovosito.xyz puntato sul vecchio ip, quello da sempre appartenuto a miosito.xyz.

Ovviamente ho rimosso le modifiche lato server, cosi' da avere miosito.xyz che puntava sul nuovo ip, e con i suoi contenuti storici, mentre nuovosito.xyz puntava sul vecchio ip ma senza contenuti, nessun redirect, sito vuoto, solo nome di dominio.

Passano 2 settimane e cosa noto? Noto una situazione che non mi sarei aspettato.

Tutti gli spider (y g m) continuano a passare su nuovosito.xyz cercando di spiderizzare le vecchie url, url che pero' da quella modifica non esistevano piu'!!

------------

Tutto normale penserete voi... ma e' un limite pazzesco da parte dei motori, un limite tale da definirlo baco.

-----------

Spiego meglio.

Ho il sito A con 1000 pagine, ip 100.100.100.100

Poi compro il nome di dominio B, lo faccio puntare lato server ai contenuti del sito A e lo punto sempre sull'ip 100.100.100.100

I motori scelgono quali delle 1000 pagine far apparire nello loro serp attribuendole-filtrandole-assegnandole ora al sito A ora al sito B, questo non conta.

Poi A lo sposto su nuovo ip mentre il nuovo nome di dominio lo lascio sul vecchio ip (che era di A).

Aggiorno il dns.

Ora A ha sempre le sue 1000 pagine, mentre B e' un sito vuoto, del resto lo e' sempre stato, ma prima puntava ai contenuti di A, ora non punta a nulla, un nome di dominio, un ip, nessun contenuto.

------

Passano 2 settimane dalla modifica del dns e dall'aver levato ogni rapporto tra il contenuto di A e B e cosa succede??

Per i motori nulla, continuano a cercare sia su A che su B le stesse url, le stesse pagine.

Ma B non ha link, e' nuovo, e' vuoto, e' solo un nome di dominio.

Ma se ora, da adesso, su B creo una nuova pagina chiamandola come una pagina del vecchio sito A i motori, tutti i motori me la leggono e prendono. Ma quella pagine non e' neanche lincata dalla home di B, esiste solo perche' nella testa dei motori esisteva prima, in quanto copia virtuale di A.

-------------

Mi spiego ancora meglio, vediamola dal lato pratico.

Ho un sito storico, tanti bl, tanto contenuto, ecc ecc

Poi apro un nuovo sito, hai voglia che i motori mi spiderizzino e prendano le pagine del nuovo dominio, ci vuole tempo, fatica, ecc ecc

Allora faccio coincidere i 2 siti, i 2 siti sono i miei, sono sullo stesso server, io manovro il dns, insomma posso fare cosa mi pare...

Tempo poco i motori vanno "ciucchi", per loro vecchio e nuovo sono la stessa cosa, sceglierenno a chi assegnare le pagine, questo non conta...

Poi dopo qualche mese divido il nuovo dal vecchio, al vecchio sito assegno un nuovo ip, al nuovo l'ip del vecchio.

Il vecchio rimarra' con i suoi contenuti storici, al nuovo invece creo tante pagine quante quelle del vecchio, duplico il contenuto-le url di A e le metto su B, ma stando ben attento a modificare su B il contenuto rispetto ad A, il contenuto, non la struttura che sara' identica a quella di A.

Tempo poco mi ritrovero' con 2 siti, A e B spiderizzati ed inseriti, ma ora con tutte le pagine di entrambe spiderizzate.

I motori trovando adesso contenuti differenti tra A e B non escluderanno piu' una url di A in favore di una url di B (o viceversa) ma prenderanno entrambe...

-----------

Ma A aveva una sua logica di esistere, B in realta' adesso e' pure orfano, non dovrebbe in teoria manco essere considerato dai motori.

Sembrerebbe che i motori posseggano come una memoria stoirica, se gli faccio credere che B e A sono la stessa cosa, anche quando poi li divido, separo B da A, per loro B dovra' essere spiderizzato e valutato ancora per tutte le url che in realta' prima erano di solo di A, ma che ora furbescamente ho duplicato e modificato anche per B.

-------------

Ma se oltre a B facessi coincidere anche C D E F G H ecc ecc su A?

Potrei ritrovarmi tempo un paio di mesi con 100 domini spiderizzati e valutati per decine di migliaia di pagine ognuno, premesso che il sito "padre" A abbia decine di migliaia di pagine.

Quando i 100 siti "figli" sono spiderizzati dai motori sistematicamente per tutte le url di A duplico il contenuto di A sui 100 siti, poi modifico per tutti i 100 siti i contenuti lasciando la struttura originale.

Il dubbio che ho e' che se i motori si basano sul numero ip sarei costretto a lavorare in modo geometrico, B prende l'ip di A e A uno nuovo.
Poi C prende l'ip nuovo di A e D quello vecchio di B, poi B nuovo e A nuovo. Poi E prende ip di C, F di D, G di B e H di A, poi nuovo ip per A B C D, e via discorrendo..

--------------

Provero', di fatto e' un loro grosso limite, ed e' sfruttabile.

Per capire perche' sia un grosso limite dei motori basta ragionare semplicemente su questo: perche' un motore dovrebbe cercare di spiderizzare decine di migliaia di pagine di un sito che da un certo momento non ha piu' contenuto??

Ovvio lo fa perche' l'aggiro, ma l' "aggiro" perche' pecca in qualche suo sincronismo, perche' anche se cambio dns e configurazioni lato server il motore se ne rende conto molto dopo, troppo dopo.

E' una debolezza non da poco, mi basta un mio sito forte per crearmene molti altri, ovviamente meno forti perche' senza bl, ma comunque efficaci perche' inseriti, per un numero di pagine sproporzionato al reale valore dei nuovi siti, nelle serp dei motori, anche se i siti sono orfani.

-------------

Lo so che il tutto sembra complicato ed indaginoso, ma e' semplice in quanto ha una sua logica. Un motore prende atto di una situazione, in base a quella si muove.

Se la situazione cambia dall'oggi al domani il motore basandosi su una sua memoria storica continua a lavorare (spider) in base alla sua vecchia fotografia, e non aggiornadosi in tempo reale. Si comporta cosi ' per ovvi motivi di praticita', efficenza ed ottimizzazione delle risorse.


Si comporta' cosi' perche' non puo' fare diversamente, i dns hanno tempi e modi di propagazione che differiscono da server dns a server dns, linea a linea, register, e via discorrendo.

Per far fronte a tutto cio' oggi si prendono dei tempi di riverifica lunghissimi, settimane se non mesi, tempi che se, in futuro, fossero anticipati sistematicamente dai wm gli creerebbero problemi mostruosi da risolvere senza, da parte loro, una verifica incrociata e sistematica di ogni reale cambiamento delle configurazioni dei domini.

---------

Non entrero' ulteriormente nel merito di questa questione, ognuno la valuti e la giudichi facendo le prove che ritiene opportuno, ma nel farlo tenete conto che i motori se ne fregano altamente se un sito e' orfano o meno.

Ho decine di siti di test senza un solo link esterno, tutti perfettamente inseriti nelle serp, in bassa posizione ovviamente, ma portano accessi.

Il mio problema era come farmi spiderizzare ed inserice 100.000 pagine di un dominio senza che lo stesso ricevesse un solo link esterno, beh, un modo l'ho trovato, forse varra' per solo per qualche mese, magari per alcuni motori varra' per sempre, non mi pongo il problema.

-------------

"Prima" partivo dal presupposto, dalla convinzione che per superare i motori dovessi anticiparli, non inseguirli, ma anticiparli.

Questa convinzione era cosi' radicata in me che poco a poco, a lungo andare ho sempre dato meno peso alle cose pratiche, prediligendo quelle teoriche.

Il limite in questo mio ragionamento era che mi sembrava cosi' logico e scontato da non dover cercare altre strade. Non pensavo-capivo che se una cosa e' vera, e' logica, e' inconfutabile, non significa che necessariamente rappresenti l'unica strada percorribile.

Capito questo limite il percorso e' diventato cosi' evidente e semplice da farmi male, almeno se penso agli anni sprecati.

Non solo per sfruttare i motori devo anticiparli ma devo anche capire e poi sfruttare cosa non possono fare.

Magari non possono e/o potranno mai fare una data cosa per motivi tecnici, per motivi legali, per logica o compromessi di ottimizzazione delle risorse o per 100 altri possibili motivi.

O possono-potranno fare alcune cose ma sempre tenendo conto, valutando, rispettando alcuni range di tempo. Tempi imposti dalla natura stessa del web.

------------

Quando Low dice che per essere premiati dai motori un sito deve essere perfezionato e migliorato in tutti i suoi aspetti, anche quelli che apparentemente nulla ad oggi hanno a che fare con le tecniche di posizionemanto, esprime un concetto tanto semplice quanto logico, tanto logico quanto nuovo, ma era li' da sempre, bastava considerarlo e farlo proprio.

Dopo, quando le cose si sanno, sembrano tutte banali, scontate, ma un conto e' vedere la montagna, un conto capire il significato della montagna. Poi arriva Low e ti dice, la montagna significa-rappresenta questo, e tutti da quel momento la valutano in modo nuovo, ma senza dar peso alla cosa in quanto quella nuova idea-concetto di montagna sembra cosi' logica-intuibile da sembrare scontata e banale.

Peccato che nessuno l'avesse formalizzata prima.

----------

Stesso discorso sull'anticipare i motori.

Tutto cio' che e' logico, vero ed intuibile ci porta ad accettarlo pedissequamente, senza andare oltre.

Ma dobbiamo andare oltre.

Ecco che allora ci si domandera': ma se non fossi in grado di migliorare il mio sito in ogni suo aspetto? Se non fossi in grado di anticipare i motori?

E' vero che migliorare il sito lato utente o anticipare i motori e' importantissimo, ma se non ci riuscissi? Sono spacciato?

"Prima" avrei risposto di si, ora ho dei dubbi.
Esistono altre strade rispetto le principali, strade e viuzze non segnate sulle cartine.

Tenere sempre ben presenti le prime senza mai smettere di cercare e tracciarne di nuove fa del super seo o del seo teorico un super seo teorico esploratore.

[paolino]

in effetti hai centrato il problema

tutti i black hat seo hanno sempre detto che bisogna capire cosa i motori non possono fare e a questo punto rigirare il coltello nella piaga....

d'altro canto nel caso che ci hai mostrato i motori devono tener conto per svariati motivi sia dell'URL che dell'IP e quando il motore si trova che A e B puntano allo stesso IP lui creerà una tabella tipo A -> xxx.xxx.xxx.xxx e B -> xxx.xxx.xxx.xxx

in pratica le 2 entry A e B punteranno all'unica entry xxx.xxx.xxx.xxx

così facendo si crea una corrispondenza diretta e quindi finisce che A=xxx.xxx.xxx.xxx, B=xxx.xxx.xxx.xxx e xxx.xxx.xxx.xxx=1000 pagine di contenuti....è chiaro che ne deriva A=1000 pagine di contenuti e B=1000 pagine di contenuti.....

in pratica lui si trova con un'inconsistenza tra la tabella degli URL e quella degli IP e cerca di colmarla riaggiustando i valori dell'entry B nella tabella degli URL.....

purtroppo resta il fatto che questa cosa può essere usata come sotterfugio ...

ma si sa che nella SEO non nasciamo tutti uguali.....

del resto anche nella società accade lo stesso; c'è chi nasce povero e chi nasce figlio di Rockfeller

[uMoR]

d'altro canto nel caso che ci hai mostrato i motori devono tener conto per svariati motivi sia dell'URL che dell'IP e quando il motore si trova che A e B puntano allo stesso IP lui creerà una tabella tipo A -> xxx.xxx.xxx.xxx e B -> xxx.xxx.xxx.xxx

in pratica le 2 entry A e B punteranno all'unica entry xxx.xxx.xxx.xxx

Boh, non so non mi convince.
Neanche il discorso di agoago mi convince appieno, penso che ci sia qualcosa che ignoriamo ma che spiega il problema.

Il problema è che studiarci sopra è un casino, vuoi per via del protocollo dns, vuoi perchè è difficile imbroccare il test giusto.

Per intanto è vero si può sfruttare la cosa per far indicizzare 100.000 spam engine, ma se sei bannato come webmaster ?

[paolino]

per essere bannato come webmaster vuol dire che google dovrebbe leggere i record whois e sapere a chi è intestato il dominio....

nel caso degli spamengine, dietro ci sono sempre delle società, che quindi possono permettersi di intestare domini a gente diversa.....per loro il problema non si pone....

l'unica cosa sarebbe bannare un'intera classe C di indirizzi.....questo però è problematico in quanto se google e gli altri usassero tale metodo finirebbero per bannare automaticamente tantissimo siti con ip condivisi o facenti capo allo stesso hoster....

per quanto riguarda la spiegazione che ho dato, ho solo cercato, in base a ciò che so della struttura dei motori, di capire come mai il problema di cui parlo agoago esiste.....è chiaro che le cause potrebbero essere altre, però resta il fatto che il problema c'è e non è un buco, ma un'autostrada

[uMoR]

per essere bannato come webmaster vuol dire che google dovrebbe leggere i record whois e sapere a chi è intestato il dominio....

Lo fa da secoli..

nel caso degli spamengine, dietro ci sono sempre delle società, che quindi possono permettersi di intestare domini a gente diversa.....per loro il problema non si pone....

Non capisco bene cosa vuoi dire.
Se il dominio è intestato alla società è intestato alla società e basta.
Quindi invece che fare:
if (webmaster-paolino = spammer) then ban
farà
if (webmaster-società = spammer) then ban

Semplice non trovi ?

[paolino]

si ma una società che fa spamengine difficilmente intesterà i domini a se stessa....

magari alcuni possono essere intestati a dei dipendenti, altri a dei prestanome....

oppure possono aprire delle società di comodo in paradisi fiscali (che costano sui 900 €) e intestarle a queste ultime.....

tu stai ragionando da webmaster che usa il proprio sito per guadagnare quei 1000 € al mese, ma qui si parla di società che guadagnano sui 1000-1500 € al giorno solo su Adsense.....

società che poi gestiscono pure siti pornografici, p2p e cose più o meno redditizie, ma si parla sempre di almeno 50000-60000 al mese.....

[uMoR]

Una domanda per agoago:

il test è valido solo nel caso di server dedicato o anche per un hosting qualsiasi ?

Io penso che la risposta giusta sia la prima (se non si è capito mi riferisco al discorso virtualhost)

[bartender]

Test interessante, ma non ci hai detto come vengono filtrati i due domini dai motori.

il dominio A vecchio ha più o meno pagine indicizzate del dominio B?

Il dominio B nuovo ha più o meno pagine indicizzate del sito A?

Quale dei due porta più accessi?

il fatto che i motori spiderizzino il sito B in cerca delle stesse pagine anche molto tempo dopo, non è una novità.
Il fenomeno è noto ma essere spiderizzati non significa presenza nelle SERP certo cambiando i contenuti del sito B mantendo la stessa struttura di A potrebbe far salire B nelle SERP, ma questo non è probabile.

Dovresti dirci anche come si comportano i motori dopo il cambio dei contenuti sul sito B che punta al vecchio IP di A per completare lo studio.

Ovviamente se ne hai voglia.

[bartender]

Ancora altre due domandine per chiarirmi un po le idee.

Hai detto che hai fatto puntare il dominio B nuovo sull'IP del dominio A vecchio.

Come lo hai fatto Parcheggiando il dominio attraverso Cpanel, Plesk o quale pannello di controllo.

Nel puntare il dominio B nuovo sul dominio A lo hai settato sugli stessi nameserver (ns1.dominio.ext, ns2.dominio.ext) oppure lo hai settato su un altro nameserver che risiede sullo stesso IP?

Scusa le tante domande ma ho un test in corso sui nameserver e un tuo feedback in merito sarebbe davvero gradito.

[kerouac3001]

Ho appena letto questo tuo post che mi era sfuggito..molto interessante agoago

Credo di aver fatto una cosa simile ma inconsciamente..adesso dopo aver letto questa tua considerazione, vedrò se si tratta dello stesso caso o se google mi ha indicizzato 400.000 pagine in 5 mesi per simpatia

[agoago]

Come premesso:

"Non entrero' ulteriormente nel merito di questa questione"

pertanto mi scuso se non rispondo a varie ed eventuali.

Riporto pero' cosa ho scoperto un paio di giorni fa.
Un mio sito con oltre 5 anni di anzianita', sito di poco o nessun valore per G, sito senza una sola pagina, oggi mi da pr7.

Il fatto e' che non ho usato gamole via dns, da link:sito.est risulta tramite G ricevere quasi 400 link importanti, ma nessuna pagina che risulta lincarlo lo linca realmente.

Il suo ip e' lo stesso da 6 anni, sito "svuotato" per poi abbandonarlo.

Oggi e' un sito vuoto con pr7 senza avere manco la home, non un htaccess, non un server condiviso con altri siti di valore.

Qualcuno nel mondo ha fatto "casino" con il dns e il mio sito si e' beccato pr7.


Ho ricevuto pr7 per un sito di spam per adulti e poi da me svuotato, da G.

Con site:dominio.est G mi da quasi 3000 pagine, ma in realta' non ce ne e' una da anni ed anni, infatti scrive per ogni risultato: Supplemental Result

Insomma dominio con pr7, 0 pagine dentro ma per G 3000 pagine e pr assurdi.

Ed io non lo tocco da oltre 6 anni....

-------------

Credo sia successo qualcosa del genere:

Il mio hosting center mi ha assegnato anni fa un ip per quel mio sito assicurandomi che lo usavo solo io.

Poi, probabilmente a corto di ip ha assegnato lo stesso ip ad un sito importante.

Quel sito in seguito e' defunto. Ma essendo io il primo possessore di quel ip il reverse dns assegna al mio sito il possesso dell'ip.

Ora che quel sito non esiste piu' per G il mio sito e' l'unico a coincidere con quell'ip e mi ha assegnato tutti i link a quel sito importante.

Risultato: da pr0 a pr7. Da 0 pagine a 3000 pagine catalogate anche se inesistenti da anni.

Di fatto ho avuto l'ennesima conferma che G "subisce" le variazioni del dns, e' un baco pazzesco.

Per chi ha pochi domini ed usa pochi ip questa cosa non gli fa caldo o freddo, ma per chi gestisce piu' e piu' domini ed ip ha del incredibile.

Non parliamo per chi specula su domini scaduti ricomprati...

E' peggio del bug dei link dai blog, peggio del 302, peggio che peggio non si puo'.

---------

Se avessi letto quanto sopra, su un post qualsiasi, non gli crederei... se ne spara troppe, troppi scribacchini spinti da amor di protagonismo.

Pero' lo scribacchino egocentrico, lo scribacchino malato di protagonismo questa volta sarei io. Dovrei essere io. Azz...

Nessun problema a dimostrare quanto dico, pubblicamente. Pensate che Google si fara' vivo su questo argomento?

------------

Non penso proprio. I grandi motori di ricerca su questi aspetti sono miserrimi.

Per me miserrimo significa "un misero oltre il misero".

Mi si permetta la battuta, come dire: sono povero ma cosi' povero che se possedessi nulla mi sentirei ricco.

-------------

A forza di sentirsi criticati prima o poi usciranno allo scoperto. Se ritenessi che qualcuno mi critica ingiustamente cercherei di far valere le mie ragioni. In ogni sede opportuna.

O semplicemente via forum.

Ma non rispondono. Rimarcano in questo modo che loro sono "superiori" a queste "diatribe" da piccoli seo.

Sono superiori, vanno per la loro strada, senza mai dover rendere conto di cosa fanno.

Beh, ne hanno tutti i diritti. Non rimprovero questa loro politica aziendale. Pero' non mi si critichi se prendendone atto me ne faccia forza.

Gioco forza.

Nessun problema, vediamo fino a che punto la loro presunzione superera' la mia.

[kerouac3001]

agoago

Riporto pero' cosa ho scoperto un paio di giorni fa.
Un mio sito con oltre 5 anni di anzianita', sito di poco o nessun valore per G, sito senza una sola pagina, oggi mi da pr7.

Il fatto e' che non ho usato gamole via dns, da link:sito.est risulta tramite G ricevere quasi 400 link importanti, ma nessuna pagina che risulta lincarlo lo linca realmente.

Di questo ne avevamo già discusso..era capitato sia a me sia a non ricordo più chi.

Forse giorgio si ricorda, ne avevamo parlato con lui.

[paolino]

ma il sito in questione ha un IP dedicato?

perchè se è così è stato chi gestisce il servizio di hosting a fare il casino....dare il tuo IP ad un altro non è una cosa molto professionale....e se tu avessi voluto riprendere il sito mentre il tuo IP se ne andava a spasso?

avrebbero fatto una figuraccia....questa cosa però non succede su quegli host che hanno IP condivisi e supportano HTTP 1.1 (altrimenti sarei ricco, il mio host ha 731 siti )

[agoago]

Ne ho trovata un'altra simpaticissima.

Avevo comprato un nome di dominio, anni fa.

Poi non essendomi mai deciso si usarlo non lo avevo neanche settato sul server dns, insomma compro il dominio e basta, nessun ip associato a quel dominio, cosa poco professionale ma fatta senza pensarci.

Oggi faccio un controllo su G e per lui il dominio esiste. Ok, lo avra' visto interrogando i register.

Controllo se qualche pagina al mondo contiene quel nome o magari un link per qualche errore di scrittura ma G mi da 0. Nessun link, nessuna pagina che contiene quel nome di dominio inventato.

Ok, allora l'ha trovato tramite db dei register, nessun problema.

La cosa simpatica e' che per G quel dominio inesistente ha pr1.

Mi sa che sono incappato in uno dei tanti taroccamenti random del reale valore del pr da parte di G con lo scopo di non mostrare al 100% il vero prodotto dei sui algoritmi.

Peccato che questa volta il trucco l'abbia applicato su un sito mai esistito, su un dominio che non ha ip da anni...

[Rinzi]

agoago è un .COM?