Congetture sull’importanza della distribuzione nel tempo del numero di BL

[beke]

@Desertstorm: la formula ed il principio su cui si basa il calcolo del pagerank sono noti. Non è necessario sapere quanti link servano per raggiungere un determinato PR, per utilizzare fruttuosamente questa nozione basta capire che è preferibile concentrarsi sulla ricerca di bl da documenti ad alto PR, piuttosto che trovarne tantissimi a basso PR.

@Nicola: non so con certezza (ma credo non lo sappia nessuno) se le variazione di certi parametri nel tempo siano davvero considerate negli algoritmi di ranking, la mia impressione è che lo siano.

Nel documento sui dati storici viene detto che alcuni modelli di incremento e decremento possano essere "congelati" in curve o modelli con i quali confrontare gli andamenti dei documenti da esaminare.

Il dubbio che viene subito è che esistono settori diversi in cui i comportamenti degli stessi utenti sono profondamente differenti, però potrebbe essere ipotizzabile la costruzione di una serie di curve che non abbiano precisi riferimenti temporali nè in valore assoluto.
Quello che conta è la fonta la forma della curva insomma.

Non credo che da sola una analisi di questo genere possa definire l'autorevolezza di un sito, però potrebbe dare alcune indicazioni, una curva di accumulo dei backlink decrescente fino adu un valore molto basso potrebbe aiutare il motore di ricerca a capire che a quel documento vada preferito uno che ha in quel momento lo stesso numero di backlink ma che invece li sta guadagnando.

[nbriani]

paocavo

Il fatto di considerare di tenere traccia proprio della funzione interpolatrice (lineare o polinomiale, spline) potrebbe essere più utile per cercare di "prevedere" il valore futuro di BL.
Se il valore previsto coincide quasi con quello rilevato allora...

Se invece intendevi utilizzare la funzione per confrontarla con N possibili funzioni o "comportamenti" pre-confezionati allora la vedo un pò dura perchè i motivi che inducono i comportamenti sono numerosi....

beke

Nel documento sui dati storici viene detto che alcuni modelli di incremento e decremento possano essere "congelati" in curve o modelli con i quali confrontare gli andamenti dei documenti da esaminare.

Nella mia idea (ma si puo' cambiare!) intendevo esattamente cio' che Beke riporta ... realizzare un algoritmo che possa confrontare la distribuzione con alcune funzioni "predefinite" e ben individuate (che non devono per forza essere tutte le funzioni possibili) che corrispondano a spinte o a penalizzazioni da applicare al documento :

Se riconosco una funzione di distribuzione "buona" allora premio, se riconosco una funzione di distribuzione "cattiva" allora penalizzo... viceversa lascio nullo il parametro...

Certo che cio che propone paocavo che piu' di me riesce a riportare idee e analisi nella realtà della "programmazione alla ns portata" è certamente un operazione piu' concretamente e facilmente applicabile.. e che mi sembra possa portare comunque a risultati interessanti...

Non vedo l'ora di poter tentare un approccio "reale" di queste idee a teecno...

Magari!

beke

Non credo che da sola una analisi di questo genere possa definire l'autorevolezza di un sito..

Come detto piu' su...non lo credo nemmeno io.. è un valore che preso da solo ed isolato non ha un grandissimo significato o comunque lo ha ma passibile di numerose situazioni particolare..

Io lo immagino "come uno dei" parametri legati ai BL che insieme ad altri quali il numero, il Pr di provenienza, il cluster di provenienza (?) , e altri (?) possano approfondire o indicare meglio il concetto di autorevolezza di un documento, un tempo legato al solo PR.


Nicola

[paocavo]

nbriani

Certo che cio che propone paocavo che piu' di me riesce a riportare idee e analisi nella realtà della "programmazione alla ns portata" è certamente un operazione piu' concretamente e facilmente applicabile..

Ciao Nicola!
non è una questione di "programmazione alla ns portata" ma, ingegneristicamente parlando, di costo/benefici:

Per costo intendo:

• Occupazione di memoria nel DB
• Complessità computazionale

Per confrontare l'andamento reale con uno dei possibili andamenti prestabiliti comporta:

• Tenere traccia di tutti i "campioni" per ogni pagina (e/o sito) nell'indice del MDR o in alternativa tenere traccia della sola funzione funzione interpolatrice (come memorizzo una funzione nel DB? Memorizzo il solo codominio? Fino a quale range di valori del dominio? Memorizzo l'espressione algebrica della funzione intepolatrice?).
• Gestire un campionario di possibili andamenti (funzioni) da tenere come riferimento per i confronti e quindi per il ranking. (Chi lo dice che questo set racchiude la totalità dei casi?)
• Trovare un algoritmo che misura la somiglianza degli andamenti dei grafici di due funzioni: se operiamo nel continuo (funzioni interpolatrici) dopo una operazone di scaling bisognerebbe calcolare l'integrale della differenza delle due funzioni e prendere il valore che tende a zero (fra tutte le funzioni di riferimento). Se operiamo nel discreto si va sulle differenze finite, ecc eccc...un casino!

1) Modello di crescita "A"
2) Andamento reale
3) Modello di crescita "B"

[beke]

Mi fido ciecamente, anche perchè ho già il mal di testa

[nbriani]

paocavo

Ciao Nicola!
non è una questione di "programmazione alla ns portata" ma, ingegneristicamente parlando, di costo/benefici:

sorry, non ho trovato l'espressione giusta... intendevo semplicemente la starda piu' semplice...

paocavo

Per costo intendo:

• Occupazione di memoria nel DB

Questo non ho le conoscenze per poterla stimare correttamente , ma se la struttura regge la fase di calcolo dopo si tratta solo di memorizzare un valore (o sbaglio?)

paocavo

• Complessità computazionale:

Per confrontare l'andamento reale con uno dei possibili andamenti prestabiliti comporta:

• Tenere traccia di tutti i "campioni" per ogni pagina (e/o sito) nell'indice del MDR o in alternativa tenere traccia della sola funzione funzione interpolatrice (come memorizzo una funzione nel DB? Memorizzo il solo codominio? Fino a quale range di valori del dominio? Memorizzo l'espressione algebrica della funzione intepolatrice?).

Le mie reminescenze di analisi matematica mi suggerivano l'ipotesi di memorizzare semplicemente gli utlimi n punti (rilevamenti) in quantità tale da essere necessaria e sufficente al calcolo (da parte dell'algoritmo) di una possibile funzione generatrice . Ma potrei sbagliare sulla valutazione...

paocavo

Gestire un campionario di possibili andamenti (funzioni) da tenere come riferimento per i confronti e quindi per il ranking. (Chi lo dice che questo set racchiude la totalità dei casi?)

Nessuno ci obbliga aln fatto che il ns eventuale campionario comprenda ogni possibile funzione di andamento.. potremmo impostare il ns algorimo per 4/5 possibili "classi" di funzioni (tipo lineari, esponenziali, ecc)

Trovare un algoritmo che misura la somiglianza degli andamenti dei grafici di due funzioni: se operiamo nel continuo (funzioni interpolatrici) dopo una operazone di scaling bisognerebbe calcolare l'integrale della differenza delle due funzioni e prendere il valore che tende a zero (fra tutte le funzioni di riferimento). Se operiamo nel discreto si va sulle differenze finite, ecc eccc...un casino!

1) Modello di crescita "A"
2) Andamento reale
3) Modello di crescita "B"

Ecco questo mi sembra il punto cruciale della cosa ... una soluzione potrebbe essere quella di simulare l'applicazione da parte dell'algoritmo di quelle 4/5 funzioni che abbiamo "decodificato" sui valori che abbiamo per ogni documento e verificare quale da il miglior risultato in termini di distanza dei punti ai dati intervalli...? (è una domanda ! )
Sulla difficoltà della cosa nn mi preoccuperei piu' di tanto .. applicherei un algoritmo del genere solo a determinati intervalli sul datacenter... anche se ci mette "tempo e risorse" potremmo lasciarlo lavorare in back ground.. no?

[paocavo]

nbriani

Questo non ho le conoscenze per poterla stimare correttamente , ma se la struttura regge la fase di calcolo dopo si tratta solo di memorizzare un valore (o sbaglio?)

Per "reggere" la fase di calcolo ho bisogno di dati, da dove li prendo?
Ah eccoli:

... gli utlimi n punti (rilevamenti) in quantità tale da essere necessaria e sufficente al calcolo (da parte dell'algoritmo) di una possibile funzione generatrice

[Giorgiotave]

Quando ho letto il topic mi son detto: ora gli segnalo il link sui brevetti di Google ma vedo che qui abbiamo gente che dire preparata e dire poco

La possibilità a cui accennavo al raduno è molto reale e non la useremo per il motore di ricerca interno.

Ci sono due progetti che potrebbero diventare realtà appena abbiamo sviluppato un Teecno 2.0 e sono

Teecno PowerRank
Sviluppo di un piccolo algoritmo che tiene conto dei link. Per iniziare potremmo iniziare con piccoli calcoli >>> Continua con la lettura

Teecno e la Ricerca nei Blog
Molto fondamentale sviluppare una versione di Teecno di ricerca nei Blog, non tanto per puntare a fornire il servizio, ma per incamerare la grande mole di dati che i blogger ci forniscono, sopratutto nella nascita di eventi e nei link dei post >>> Continua con la lettura

Ho già parlato con Antonio (tonyx) per il conteggio dei Backlink, creando uno spider che incameri:

- ancor
- title delle pagina
- mese di quando lo spider lo trova
- anno
- giorno

Il valore della pagina dobbiamo vedere come fare, ma è un calcolo che faremo fare dopo, credo

In questo caso ci sarà solo uno sforzo in più da parte del nostro spider ad incamerare i dati, che poi ci possono servire per vari tipi di test.

Uno spider migliore del primario è già in via di sviluppo ed Osvi ci sta lavorando

Una volta che abbiamo deciso come incamerare i dati li facciamo partire

A quel punto è un attimo decidere di testare i vari algoritmi (invece di usare il parametro anni usiamo quello giorni ).

Le indicazioni ci serviranno per capire quanto un determinato documento Giovane è molto linkato e quindi merita di essere mostrato e quanto un determinato documento vecchio non viene più linkato.

Ovviamente è solo una bozza. Cioè ragazzi, per fare una casa vogliamo partire dalle fondamenta vero?

Perchè è inutile iniziare a selezionare i colori delle finestre

Quindi Nicola, Paocavo, Beke, Raele e tutti gli altri, discutiamo pure sulle possibilità e proponiamo un test con Teecno