Vendita Computer: secondo me ci vuole una Key Density del...

[LowLevel]

Giorgiotave

Quindi in pura teoria lui potrebbe andare a visionare tutti i documenti presenti nel suo database e confrontarli con il LSI.

Il LSI è un modello vettoriale che può essere usato in modo complementare oppure anche sostitutivo del term vector model.

Facendo test, penso sia possibile individuare nei risultati effetti simili a quelle che produrrebbe l'applicazione del LSI.

Ma sconsiglio di prestarvi attenzione fino a quando non si possieda una ottima comprensione del term vector model e delle sue implicazioni pratiche nell'ottimizzazione delle pagine. Anche perché il LSI è anche più difficile da comprendere.

Oltre a questa tecnica quale altre potrebbe usare?

Clustering, pseudo relevance feedback e dizionario di sinonimi sono le più diffuse.

Voglio capire bene tutti i meccanismi in modo da studiarli e vedere cosa hanno in comune e qual'è quello che potrebbe risultare il migliore.

In questo caso lo studio non basta, perché i risultati migliori si ottengono provando tutte le tecniche e individuando quella che appare la migliore. L'IR è una disciplina più empirica di quello che sipensa: si inizia con un'intuizione o deduzione matematica, ma poi bisogna vedere se i risultati pratici corrispondono a quanto veniva predetto dalla teoria.

Ecco, come detto sopra, dobbiamo anche studiare qualche tecnica il motore potrebbe usare e, una volta conosciute le più popolari, possiamo decidere di fare qualche test.

Vedi sopra: clustering e pseudo relevance feedback.

Vedo bene anche qualche tecnica basata su informazioni antropiche, ma è difficile da testare e comunque gli effetti di un'espanzione attraverso clustering mi sembrano molto più evidenti.

So bene che è molto probabile che queste tecniche vengano messe in opera per chiavi diverse

Anche se l'effetto apparente è quello, è improbabile che esistano algoritmi diversi per query diverse. In un sistema progettato decentemente, l'algoritmo dovrebbe essere unico, con alcune parti/pesi/fattori che si "affievoliscono" automaticamente (fino eventualmente ad avere valenza nulla) a seconda della query.

Si preleva il contenuto dei documenti top-ranked e filtrando i termini non utili (per es. i termini usati troppo spesso nell'intero indice e i termini usati troppo poco) si ottengono i termini con i quali verrà formata la query espansa.

In un modello vettoriale, l'espanzione avviene sommando (algebricamente) al vettore della query iniziale i vettori dei documenti estrapolati con la prima ricerca.

Esistono vari modiper effettuare la somma. A volte è una somma, altre volte una media, ecc.

[beke]

In un modello vettoriale, l'espanzione avviene sommando (algebricamente) al vettore della query iniziale i vettori dei documenti estrapolati con la prima ricerca.
Esistono vari modiper effettuare la somma. A volte è una somma, altre volte una media, ecc.

Grazie della precisazione

Io mi riferivo, in effetti a quanto letto in "Improved Algorithms for Topic Distillation in a Hyperlinked Environment", quindi ad un'applicazione leggermente diversa ma che comunque utilizza un sistema di espansione della query:

...matching the query against the document is
usually not sufficient. Instead we use the documents in
the start set to define a broader query and match every
document in the graph against this query. Specifically,
we consider the concatenation of the first 1000 words
from each document to be the query, Q and compute
similarity(Q;D).
In our implementation, since queries are long and the
document vocabulary tends to be varied we use term
frequency weighting. We use cosine normalization in
weighting both the query and the documents since the
deviation in term vector lengths is large. See Salton...

Ed in effetti concatenando prima i termini delle query e calcolando poi il vettore della query risultante dovrei ottenere lo stesso tipo di risultato.

O no?

[LowLevel]

beke

Ed in effetti concatenando prima i termini delle query e calcolando poi il vettore della query risultante dovrei ottenere lo stesso tipo di risultato.

Un risultato analogo, ma non identico. Le principali differenze sono che

1) dei documenti vengono presi solo i primi X caratteri mentre un indexer full text generalmente ingoia tutto il testo (tranne le stop word);

2) ad essere sommati alla query sono i termini, non i vettori dei documenti (anche se poi vengono trasformati in vettori);

3) il tipo di somma pesata prevede che ai termini della query originaria venga applicato un peso triplo rispetto ai termini estrapolati dai documenti.

Questo approccio è anche computazionalmente più oneroso rispetto alle semplici somme tra vettori compiute da un normale pseudo relevance feedback ed i risultati sono sicuramente diversi, anche se bisognerebbe implementare i due sistemi per misurarne la diversità (che comunque varia anche in funzione del corpus e sicuramente di altri fattori).

[Dell'Orto Fabio]

La lista dei termini complementari è sicuramente un valido punto di partenza !!

bene. è un punto di partenza...ma a me sfugge il nesso!
dunque, premesso che nn voglio nessuna pappa pronta, mi va benissimo se mi date solo un input su cui ragionare....
IO NON CAPISCO!!!

E allora il MDR prende la richiesta hotel Roma e la espande, aggiungendovi con parametri tutti suoi altri termini correlati, come Giorgio ci ha mostrato su con vendita computer.

~hotel 505.000.000
~hotel -hotel 142.000.000
~hotel -hotel -INN 106.000.000
~hotel -hotel -INN -accommodation 38.400.000
~hotel -hotel -INN -accommodation -lodging non ha prodotto risultati in nessun documento.

qui non mi ci ritrovo...a me pare che i termini li SOTTRAGGA dalla ricerca invece di aggiungerli...sbaglio?
e perchè lo fa? se io utente cerco HOTEL ROMA perchè il mdr dovrebbe togliere la key hotel?

Visto poi che se l'utente cerca un Hotel a Roma, molto probabilmente è là che vuole andare e soggiornare, e quindi il MDR cerca di mostrargli pagine che oltre quelle key trattino anche di altri argomenti correlati, come:
roma stradario
nomentana
tuscolana
casilina

e qui ancora mi perdo:
questi termini sono simili a quelli dato come correlati dal suggeritore di keywords di adwords, ma nn sono esattamente quelli.
come arrivo a questo elenco?attraverso quale procedimento?
che nesso c'è tra i termini scartati con la espansione della query (es -INN -hotel) con i termini proposti nell'elenco?
so che chiedo molto, ma nn pretendo affatto una pappa pronta, vorrei solo qualche input per capire...
grazie mille
Mr Yak

[Andrez]

Credo che i passaggi importanti di questo concetto siano:

In un modello vettoriale, l'espanzione avviene sommando (algebricamente) al vettore della query iniziale i vettori dei documenti estrapolati con la prima ricerca.

Esistono vari modiper effettuare la somma. A volte è una somma, altre volte una media, ecc.

Tutto dipende da quale tecnica viene usata dal motore per espandere le query.

Non si conosce quindi quale espansione o come il MDR la applichi.

...qui non mi ci ritrovo...a me pare che i termini li SOTTRAGGA dalla ricerca invece di aggiungerli...sbaglio?
e perchè lo fa? se io utente cerco HOTEL ROMA perchè il mdr dovrebbe togliere la key hotel?

Tentando di sviluppare l'esempio dell'espansione della query di mamilu su Hotel Roma;
-" il MDR prende la richiesta hotel Roma e la espande, aggiungendovi con parametri tutti suoi altri termini correlati, come Giorgio ci ha mostrato su con vendita computer.

Cioè il MDR. con tecniche conosciute solo a lui, parte dalla query hotel e la espande aggiungendovi termini a sua discrezione.

Facendo il percorso inverso possiamo scoprire questi termini:
Digitiamo hotel e vediamo la risposta di 505 milioni; i termini hotel in neretto... ma anche altri.

E allora togliamo hotel dalla query [-hotel] e scopriamo che anche senza nessun temine hotel il MDR ci restituisce 106 milioni di pagine mostrandoci in neretto INN -accommodation -lodging

E' evidente che quei termini il motore, in quel caso, quel giorno [e chissà cos'altro] considera espansioni della query Hotel

Rifacendo la ricerca togliendo una ad una quelle key, vediamo l'importanza che il MDR ha attribuito ad ogni word che ha inserito nell'espansione della query Hotel

Rileggiamo:

~hotel 505.000.000
~hotel -hotel 142.000.000
~hotel -hotel -INN 106.000.000
~hotel -hotel -INN -accommodation 38.400.000
~hotel -hotel -INN -accommodation -lodging non ha prodotto risultati in nessun documento.,

[Dell'Orto Fabio]

Ne deriva alla fine una serp "abbastanza limitata" che sarebbe opportuno analizzare per scoprire in maniera "relativamente semplice" la ragione per cui i siti restati in serp dopo la scrematura sono restati li !

Essi teoricamente dovrebbero avere [condizionale d'obbligo] i termini che fanno la differenza...

[Andrez]

Ne deriva alla fine una serp "abbastanza limitata" che sarebbe opportuno analizzare per scoprire in maniera "relativamente semplice" la ragione per cui i siti restati in serp dopo la scrematura sono restati li !

~hotel -hotel -INN -accommodation -lodging non ha prodotto risultati in nessun documento.,

Query hotel, il MDR mostra un risultato che include altri termini e togliendoli uno ad uno il risultato è zero, non ne restano lì.

Finchè la serp mostra risultati significa che un ulteriore termine, frutto dell'espansione è presente.

Nella fase intermedia, cioè dopo aver tolto il primo o il secondo dei termini frutto dell'espansione, quella serp limitata non si presta ad analisi di sorta [relativamente all'espansione] in quanto non conosciamo il MDR che tecnica usi per quell'espansione della query.

Ci è però possibile estrapolare quei termini

[Giorgiotave]

mr yak

qui non mi ci ritrovo...a me pare che i termini li SOTTRAGGA dalla ricerca invece di aggiungerli...sbaglio?
e perchè lo fa? se io utente cerco HOTEL ROMA perchè il mdr dovrebbe togliere la key hotel?

Mr Yak,

siamo noi che li sottraiamo alla query per vederli tutti

Ne deriva alla fine una serp "abbastanza limitata" che sarebbe opportuno analizzare per scoprire in maniera "relativamente semplice" la ragione per cui i siti restati in serp dopo la scrematura sono restati li !

Non è limitata, quella è solo l'espansione lato-utente

[j0sh]

secondo me stiamo parlando di qualcosa di primordiale

come si nota dalla query http://www.google.it/search?q=vendita+computer
rimangono saldamente in alto i siti che almeno hanno le key nel titolo

attualmente i fattori che google valuta sono altri, secondo me, e riguardano il peso che l'algoritmo assegna al sito in generale (per questo è nata la sandbox o filtri simili)

questo dipende dal grosso problema dello spam che google ha dovuto combattere...

ho letto cmq di cambiamenti nel senso di una ricerca semantica... credo che tutti i motori stiano cercando soluzioni per adottare algoritmi su base neurale... in questo caso vedo bene il discorso di giorgio è solo pero' una linea che i mdr stanno seguendo per migliorare le serp

credo anche che sia vero che non è importante la kdensity della pagina in generale quanto quella del sito in generale... nel senso che mi pare che google valuti non più la singola pagina ma tutte le pagine indicizzate di un dominio (in questo senso forse l'espansione potrebbe essere utile)

[Giorgiotave]

j0sh

come si nota dalla query http://www.google.it/search?q=vendita+computer
rimangono saldamente in alto i siti che almeno hanno le key nel titolo

Non mi sembra che tutti e dieci i domini hanno le key nel titolo.

Solo un 60%

vendita computer è diversa da vendita e anche da computer

ok, questo mi ha già fatto capire molto, mi pare molto più logico ora!!
e poi il passaggio successivo?quella serie di keywords?

[j0sh]

Giorgiotave

Non mi sembra che tutti e dieci i domini hanno le key nel titolo.

Solo un 60%

vendita computer è diversa da vendita e anche da computer

allora non si spiega... secondo la logica dell'espansione... perchè io sia in prima pagina con http://www.google.it/search?q=carnevale+di+venezia (dgmag.it)

[Giorgiotave]

j0sh

allora non si spiega... secondo la logica dell'espansione... perchè io sia in prima pagina con http://www.google.it/search?q=carnevale+di+venezia (dgmag.it)

Hai presentato un articolo che se fosse stato fatto in un sito a tema sarebbe apparso nelle prime tre posizioni.

Io non ci vedo niente di strano

L'espansione della query è uno dei modi di avvicinarci ai motori, ma sono così complicati che ci sono altri mille fattori.

Basare lo studio su uno di essi è folle. L'espansione è molto importante

@ mr yak

Devi mischiare quel sistema ed il sandbox di Google e poi il buon senso.

Devi conosce l'argomento e sapere dove si trova il Colosseo, altrimenti che senso ha?

[j0sh]

Giorgiotave

L'espansione della query è uno dei modi di avvicinarci ai motori, ma sono così complicati che ci sono altri mille fattori.

Basare lo studio su uno di essi è folle. L'espansione è molto importante

secondo me è uno dei tanti fattori, appunto, ma attualmente non cosi' importante... a pesare di più sono altri, almeno per ora