L'intelligenza Artificiale come potrebbe migliorare i motori di ricerca?

[paocavo]

agoago

Sistemi come Clusterizer o Kea...

Ciao Ago ,
puoi fornirci maggiori info su Kea?



[edit]
..ops, eccolo (non lo conoscevo). Thanks
[/edit]

[agoago]

Kea e' un progetto pubblico e libero (come i sorgenti) dell'universita' di Waikato. Kea e Weka sono opera del dott. F. Eibe con l'aiuto per la parte di indicizzazione delle keyphrase di una sua studentessa che ha ricevuto la borsa di studio da... Google

http://www.nzdl.org/Kea/

Ho integrato Kea in un mio progetto piu' ampio (del quale parlero' in modo approfondito questa estate), ho creato un mio modello basato sull'analisi dei testi di tutta Wikipedia, e lo uso per decidere con che keylink lincare le pagine interne.

Ho anche ampliato l'elenco delle stopkey originarie di Kea, ma premetto che su windows ho seri problemi di memoria in quanto java non mi vede-usa oltre 1,5 giga di ram.

Purtroppo il problema dei limiti "hardware", il problema dei tempi di lettura ed analisi dei testi, sono il vero dramma in questo genere di studi-lavori.

---

Faccio un esempio banale.
Se per analizzare-valutare 1 mega di testo ci si impiegasse 1 secondo, per un testo da 10 mega ci potrebbe volere 1 minuto, 100 mega un ora... immaginiamo processare un tera di materiale!

Per capirci, si pensi solo alle catene di Marcov.
Un conto se devo scegliere per procedere tra 5 parole, un conto tra 60.000 potabili.
Prendo a caso o analizzo quale siano le migliori tra quelle 60.000?
Ma le migliori sono quelle che hanno maggior frequenza (rispetto al testo precedente) o quelle che hanno un senso logico rispetto al pezzo di testo?

Se avessi:

casa rossa

potrei scegliere poi:

bandiera

questo se mi basassi solo su rossa come parola da analizzare per decidere come proseguire, ma se lavorassi su "casa rossa" invece che solo su "rossa" non sceglierei bandiera.

Ma anche 2 parole possono non bastare, allora diciamo che lavoriamo su 4.
Ecco che allora prendo:

la bella casa rossa

e vedo cosa c'e' normalmente dopo, potrei dover scegliere tra:

affittasi
,
e
nel
bruciata
etc

ma siamo da capo.

Anche se nel 90% dei casi "affittasi" seguisse "la bella casa rossa" non avrebbe senso privilegiarla, perche' se la frase fosse lunga potrei preferire la "," se la frase parla di pompieri allora seglierei "bruciata" e via discorrendo.

Per capire di cosa parla la frase dovro' tenere conto del significato di ogni parola, dei sinonimi, dovro' contare aggettivi, congiunzioni, nomi (e quanto altro) per sapere se dopo "la bella casa rossa" sia meglio mettere un aggettivo, un verbo, un articolo o magari chiudere la frase con un punto.
Se un verbo prima era al passato dovro' privilegiare quel tempo...

Diventa dura frase per frase, immaginiamoci per un documento nel suo complesso.

Per questi motivi purtoppo, anche i migliori programmi disponibili sul web, spesso (praticamente sempre) possono essere utilizzati o a fini di studio o per analisi magari profondissime ma su piccole porzioni di testo.

In caso di grossi volumi ecco che bisogna spezzare i corpus, dividerli in 100 modi, per grammatica, per alfabeto, per peso, per logica, per tema, per sinonimi, per lunghezza frasi, per numero parole, per lingue, per unicode, per anzianita', (che me ne faccio a fini pratici di un corpus basato sulla Bibbia?) etc etc.

E cosi' i giga diventono tera...

Poi riprovi il tutto nuovamente ma ottieni le solite risposte: out of memory, out of patience, out of your time life limit... da piangere.

[paocavo]

agoago

In caso di grossi volumi ecco che bisogna spezzare i corpus, dividerli in 100 modi, per grammatica, per alfabeto, per peso, per logica, per tema, per sinonimi, per lunghezza frasi, per numero parole, per lingue, per unicode, per anzianita', (che me ne faccio a fini pratici di un corpus basato sulla Bibbia?) etc etc.

E cosi' i giga diventono tera...

Poi riprovi il tutto nuovamente ma ottieni le solite risposte: out of memory, out of patience, out of your time life limit... da piangere.

E già... questo è un tipico problema in cui si dovrebbero utilizzare applicazioni distribuite in ambito parallelo o "parallel computing"

[Andrea77]

paocavo

[/color][/i]

L’IA è una disciplina che studia i fondamenti teorici, le metodologie e le tecniche che permettono di concepire, progettare, realizzare, sperimentare ed utilizzare sistemi artificiali sia simulati via software che implementati in hardware con gli obiettivi di ottenere prestazioni ritenute caratteristiche dell’intelligenza e di fornire modelli computazionali di processi cognitivi.
Fonte: http://ia.di.uniba.it/

Applicazioni principali
Attualmente questi sono i principali algoritmi dell'intelligenza artificiale:
Rappresentazione della conoscenza
Apprendimento automatico (Machine Learning)
Apprendimento non supervisionato
Clustering
Regole di associazione
Apprendimento supervisionato
Albero di decisione
Regole di decisione
Sistemi Esperti
Apprendimento per rinforzo
Reti neurali
Algoritmi genetici o evolutivi
Sistemi a classificatori
Programmazione Logica Induttiva (ILP)
Visual retrieval
Visione artificiale
Problema di soddisfacimento di vincoli
Fonte: http://it.wikipedia.org/wiki/Intelli...oni_principali

[i][color=#4169e1]

La popolarità di un sito è solo uno di tanti e tanti fattori considerati dai MDR.
Anche se è uno di quelli preponderanti (perche un sito autorevole dovrebbe linkare un sito "fasullo"?)



Bella domanda!
Per rispondere si potrebbe scrivere un libro (e forse tu lo stai già facendo... no? tesi? )
Adesso vado a cenare, a presto...

Ciao Paolo, scusa il ritardo ma non avevo visto la tua risposta...
Non sto scrivendo una tesi perche sono iscritto a Fisica (anche se fuori corso) comunque è un argomento di grande interesse e sto creando una piccola azienda che vorrebbe creare un suo "motore personale" rivolto sopratutto alle aziende. Ho lavorato nel campo del web marketing per 1 anno e ho verificato che l'unica cosa che funziona bene come ritorno degli investimenti è proprio la pubblicità sui motori di ricerca, sia come vendite che come immagine del marchio. Quindi ho pensato di creare un motore personale che includa algoritmi di AI per fare meglio il proprio lavoro. L'AI(forse per i Film) è vista come qualcosa di irraggiungibile...però il tuo algoritmo è già una prova che qualcosa si può fare (e non è poco). Comunque sono solo in fase di partenza e la strada sarà molto lunga e difficile e non è detto che il risultato finale sia accettabile, però fino a quando uno non prova non si puo dire.
Devo dire che la comunità di Giorgio Tave è davvero eccezionale, non vi conoscevo prima di trovarvi tramite internet, e non pensavo che in Italia ci fosse un livello di competenza cosi buono...complimenti a tutti

[agoago]

Paocavo scrive:

"E già... questo è un tipico problema in cui si dovrebbero utilizzare applicazioni
distribuite in ambito parallelo o "parallel computing""

Ho seguito il link e letto un po' la documentazione.
L'unica parola (di tutto) che ho capito' e' "parallelo".
Credo sinceramente che sia oltre le mie capacita'.

Ma almeno adesso so perche' riscontro questi limiti!

[mix]

agoago

il problema delle tue risorse lo risolvi appena ( spero che il suo avvento non tardi ) il sistema globus farà il suo ingresso sulla rete.

La potenza di calcolo che questo sistema offre è illimitata.

In parole povere hai presente come funziona il p2p?

Bene, li si sharano file ( di tutti i tipi mp3 avi rar ecc. ) con globus si sharano le risorse di sistema.

Siamo ancora agli albori, e ti posso dire che questo tipo di ricerca va lenta non tanto per la mancanza di menti geniali che la sviluppino, ma per i troppi interessi ( questo è un altro capitolo ).

Dobbiamo pazientare, con un amico abbiamo sviluppato un software molto simile al tuo ma con scopo differente, ci limita proprio la potenza di calcolo che abbiamo a disposizione.

Poi a lavoro ho incontrato un ingegnere 24 enne che stava preparando la sua tesi su

globus e da li l' illuminazione, tutto il mio entusiasmo fu frenato quando mi disse che per ora
globus funge solo in lan e malamente, e che le ricerche vanno a rilento.

E che lui insoddisfatto dal sistema ( no globus, ma dalla gente che lo circondava ) aveva lasciato il progetto che non li dava più stimoli.

[uMoR]

Ago prima di pensare ai cluster proverei a riscrivere tutto il software in qualche linguaggio tipo c e strutturarlo per utilizzare basi di dati studiate ad-hoc (discorso già fatto 1000 volte)..

Spero che non ti basi su MySql per gestire tutti quei dati

[mix]

uMoR il mio software scritto in c# ha piegato già 4 pc

[uMoR]

Eh ma almeno il software sfrutta appieno la potenza di calcolo, se scrivi un programma in visual basic hai voglia.. :P

[paocavo]

siamo un tantino OT...

[rocco_bruno]

A proposito dell'interessante argomento di discussione, segnalo a tutti questo simpatico seminario in cui mi sono imbattuto...

http://video.google.com/videoplay?do...88615049492068

carino, vero? :-)

[agoago]

rocco_bruno

A proposito dell'interessante argomento di discussione, segnalo a tutti questo simpatico seminario in cui mi sono imbattuto...

http://video.google.com/videoplay?do...88615049492068

carino, vero? :-)

Grazie Rocco Bruno, e' la cosa piu' interessante intelligente ed utile che, per merito della tua segnalazione, ho avuto la fortuna di leggere-vedere.

Purtroppo la qualita' del video in alcuni casi non mi permette di leggere bene i diagrammi mostrati nella conferenza, se qualcuno dei colleghi trovasse lo stesso video in qualita' migliore per favore lo segnali.

Comunque da vedere assolutamente, soprattutto per chi frequenta abitualmente questa sezione del forum, si parla di linguaggio naturale, di ontologia formale... etc fantastico!

[paocavo]

Molto, molto interessante!!

Grazie rocco_bruno!!

[agoago]

Ho installato il programma che e' alla base del video in discussione:

http://www.opencyc.org/

Funziona bene, peccato ci siano poche relazioni "preimpostate", ma del resto il programma deve servire nell'intento per essere adattato alle necessita' personali dei vari utilizzatori, e non per fornire un prodotto pronto all'uso per tutti.

Di certo sara' un bel salto di qualita', una grande rivoluzione.

In poche parole oggi se cerco:

Cosa contiene la scatola

mi vengono presentate le pagine con dentro le parole scatola, cosa, contiene o contenere ecc ecc

In futuro invece potrei avere come risultati delle pagine che parlano di regali, di prodotti e cosi' via, pagine magari che non contengono (o sono lincate) con le parole scatola, cosa, contiene o contenere etc.

Se questo nuovo sistema fosse implementato in modo "pesante" di fatto stravolgerebbe molte serp, premiando probabilmente pagine ricche di contenuti, di "risposte", piuttosto che quelle pagine che ora sono premiate perche' propongono al loro interno prevalentemente i termini delle query, anzi a volte solo quelle...

----------

Di certo, se e quando avverra' questa innovazione, potrebbe rivelarsi un problema per alcuni seo.

Oggi molti seo lavorano per societa' di posizionamento o per clienti che in genere chiedono-pretendono di vedere migliorare le proprie posizioni per un target di key ben precise.

Se il cliente chiede: cane pazzo, il seo inizia a controllare se e come e' scritto "cane pazzo" all'interno delle pagine del cliente.

E' un lavoro per alcuni versi complicato, ma per altri semplice.

Se un domani i seo scoprissero che per spingere cani pazzi doveno-dovrebbero scrivere contenuti su cosa mangiano i cani (impazziscono per il cibo?) sui metodi di allevamento (impazziscono perche' trattati male?) o sui comportamenti strani dei principali animali domestici ecco che il mestiere seo potrebbe diventare molto ma molto pesante.

Il grosso del compito, a quel punto, passarebbe in mano al wm, a chi crea il contenuto e non a chi lo ottimizza.

Da una parte corrisponderebbe anche alla fine di un certo vecchio stile di far spam, sarebbe un bel ripulisti, da un'altra non da meno penalizzerebbe fortemente chi ancora lavora con passione sulla lunghezza dei titoli, sugli h1 e cose del genere.

[paocavo]

agoago

Ho installato il programma che e' alla base del video in discussione:

http://www.opencyc.org/

Funziona bene, peccato ci siano poche relazioni "preimpostate", ma del resto il programma deve servire nell'intento per essere adattato alle necessita' personali dei vari utilizzatori, e non per fornire un prodotto pronto all'uso per tutti.

Ciao Ago!
hai già provato WordNet?
Inoltre OpenCyc, se non erro, si può interfacciare ed arricchire (semanticamente) con WordNet