Creare un motore di ricerca

[kabodie]

claudioweb

L'unico motore che attualmente sta riuscendo a battere google è questo:
http://www.baidu.com/

Il suo successo nasce da almeno tre cose:
1) La cina è un mercato molto particolare;
2) Ottima qualità, paragonabile con quella di google. Ho provato qualche ricerca e va alla grande. Gli ingegneri cinesi non scherzano.
3) Permette un'ottima ricerca di mp3, che ne invoglia l'utilizzo. In Italia sarebbe già stato chiuso.

Chissà che tra un pò non arrivino anche in altri paesi del mondo

nn vorrei deluderti, ma baidu, è il nome cinese di google

[claudioweb]

Non vorrei deludere te... ma sei tu che ti sbagli.
Da molti viene definito "Il Google Cinese" per paragonarlo a Google, ma in realtà con google non c'entra.

Guarda un pò di news sull'argomento:

http://news.google.it/news?hl=it&ned...rca+nelle+News

Credi ancora che Baidu è google in versione cinese?



_________________

Notizie su Oria. Risultati del Torneo dei Rioni

[kabodie]

temo di aver fatto un po' di confusione

[poetaestinto80]

salve a tutti a me servirebbero maggiorni nformazioni su nutch, e in modo particolare che cosa si deve modificare per fare indicizzare e far fare il crawl di una singola directory modificando(almeno io penso che si debba modificare qualcosa nel file urlcrawlfilter) in che modo?
che sintassi si deve usare?
aiuto!!!!!
per me e' estremamente importante

ciao

poetaestinto80

[Rinzi]

ciao e benvenuto sul forum

possiamo continuare la discussione su nutch nel topic che hai aperto
http://www.giorgiotave.it/forum/viewtopic.php?t=5998

[gasmor]

Ragazzi, bella discussione
(devo dire che è da un pò che sono tentato nel realizzarne uno tutto mio )

il problema più grosso, oltre a quello economica, è la formula magica che riesca ad azzeccare con assoluta precisione l'informazione cercata (che momentaneamente possiede solo Google)

per non parlare dei vari problemi logistici!

Supponendo di volerci interessare solo alle pagine in italiano
google ne ha in tutto circa 8 miliardi quindi ad occhio e croce potremmo dire che quelle italiana siano più o meno 100 milioni (se qualcuno ha fonti certe sono ben accette )

supponiamo che disponiamo di un server super-potente che riesca ad analizzare completamente una pagina in circa 2-3 secondi

effettuando:

- test di visibilità testo;
- spam test;
- cloaking test;
- doorways-page test;
- individuazione dell'argomento chiave;
- ecc. ecc. ecc.

possiamo dire che l'insieme di tutte le operazioni lo faremo a circa un 10% delle pagine (stimando in questo modo di riuscire a capire se un sito è buono oppure presenta trucchetti) che in totale fa

3 secondi x 10.000.000 = 30.000.000 di secondi

supponendo che il super-server riesca a fare 100 analisi contemporaneamente

30.000.000 / 100 = 30.000 secondi

poi restano le altre 90.000.000 di pagine che dobbiamo comunque archiviare.
eliminando i test possiamo supporre che occorra 0,5 secondi per pagina per catalogarla correttamente

0,5 secondi x 90.000.000 = 45.000.000 di secondi

supponiamo che il nostro super-server che è già impallato a fare quelle 100 operazioni in simultanea ne possa fare altre 100 di queste

45.000.000 / 100 = 45.000

quindi in totale:

45.000 + 30.000 = 75.000 secondi

75.000 / 60 = 1250 ore => 52 giorni

in pratica ogni 52 giorni potremmo aggiornare i nostri dati

e stiamo supponendo di avere già un ottimo software

e non stiamo considerando i server dedicati a contenere 100.000.000 di pagine e quelli che devono indirizzare le ricerche.

Può dare un'idea di quanto costi un giocattolino del genere!

[uMoR]

Mah guarda, secondo me il vero problema non è tanto analizzare il sito "da dentro".

Il vero problema è cercare di creare gruppi di siti, analizzare tutto ciò che è esterno ed agire di conseguenza.
Per capire quali sono le formule magiche di un motore di ricerca in quanto all'analisi dei contenuti ci vuole ben poco, il problema viene da fuori.

Per capire se un sito è affidabile o meno, se è spam o meno, è troppo poco analizzare le pagine.
Bisogna analizzare un sacco di fattori che manco ci immaginiamo.
Bisogna usare formule matematiche che neanche Eulero saprebbe leggere.

Insomma, meglio lasciar perdere.

[gasmor]

infatti

è per questo che ho detto "stiamo supponendo di avere già un ottimo software" cioè che tutti i problemi da te elencati siano già stati risolti matematicamente e bisogna "solo" valutare l'hardware.

[kabodie]

si potrebbe raggranellare tanta potenza e banda, facendo elaborare
i dati ai pc degli utenti

[geniakap]

Secondo me i soldi a dir la verità serviranno solo dopo averlo realizzato per farlo diventare sempre più grande, di certo bisogna crearlo, poi bisogna fare le varie cose, il mail server etc., all'inizio solo buona volontà, bisogna racimolare un po' di argomenti, in modo da essere individuati, se si riescono a racimolare soldi anche se si quadagna, ma prima, vanno messe le basi, il funzionamento, dopo le fonti.

[chioni]

A mio parere provare a competere con google, msn, yahoo, ecc... è una guerra persa in partenza. C' è da considerare poi il fatto che gli sterili risultati dei motori di ricerca sono una vera noia, non coinvolgono l'utente, non lo stimolano, non lo emozionano. Perchè allora non creare una bella interfaccia che:
- analizzi i risultati dai principali motori di ricerca per una determinata keyword.
- elaborare qualitativamente tali risultati premiando i siti secondo una determinata logica (tipo... il sito è presente in tutti i motori, o altro)
- elabori graficamente tali risultati dando valore aggiunto alla navigazione.
On line già si trovano sperimntazioni del genere, ma chi ci ha provato ancora non ha saputo attirare l'attenzione degli utenti.

Cosa ne pensate? Non sarebbe un progetto perseguibile?

[geniakap]

Io dico di sì, ma...io ho provato a fare un piccolo motore di ricerca, ma è talmente difficile, credimi, non è così semplice come si pensa!

[piac95]

scusate il ritardo di quattro anni, ma dopo aver visto questa discussione, mi viene da intervenire spontaneamente, i moderatori probabilmente mi butteranno fuori, però io ho la soluzione, ed è a portata di tutti, ovvero, tutti possono creare un motore di ricerca. Ecco il tutorial che ho scritto:
**************
sul mio blog, mi scuso di nuovo, però secondo me la mia(non dico che le altre non centrino) è quella che risponde di più alla domanda.
PS: non potevo inserire il link, incollatelo nella barra degli indirizzi.

[FlashWeb]

piac95

scusate il ritardo di quattro anni, ma dopo aver visto questa discussione, mi viene da intervenire spontaneamente, i moderatori probabilmente mi butteranno fuori, però io ho la soluzione, ed è a portata di tutti, ovvero, tutti possono creare un motore di ricerca. Ecco il tutorial che ho scritto:
***********
sul mio blog, mi scuso di nuovo, però secondo me la mia(non dico che le altre non centrino) è quella che risponde di più alla domanda.
PS: non potevo inserire il link, incollatelo nella barra degli indirizzi.

Per fare una scansione ai livelli di Google servono macchine da potenze impensabili.. rimane un'illusione "creare un motore di ricerca".

Pensare che prima i siti si ricercavano su un libretto fornito da Pagine Gialle...

[Xevious]

Premesso che non sono affatto d'accordo con la filosofia "c'è già Google, è impossibile competere con loro", mi sembra che l'approccio sia di per sé sbagliato. Copiare Google avendo successo è certamente impossibile, anche avendo miliardi a disposizione, probabilmente (vedi Live/Bing). Del resto bisogna mettersi lato utente e chiedersi perché usare una copia di Google, anziché l'originale.

Ma siamo sicuri che Google sia il meglio possibile ? Io per nulla. L'algoritmo di Google è diventato sempre più complesso, le pagine web si moltiplicano giorno dopo giorno e le cose peggioreranno esponenzialmente con la diffusione virale di Internet anche nei Paesi in via di sviluppo e nel terzo mondo. A me pare che le cose stiano iniziando a sfuggire di mano anche a loro: se un motore di ricerca non riesce ad evidenziare un contenuto valido, e lo seppellisce nelle SERP perché ad esempio non è neppure in grado di riconoscerne la paternità scambiandolo per duplicato (è solo un esempio, non voglio polemizzare su un dettaglio, la mia critica è strutturale), a mio parere non è poi quel mostro di perfezione che si lascia intendere. Se bisogna laurearsi in Ingegneria Informatica, oppure pagare centinaia o migliaia di euro un professionista SEO per evitare di cadere in qualche trappola, c'è qualcosa che a mio parere non funziona. Mi chiedo che senso abbia semplificare la vita agli utenti, rendendo possibile la creazione di un sito web in pochi minuti, se poi gli si taglia le gambe con l'indicizzazione rendendola un "affare di casta".

E se fosse sbagliata l'impostazione ? E se esistessero modi diversi di ottenere lo stesso scopo ? E sopratutto, è pensabile che Google possa mantenere o addirittura incrementare il suo status di monopolista ? Siamo davvero condannati a sottostare alle regole di poche persone, partendo dai motori di ricerca arrivando ai sistemi operativi ? Ci rendiamo conto che se domani decidessero di farci pagare 10 euro a sito per indicizzare un sito web saremmo pressoché obbligati a pagarli, per evitare di sparire dalla circolazione da un giorno all'altro ? Guardiamo e-Bay e Paypal: situazione di monopolio, tariffe e provvigioni ai limiti del furto. Ma se vuoi vendere, sei obbligato ad andare da loro, visto che la maggior parte degli utenti lo utilizza.

Mah... chi lo sa. Magari arriverà il giorno che nascerà un nuovo sistema di ricerca e indicizzazione dei contenuti, e noi diremo qualcosa tipo "si sa... le idee migliori sono le più semplici". Eppure sul web è cambiato tutto... la nascita dei social network, del blogging di massa, i linguaggi di programmazione, etc. Solo i motori, per quanto sicuramente si siano evoluti, sono rimasti fondamentalmente e concettualmente gli stessi. Può darsi che il motivo sia che non si possa fare di meglio, ma non ci credo. La realtà è che la gente, e per "gente" intendo gli utenti in generale, me compreso, è pigra e tende a imbrancarsi per sentito dire, spesso a prescindere dalla qualità, e dal fatto che una cosa funzioni davvero bene. E si sa, quando si è monopolisti e in giro scarseggiano le idee, non c'è nessun motivo reale per migliorare (motivo per cui esistono gli "anticorpi istituzionali" per cercare quando possibile di arginare l'espansione monocorde di un singolo).