Problema risorse

[shark]

Ciao a tutti,
Sono nuovo di questo forum, mi sono appena iscritto.
E' davvero un bel progetto questo "teecno".
Vi pongo alcune domande.

- Avete idea di quanti siti internet dovrebbero essere indicizzati per aver un discreto motore di ricerca?

- Avete idea di che tipo di risorse occorrono per un progetto del genere? (ServerS dedicati, moltissima ram, hard disk, etc etc)...come siete messi?

- Ora, non so dove volete arrivare con questo progetto, ma lavorare con php e mysql credo non sia la scelta più opportuna, credo che il punto di forza di un motore sia la velocità...quindi un linguaggio nativo è sicuramente migliore C++ (mysql come db va anche bene)

Sono un programmatore e mi sono sempre piaciuti i motori di ricerca, se la cosa è seria potrei anche partecipare, mi farebbe piacere.

(Non sono critico...anzi, ripeto....mi piace il progetto..)
Fatemi sapere

Buon lavoro

[Giorgiotave]

Ciao shark e Benvenuto nel Forum GT

Questo è l'ennessimo thread, quasi quasi lo metto in rilievo

l'obiettivo attuale, ben illustrato in varie occasioni, non si preoccupa di un motore di ricerca per gli utenti (questo lo vedremo molto più avanti).

Il progetto lo prevede, ma non come step primario. Lo step primario è un motore di ricerca interno

Poi, pensiamo anche al motore per utenti, ma solo quando e se avremo le risorse che ci vogliono.

Che ne dici di aiutarci? Abbiamo un forum interno dove il Team sta discutendo e sviluppando il progetto in modo da avere una migliore organizzazione.

I passi effettuati verranno presentati nel Forum

Se vuoi, chiedi maggiorni informazioni a tonyx

Giorgio

[shark]

ciao giorgio, credimi non volevo essere in nessun modo "critico".
Si ho letto, il primo step sarà realizzare un motore "interno", ma sempre di moltissimi dati stiamo parlando. Ora ad esempio, quanti siti sono stati presi dallo spider? Perchè alle volte certe ricerche sono lentine(ho anche fastweb)...perciò se ci sono i presupposti per un progetto valido ed efficace posso partecipare. Purtroppo ribadisco il problema numero uno per un motore di ricerca sono le risorse. Se non ci sono il progetto stenta a partire nel verso giusto....(non la stò tirando), ma capirai benissimo che se uno fa una ricerca su teecno e il motore risponde con molta attesa molti utenti si stufano e non lo utilizzano più....

Mi sbaglio?

P.S. Non parlate qui di teecno, avete un forum "privato" ?

[Giorgiotave]

shark

Mi sbaglio?

No, per questo stiamo vagliando varie soluzioni per un motore interno veloce

shark

P.S. Non parlate qui di teecno, avete un forum "privato" ?

Si, c'è un forum privato. In pubblico è impossibile fare un progetto e portarlo avanti

[shark]

Giorgiotave

No, per questo stiamo vagliando varie soluzioni per un motore interno veloce



Si, c'è un forum privato. In pubblico è impossibile fare un progetto e portarlo avanti

ok, come si fa a partecipare?

[Giorgiotave]

shark

ok, come si fa a partecipare?

Basta chiedere maggiori informazioni a tonyx

[HyperText]

Ciao,

ma perchè non prendete in seria considerazione l'idea di sviluppare Teecno in Python (usato anche da Google) e interfacciarsi al MySql utilizzando la libreria MySqlDB?
Attualmente è quello che sto facendo io (anche se sono proprio agli inizi) e i risultati sono nettamente superiori (oltre ad una migliore gestione).

Tenete conto di tutto ciò solo se avete intenzione di fare un motore di ricerca "esterno", perchè per creare un motore di ricerca interno basta il PHP.

[shark]

HyperText

Ciao,

ma perchè non prendete in seria considerazione l'idea di sviluppare Teecno in Python (usato anche da Google) e interfacciarsi al MySql utilizzando la libreria MySqlDB?
Attualmente è quello che sto facendo io (anche se sono proprio agli inizi) e i risultati sono nettamente superiori (oltre ad una migliore gestione).

Tenete conto di tutto ciò solo se avete intenzione di fare un motore di ricerca "esterno", perchè per creare un motore di ricerca interno basta il PHP.

hey si condivido pienamente quanto hai detto...programmo anche in python, ed è decisamente migliore....
lo spider ad esmepio non può essere realizzato in php, anche per quello python è la scelta più giusta...

HyperText anche tu stai facendo un motore? E' possibile dargli un'occhiata?

[HyperText]

shark, se vuoi ne riparliamo tra un po' di tempo perchè attualmente ho creato solo 2 files: 1 è per l'indicizzazione, l'altro per la ricerca.
Il problema è che nessuno dei due è completo (ho iniziato il progetto da pochi giorni).
Appena è un filino funzionale ti faccio vedere qualcosina (anche perchè manca l'interazione con il WEB - PHP -).

[shark]

HyperText

shark, se vuoi ne riparliamo tra un po' di tempo perchè attualmente ho creato solo 2 files: 1 è per l'indicizzazione, l'altro per la ricerca.
Il problema è che nessuno dei due è completo (ho iniziato il progetto da pochi giorni).
Appena è un filino funzionale ti faccio vedere qualcosina (anche perchè manca l'interazione con il WEB - PHP -).

Ok... invece il tuo sarà un motore "esterno"?
Per quanto riguarda lo stesso problema di "risorse" te come hai intenzione di fare?

[HyperText]

Sì, ma non so se mai lo renderò pubblico... Di certo non nel breve periodo

Risorse? Bisognerebbe comprare server dedicati con molta banda al secondo e attualmente non ho tutti questi soldi da investire.
E successivamente si dovrebbe creare un sistema di organizzazione dei vari server (il server1 è pieno > passare al server 2 ecc.).

Diciamo che ci vorrebbero dei finanziatori (a cui andrà una percentuale), ma non ora.
Il progetto è prematuro, troppo prematuro.

Tra l'altro è quasi impossibile competere con Google e gli altri.
Dovresti investire moltissimo all'inizio (soldi che non ho e dubito che riuscirei a trovare finanziatori adeguati), perderci per un bel po' di tempo e poi (ma molto in là) recuperare il tutto...

E' un vero azzardo!

[shark]

ragazzi navigando ho trovato questo: http://www.gigablast.com
è un motore di ricerca abbastanza veloce, incuriosito, sono andato a vedere su "about" (http://www.gigablast.com/bio.html) ho visto che ha scritto interamente lui quel motore di ricerca....

Mah secondo voi, un progetto del genere come potrebbe essere finanziato?
Cavolo ha fatto tutto da solo!

[Andriy]

shark

ragazzi navigando ho trovato questo: http://www.gigablast.com
è un motore di ricerca abbastanza veloce, incuriosito, sono andato a vedere su "about" (http://www.gigablast.com/bio.html) ho visto che ha scritto interamente lui quel motore di ricerca....

Mah secondo voi, un progetto del genere come potrebbe essere finanziato?
Cavolo ha fatto tutto da solo!

molto interessante...
ha scritto tutto in C++...
Mi chiedo che algoritmi di indicizzazione avrà usato....

[shark]

Andriy

molto interessante...
ha scritto tutto in C++...
Mi chiedo che algoritmi di indicizzazione avrà usato....

E' stato davvero bravo...quindi progetti importanti di questo genere possono essere tranquillamente fatti, da persone competenti ovvio, però se lui c'è riuscito non vedo perchè altre persone non ce la possano fare.... comunque per indicizzare tutti quei siti, avrà ottenuto un finanziamento? Che ne pensate?

[tonyx]

shark

E' stato davvero bravo...quindi progetti importanti di questo genere possono essere tranquillamente fatti, da persone competenti ovvio, però se lui c'è riuscito non vedo perchè altre persone non ce la possano fare.... comunque per indicizzare tutti quei siti, avrà ottenuto un finanziamento? Che ne pensate?

Ormai si è capito puoi avere anche il miglior algoritmo del mondo, ma per indicizzare, gestire e mostrare tutti questi dati devi avere una potenza di calcolo enorme, quindi un enorme quantità di finanziamenti!