• User

    Problema risorse

    Ciao a tutti,
    Sono nuovo di questo forum, mi sono appena iscritto.
    E' davvero un bel progetto questo "teecno".
    Vi pongo alcune domande.

    • Avete idea di quanti siti internet dovrebbero essere indicizzati per aver un discreto motore di ricerca?

    • Avete idea di che tipo di risorse occorrono per un progetto del genere? (ServerS dedicati, moltissima ram, hard disk, etc etc)...come siete messi?

    • Ora, non so dove volete arrivare con questo progetto, ma lavorare con php e mysql credo non sia la scelta più opportuna, credo che il punto di forza di un motore sia la velocità...quindi un linguaggio nativo è sicuramente migliore C++ (mysql come db va anche bene)

    Sono un programmatore e mi sono sempre piaciuti i motori di ricerca, se la cosa è seria potrei anche partecipare, mi farebbe piacere.

    (Non sono critico...anzi, ripeto....mi piace il progetto..)
    Fatemi sapere

    Buon lavoro


  • Community Manager

    Ciao shark e Benvenuto nel Forum GT 🙂

    Questo è l'ennessimo thread, quasi quasi lo metto in rilievo 😄

    l'obiettivo attuale, ben illustrato in varie occasioni, non si preoccupa di un motore di ricerca per gli utenti (questo lo vedremo molto più avanti).

    Il progetto lo prevede, ma non come step primario. Lo step primario è un motore di ricerca interno 🙂

    Poi, pensiamo anche al motore per utenti, ma solo quando e se avremo le risorse che ci vogliono.

    Che ne dici di aiutarci? Abbiamo un forum interno dove il Team sta discutendo e sviluppando il progetto in modo da avere una migliore organizzazione.

    I passi effettuati verranno presentati nel Forum 🙂

    Se vuoi, chiedi maggiorni informazioni a tonyx 🙂

    Giorgio


  • User

    ciao giorgio, credimi non volevo essere in nessun modo "critico".
    Si ho letto, il primo step sarà realizzare un motore "interno", ma sempre di moltissimi dati stiamo parlando. Ora ad esempio, quanti siti sono stati presi dallo spider? Perchè alle volte certe ricerche sono lentine(ho anche fastweb)...perciò se ci sono i presupposti per un progetto valido ed **efficace **posso partecipare. Purtroppo ribadisco il problema numero uno per un motore di ricerca sono le risorse. Se non ci sono il progetto stenta a partire nel verso giusto....(non la stò tirando), ma capirai benissimo che se uno fa una ricerca su teecno e il motore risponde con molta attesa molti utenti si stufano e non lo utilizzano più....

    Mi sbaglio?

    P.S. Non parlate qui di teecno, avete un forum "privato" ?


  • Community Manager

    @shark said:

    Mi sbaglio?

    No, per questo stiamo vagliando varie soluzioni per un motore interno veloce 🙂

    @shark said:

    P.S. Non parlate qui di teecno, avete un forum "privato" ?

    Si, c'è un forum privato. In pubblico è impossibile fare un progetto e portarlo avanti 🙂


  • User

    @Giorgiotave said:

    No, per questo stiamo vagliando varie soluzioni per un motore interno veloce 🙂

    Si, c'è un forum privato. In pubblico è impossibile fare un progetto e portarlo avanti 🙂

    ok, come si fa a partecipare?


  • Community Manager

    @shark said:

    ok, come si fa a partecipare?

    Basta chiedere maggiori informazioni a tonyx 🙂


  • User Attivo

    Ciao,

    ma perchè non prendete in seria considerazione l'idea di sviluppare Teecno in Python (usato anche da Google) e interfacciarsi al MySql utilizzando la libreria MySqlDB?
    Attualmente è quello che sto facendo io (anche se sono proprio agli inizi) e i risultati sono nettamente superiori (oltre ad una migliore gestione).

    Tenete conto di tutto ciò solo se avete intenzione di fare un motore di ricerca "esterno", perchè per creare un motore di ricerca interno basta il PHP.


  • User

    @HyperText said:

    Ciao,

    ma perchè non prendete in seria considerazione l'idea di sviluppare Teecno in Python (usato anche da Google) e interfacciarsi al MySql utilizzando la libreria MySqlDB?
    Attualmente è quello che sto facendo io (anche se sono proprio agli inizi) e i risultati sono nettamente superiori (oltre ad una migliore gestione).

    Tenete conto di tutto ciò solo se avete intenzione di fare un motore di ricerca "esterno", perchè per creare un motore di ricerca interno basta il PHP.

    hey si condivido pienamente quanto hai detto...programmo anche in python, ed è decisamente migliore....
    lo spider ad esmepio non può essere realizzato in php, anche per quello python è la scelta più giusta...

    **HyperText **anche tu stai facendo un motore? E' possibile dargli un'occhiata?


  • User Attivo

    shark, se vuoi ne riparliamo tra un po' di tempo perchè attualmente ho creato solo 2 files: 1 è per l'indicizzazione, l'altro per la ricerca.
    Il problema è che nessuno dei due è completo (ho iniziato il progetto da pochi giorni).
    Appena è un filino funzionale ti faccio vedere qualcosina (anche perchè manca l'interazione con il WEB - PHP -).


  • User

    @HyperText said:

    shark, se vuoi ne riparliamo tra un po' di tempo perchè attualmente ho creato solo 2 files: 1 è per l'indicizzazione, l'altro per la ricerca.
    Il problema è che nessuno dei due è completo (ho iniziato il progetto da pochi giorni).
    Appena è un filino funzionale ti faccio vedere qualcosina (anche perchè manca l'interazione con il WEB - PHP -).

    Ok... invece il tuo sarà un motore "esterno"?
    Per quanto riguarda lo stesso problema di "risorse" te come hai intenzione di fare?


  • User Attivo

    Sì, ma non so se mai lo renderò pubblico... Di certo non nel breve periodo 🙂

    Risorse? Bisognerebbe comprare server dedicati con molta banda al secondo e attualmente non ho tutti questi soldi da investire.
    E successivamente si dovrebbe creare un sistema di organizzazione dei vari server (il server1 è pieno > passare al server 2 ecc.).

    Diciamo che ci vorrebbero dei finanziatori (a cui andrà una percentuale), ma non ora.
    Il progetto è prematuro, troppo prematuro.

    Tra l'altro è quasi impossibile competere con Google e gli altri.
    Dovresti investire moltissimo all'inizio (soldi che non ho e dubito che riuscirei a trovare finanziatori adeguati), perderci per un bel po' di tempo e poi (ma molto in là) recuperare il tutto...

    E' un vero azzardo!


  • User

    ragazzi navigando ho trovato questo: http://www.gigablast.com
    è un motore di ricerca abbastanza veloce, incuriosito, sono andato a vedere su "about" (http://www.gigablast.com/bio.html) ho visto che ha scritto interamente lui quel motore di ricerca....

    Mah secondo voi, un progetto del genere come potrebbe essere finanziato?
    Cavolo ha fatto tutto da solo!


  • User

    @shark said:

    ragazzi navigando ho trovato questo: http://www.gigablast.com
    è un motore di ricerca abbastanza veloce, incuriosito, sono andato a vedere su "about" (http://www.gigablast.com/bio.html) ho visto che ha scritto interamente lui quel motore di ricerca....

    Mah secondo voi, un progetto del genere come potrebbe essere finanziato?
    Cavolo ha fatto tutto da solo!

    molto interessante...
    ha scritto tutto in C++...
    Mi chiedo che algoritmi di indicizzazione avrà usato.... :mmm:


  • User

    @Andriy said:

    molto interessante...
    ha scritto tutto in C++...
    Mi chiedo che algoritmi di indicizzazione avrà usato.... :mmm:

    E' stato davvero bravo...quindi progetti importanti di questo genere possono essere tranquillamente fatti, da persone competenti ovvio, però se lui c'è riuscito non vedo perchè altre persone non ce la possano fare.... comunque per indicizzare tutti quei siti, avrà ottenuto un finanziamento? Che ne pensate?


  • User Attivo

    @shark said:

    E' stato davvero bravo...quindi progetti importanti di questo genere possono essere tranquillamente fatti, da persone competenti ovvio, però se lui c'è riuscito non vedo perchè altre persone non ce la possano fare.... comunque per indicizzare tutti quei siti, avrà ottenuto un finanziamento? Che ne pensate?

    Ormai si è capito puoi avere anche il miglior algoritmo del mondo, ma per indicizzare, gestire e mostrare tutti questi dati devi avere una potenza di calcolo enorme, quindi un enorme quantità di finanziamenti!


  • User Attivo

    Sì, è solo quello il punto cruciale.
    Il resto non è difficile da sviluppare 🙂


  • User

    @HyperText said:

    Sì, è solo quello il punto cruciale.
    Il resto non è difficile da sviluppare 🙂
    dirrei che non è nemmeno facile:D 😄 😄

    Per avere una cosa buona, non serve solo un discreto (almeno) algoritmo, ma anche il software per l'indicizzazione, e per realizzarlo ce ne vuole di tempo visto che si dovrebbero sviluppare diverse librerie, per esempio quella per il controllo del html...


  • User Attivo

    Che intendi per controllo dell'HTML?


  • User

    @HyperText said:

    Che intendi per controllo dell'HTML?

    x controllare la validità del html :D, se è scritto bene o è pieno di errori.. Credo che i siti con html scritto bene dovrebbero avere più vantaggio nei risultati rispetto ai siti che hanno html pieno di errori...