Un gravissimo problema non considerato

[Andriy]

Secondo me non andiamo da nessuna parte, tenete presente che con un buon spider si riesce a raggiungere nel database più di 1 milione di pagine al mese.. Però leggendo diversi forum sul database mysql ho visto che quest'ultimo si blocca quando supera circa 500.000-800.000 record...

E' già pesante avere così tanti record piccoli, invece ho letto che volete addirittura mettere le cache nel database.. Cioè queste pesano...

Secondo me come detto sopra non si va da nessuna parte ammeno che non si inventa qualcosa per risolvere questo problema..
E' inutile costruire tutto se poi non possiamo inserire nel database più di 500 mila record..

C'è un modo per aggirare questo problema??
O magari si utilizza un altro database più potente?? O anche altri hanno questi limiti??

[massy]

E' inutile costruire tutto se poi non possiamo inserire nel database più di 500 mila record..

Dove hai trovato st'informazione?

Ho db mysql con più di 5.000.000 di record. E vanno. E pure velocemente.

Mysql ha ben altri problemi, non certo questi.

[Andriy]

massy

Dove hai trovato st'informazione?

Ho db mysql con più di 5.000.000 di record. E vanno. E pure velocemente.

Mysql ha ben altri problemi, non certo questi.

Ho trovato questo problema in diverse discussioni nei diversi forum italiani e inglesi, si può trovare anche sul forum di html.it diversi problemi riscontrati quando si superano 500 mila record...

Quali diversi problemi ha MySQL??


PS: E' se si usasse Oracle?? Non è molto meglio di MySQL??

[massy]

PS: E' se si usasse Oracle?? Non è molto meglio di MySQL??

Certo. Anzi forse. Solo che è *leggermente* più costoso.

Perché secondo te è meglio oracle?
Da cosa l'hai dedotto? Lascia stare i si dice e i vari: meglio questo di quest'altro.
Perché lo è secondo te?
Cosa ci guadagneremo? Vale la spesa?

Oracle è un gran bel db. Nessuno lo nega. Ma perché non postgres ad esempio?

Abbiamo bisogno in teecno delle funzionalità che mysql mal gestisce?

Ecco. Dopo aver ottenuta una risposta a tali domande si può discutere sulla scelta, non sei d'accordo?

[Andriy]

massy

Certo. Anzi forse. Solo che è *leggermente* più costoso.

Perché secondo te è meglio oracle?
Da cosa l'hai dedotto? Lascia stare i si dice e i vari: meglio questo di quest'altro.
Perché lo è secondo te?
Cosa ci guadagneremo? Vale la spesa?

Oracle è un gran bel db. Nessuno lo nega. Ma perché non postgres ad esempio?

Abbiamo bisogno in teecno delle funzionalità che mysql mal gestisce?

Ecco. Dopo aver ottenuta una risposta a tali domande si può discutere sulla scelta, non sei d'accordo?

Certo che sono d'accordo.
Allora lasciamo stare PostgreSQL che non mi piace proprio.. Lo avevo su uno dei miei server e ti assicuro che non conviene... Oltre ad essere anche più lento di MySQL, non è stabile, quando si arrivano a una centinaia di ricchieste contemporaee quest'ultimo crasha per la maggior parte dei casi.. Infatti anche tutti i provider che all'inizio lo utilizzavano adesso lo hanno tolto da mezzo per questa causa dell'instabilità...

Guarda non ho nulla da dire su MySQL anche perchè lo conoscete ormai tutti, però da quello che leggo sui diversi forum per la maggior parte gli script vanno in timeout quando si ha più di 500-800 mila record nel database.. Poi visto che non sono mai arrivato a tanti record non posso dire con certezza che questa cosa è vera, può darsi che loro hanno configurato male MySQL o Apache, o creato script in un modo incorretto...

Oracle invece più stabile e veloce di MySQL, almeno quello che ho letto sui diversi siti..

Poi in nostro caso ci serve un database più stabile e veloce che ci sia, visto che il motore di ricerca non è una cosa da poco..
Cioè si potranno arrivare anche a un paio di mila di ricchieste di record contemporaneamente con database che peseranno diversi giga...
In questo caso: In quanto temo viene effettuata una ricerca??
Ci serve che fa una ricerca in non oltre 2,0 secondi altrimenti le persone non faranno le ricerche se sarà lento e se ne andranno visto che ci sono già diversi motori di ricerca più potenti...

Non so se sto facendo un raggionamento corretto o pure sbaglio, se è così ditelo che mi sto meglio zitto e non faccio magari brutte figuracce..

[Sawadee]

massy

Dove hai trovato st'informazione?

Ho db mysql con più di 5.000.000 di record. E vanno. E pure velocemente.

Mysql ha ben altri problemi, non certo questi.

Anche io non ho nessun problema:
Tabelle = 112
Record = 4.1037.289
Tipo = MylSAM
Dimensione = 183,3 MB

Ciaooooo

[paolino]

mmm non capisco le tue preoccupazioni Andriy

personalmente ho avuto modo di avere a che fare con i 3 DB in questione ( Oracle, MySql e PostgreSql )

Oracle è certamente il modello da imitare per tutti gli altri ma ovviamente costa....chiaramente per applicazioni in cui la concorrenza nelle richieste è elevata si comporta molto meglio degli altri, tuttavia paghi un prezzo salato in termini di risorse hardware....chi vuole usare Oracle per qualcosa di serio è meglio che prende in seria considerazione di comprare una palazzina e riempirla di server

PostgreSql ha avuto in passato molti problemi a causa di instabilità e performance scadenti, ovviamente avevano considerato prioritario implementare un alto numero di feature senza curarsi delle performance....l'hanno capito alla fine e con la versione 8, PostgreSql è un DB stabile, quasi alla pari di Oracle anche se le performance vanno limate ancora, tuttavia reagisce bene a carichi elevati

MySql è un ottimo DB anche se non implementa tutte quelle strane feature alla StarTrek, comunque c'è gente che ne ha bisogno e quindi sceglie gli altri 2 DB....se però quelle feature non sono necessarie è meglio usare MySql....ho sentito cavolate di ogni genere su MySql ( non è stabile, ha un limite di X record, va in crash, è lento da morire ).....ok forse il confronto viene fatto con la release 3 e questo per colpa del 90% degli hoster che continuano a propinare questa versione ( speriamo che per il 2020 riusciranno ad installare almeno la 4 )

se parliamo di MySql 5, beh, posso solo dire che è straordinario, i problemi di cui tanto si parla francamente non li ho visti, limiti nel numero di record non ce ne sono e la robustezza è accettabile, è scalabile a sufficienza e in termini di performance e risorse hardware è uno dei migliori.....

beh direi che voto decisamente per MySql

[Andriy]

bene, allora si prova con MySQL 5.. sperando in bene...

[domenico biancardi]

ma avete presente quanto è grosso il database di wikipedia?
sapete che cosa usato? mysql...

[Everfluxx]

Se è per quello, anche Yahoo! usa MySQL (non per il motore di ricerca, ma per diverse sezioni del portale, come ad es. Yahoo! Finance).

Case study qui [PDF]: http://www.mysql.com/why-mysql/case-...-casestudy.pdf

[paolino]

la release 3 di MySql crea qualche problema con carichi molto elevati, però aggiornarsi alla 5 non costa molto......

consiglio di dare uno sguardo alla versione OpenSource di Oracle http://www.oracle.com/technology/sof...-db/index.html

[Dragone67]

22 tabelle, 15 milioni di record, 2,3 Gb nessun problema con Mysql

Byez

[AlbertoSeo]

Io mi concentrerei sulla parte concettuale del lavoro, astraendo dalla implementazione sul tal DBMS.
Sul fatto dei carichi e del relativo tempo di risposta, non mi preoccuperei se lo scopo del progetto non è quello di fare la concorrenza a google e compagni, ma invece un modo costruttivo e per capire e mettere le mani dal vero su certe questioni.

[paolino]

certamente è più importante sviluppare gli algoritmi nel modo migliore possibile....

tuttavia in questo settore occorrono molti dati e molti dati significano per forza una grande mole di lavoro per i computer e quindi vale la pena soffermarsi un attimo a riflettere sulle performance dei vari DBMS

[faster2b]

Ciao a tutti, sono un nuovo iscritto,
complimenti per il vostro progetto,
tranquilli per il mysql, ho un db (mysql 5)con più di 15 milioni di record, di circa 20gb con tantissime query al minuto (insert e select giorno e notte) e gira da 2 anni che è una meraviglia su un semplice athlon 2.6ghz e 512 mb.


Ciao e auguri di buone feste