+ Rispondi alla Discussione
Risultati da 1 a 32 di 32

Un gravissimo problema non considerato

Ultimo Messaggio di Markuz il:
  1. #1
    User
    Data Registrazione
    Nov 2006
    Località
    Napoli
    Messaggi
    68

    Un gravissimo problema non considerato

    Secondo me non andiamo da nessuna parte, tenete presente che con un buon spider si riesce a raggiungere nel database più di 1 milione di pagine al mese.. Però leggendo diversi forum sul database mysql ho visto che quest'ultimo si blocca quando supera circa 500.000-800.000 record...

    E' già pesante avere così tanti record piccoli, invece ho letto che volete addirittura mettere le cache nel database.. Cioè queste pesano...

    Secondo me come detto sopra non si va da nessuna parte ammeno che non si inventa qualcosa per risolvere questo problema..
    E' inutile costruire tutto se poi non possiamo inserire nel database più di 500 mila record..

    C'è un modo per aggirare questo problema??
    O magari si utilizza un altro database più potente?? O anche altri hanno questi limiti??

  2. #2
    User Attivo L'avatar di massy
    Data Registrazione
    Mar 2006
    Località
    Pico
    Messaggi
    1,014
    E' inutile costruire tutto se poi non possiamo inserire nel database più di 500 mila record..
    Dove hai trovato st'informazione?

    Ho db mysql con più di 5.000.000 di record. E vanno. E pure velocemente.

    Mysql ha ben altri problemi, non certo questi.

  3. #3
    User
    Data Registrazione
    Nov 2006
    Località
    Napoli
    Messaggi
    68
    Citazione Originariamente Scritto da massy
    Dove hai trovato st'informazione?

    Ho db mysql con più di 5.000.000 di record. E vanno. E pure velocemente.

    Mysql ha ben altri problemi, non certo questi.
    Ho trovato questo problema in diverse discussioni nei diversi forum italiani e inglesi, si può trovare anche sul forum di html.it diversi problemi riscontrati quando si superano 500 mila record...

    Quali diversi problemi ha MySQL??


    PS: E' se si usasse Oracle?? Non è molto meglio di MySQL??

  4. #4
    User Attivo L'avatar di massy
    Data Registrazione
    Mar 2006
    Località
    Pico
    Messaggi
    1,014
    PS: E' se si usasse Oracle?? Non è molto meglio di MySQL??
    Certo. Anzi forse. Solo che è *leggermente* più costoso.

    Perché secondo te è meglio oracle?
    Da cosa l'hai dedotto? Lascia stare i si dice e i vari: meglio questo di quest'altro.
    Perché lo è secondo te?
    Cosa ci guadagneremo? Vale la spesa?

    Oracle è un gran bel db. Nessuno lo nega. Ma perché non postgres ad esempio?

    Abbiamo bisogno in teecno delle funzionalità che mysql mal gestisce?

    Ecco. Dopo aver ottenuta una risposta a tali domande si può discutere sulla scelta, non sei d'accordo?

  5. #5
    User
    Data Registrazione
    Nov 2006
    Località
    Napoli
    Messaggi
    68
    Citazione Originariamente Scritto da massy
    Certo. Anzi forse. Solo che è *leggermente* più costoso.

    Perché secondo te è meglio oracle?
    Da cosa l'hai dedotto? Lascia stare i si dice e i vari: meglio questo di quest'altro.
    Perché lo è secondo te?
    Cosa ci guadagneremo? Vale la spesa?

    Oracle è un gran bel db. Nessuno lo nega. Ma perché non postgres ad esempio?

    Abbiamo bisogno in teecno delle funzionalità che mysql mal gestisce?

    Ecco. Dopo aver ottenuta una risposta a tali domande si può discutere sulla scelta, non sei d'accordo?
    Certo che sono d'accordo.
    Allora lasciamo stare PostgreSQL che non mi piace proprio.. Lo avevo su uno dei miei server e ti assicuro che non conviene... Oltre ad essere anche più lento di MySQL, non è stabile, quando si arrivano a una centinaia di ricchieste contemporaee quest'ultimo crasha per la maggior parte dei casi.. Infatti anche tutti i provider che all'inizio lo utilizzavano adesso lo hanno tolto da mezzo per questa causa dell'instabilità...

    Guarda non ho nulla da dire su MySQL anche perchè lo conoscete ormai tutti, però da quello che leggo sui diversi forum per la maggior parte gli script vanno in timeout quando si ha più di 500-800 mila record nel database.. Poi visto che non sono mai arrivato a tanti record non posso dire con certezza che questa cosa è vera, può darsi che loro hanno configurato male MySQL o Apache, o creato script in un modo incorretto...

    Oracle invece più stabile e veloce di MySQL, almeno quello che ho letto sui diversi siti..

    Poi in nostro caso ci serve un database più stabile e veloce che ci sia, visto che il motore di ricerca non è una cosa da poco..
    Cioè si potranno arrivare anche a un paio di mila di ricchieste di record contemporaneamente con database che peseranno diversi giga...
    In questo caso: In quanto temo viene effettuata una ricerca??
    Ci serve che fa una ricerca in non oltre 2,0 secondi altrimenti le persone non faranno le ricerche se sarà lento e se ne andranno visto che ci sono già diversi motori di ricerca più potenti...

    Non so se sto facendo un raggionamento corretto o pure sbaglio, se è così ditelo che mi sto meglio zitto e non faccio magari brutte figuracce..

  6. #6
    User L'avatar di Sawadee
    Data Registrazione
    Aug 2005
    Località
    Patong Beach, Phuket, Thailand
    Messaggi
    147
    Citazione Originariamente Scritto da massy
    Dove hai trovato st'informazione?

    Ho db mysql con più di 5.000.000 di record. E vanno. E pure velocemente.

    Mysql ha ben altri problemi, non certo questi.
    Anche io non ho nessun problema:
    Tabelle = 112
    Record = 4.1037.289
    Tipo = MylSAM
    Dimensione = 183,3 MB

    Ciaooooo

  7. #7
    Moderatore L'avatar di paolino
    Data Registrazione
    Apr 2005
    Località
    San Cipriano Beach
    Messaggi
    5,046
    mmm non capisco le tue preoccupazioni Andriy

    personalmente ho avuto modo di avere a che fare con i 3 DB in questione ( Oracle, MySql e PostgreSql )

    Oracle è certamente il modello da imitare per tutti gli altri ma ovviamente costa....chiaramente per applicazioni in cui la concorrenza nelle richieste è elevata si comporta molto meglio degli altri, tuttavia paghi un prezzo salato in termini di risorse hardware....chi vuole usare Oracle per qualcosa di serio è meglio che prende in seria considerazione di comprare una palazzina e riempirla di server

    PostgreSql ha avuto in passato molti problemi a causa di instabilità e performance scadenti, ovviamente avevano considerato prioritario implementare un alto numero di feature senza curarsi delle performance....l'hanno capito alla fine e con la versione 8, PostgreSql è un DB stabile, quasi alla pari di Oracle anche se le performance vanno limate ancora, tuttavia reagisce bene a carichi elevati

    MySql è un ottimo DB anche se non implementa tutte quelle strane feature alla StarTrek, comunque c'è gente che ne ha bisogno e quindi sceglie gli altri 2 DB....se però quelle feature non sono necessarie è meglio usare MySql....ho sentito cavolate di ogni genere su MySql ( non è stabile, ha un limite di X record, va in crash, è lento da morire ).....ok forse il confronto viene fatto con la release 3 e questo per colpa del 90% degli hoster che continuano a propinare questa versione ( speriamo che per il 2020 riusciranno ad installare almeno la 4 )

    se parliamo di MySql 5, beh, posso solo dire che è straordinario, i problemi di cui tanto si parla francamente non li ho visti, limiti nel numero di record non ce ne sono e la robustezza è accettabile, è scalabile a sufficienza e in termini di performance e risorse hardware è uno dei migliori.....

    beh direi che voto decisamente per MySql

  8. #8
    User
    Data Registrazione
    Nov 2006
    Località
    Napoli
    Messaggi
    68
    bene, allora si prova con MySQL 5.. sperando in bene...

  9. #9
    Esperto L'avatar di domenico biancardi
    Data Registrazione
    Aug 2006
    Messaggi
    547
    ma avete presente quanto è grosso il database di wikipedia?
    sapete che cosa usato? mysql...

  10. #10
    Esperto L'avatar di Everfluxx
    Data Registrazione
    Jun 2006
    Località
    Subpadania
    Messaggi
    1,257
    Se è per quello, anche Yahoo! usa MySQL (non per il motore di ricerca, ma per diverse sezioni del portale, come ad es. Yahoo! Finance).

    Case study qui [PDF]: http://www.mysql.com/why-mysql/case-...-casestudy.pdf

  11. #11
    Moderatore L'avatar di paolino
    Data Registrazione
    Apr 2005
    Località
    San Cipriano Beach
    Messaggi
    5,046
    la release 3 di MySql crea qualche problema con carichi molto elevati, però aggiornarsi alla 5 non costa molto......

    consiglio di dare uno sguardo alla versione OpenSource di Oracle http://www.oracle.com/technology/sof...-db/index.html

  12. #12
    User
    Data Registrazione
    Jul 2005
    Messaggi
    185
    22 tabelle, 15 milioni di record, 2,3 Gb nessun problema con Mysql

    Byez

  13. #13
    User
    Data Registrazione
    Oct 2006
    Messaggi
    228
    Io mi concentrerei sulla parte concettuale del lavoro, astraendo dalla implementazione sul tal DBMS.
    Sul fatto dei carichi e del relativo tempo di risposta, non mi preoccuperei se lo scopo del progetto non è quello di fare la concorrenza a google e compagni, ma invece un modo costruttivo e per capire e mettere le mani dal vero su certe questioni.

  14. #14
    Moderatore L'avatar di paolino
    Data Registrazione
    Apr 2005
    Località
    San Cipriano Beach
    Messaggi
    5,046
    certamente è più importante sviluppare gli algoritmi nel modo migliore possibile....

    tuttavia in questo settore occorrono molti dati e molti dati significano per forza una grande mole di lavoro per i computer e quindi vale la pena soffermarsi un attimo a riflettere sulle performance dei vari DBMS

  15. #15
    User
    Data Registrazione
    Dec 2006
    Località
    Barcelona
    Messaggi
    34
    Ciao a tutti, sono un nuovo iscritto,
    complimenti per il vostro progetto,
    tranquilli per il mysql, ho un db (mysql 5)con più di 15 milioni di record, di circa 20gb con tantissime query al minuto (insert e select giorno e notte) e gira da 2 anni che è una meraviglia su un semplice athlon 2.6ghz e 512 mb.


    Ciao e auguri di buone feste

  16. #16
    User
    Data Registrazione
    Nov 2006
    Località
    Napoli
    Messaggi
    68
    Citazione Originariamente Scritto da faster2b
    Ciao a tutti, sono un nuovo iscritto,
    complimenti per il vostro progetto,
    tranquilli per il mysql, ho un db (mysql 5)con più di 15 milioni di record, di circa 20gb con tantissime query al minuto (insert e select giorno e notte) e gira da 2 anni che è una meraviglia su un semplice athlon 2.6ghz e 512 mb.


    Ciao e auguri di buone feste

    auguri di buone feste anche a te..

    Cmq in un motore di ricerca non ci saranno 15 milioni di record, ma almeno 1000 volte di più... Però questo vale solo per il motore di ricerca vero e proprio. Nel caso del motore di ricerca interno il mysql è OK..

  17. #17
    K_D
    K_D è offline
    Non iscritto L'avatar di K_D
    Data Registrazione
    Dec 2006
    Messaggi
    75
    Citazione Originariamente Scritto da Andriy
    Certo che sono d'accordo.
    Allora lasciamo stare PostgreSQL che non mi piace proprio.. Lo avevo su uno dei miei server e ti assicuro che non conviene... Oltre ad essere anche più lento di MySQL, non è stabile, quando si arrivano a una centinaia di ricchieste contemporaee quest'ultimo crasha per la maggior parte dei casi.. Infatti anche tutti i provider che all'inizio lo utilizzavano adesso lo hanno tolto da mezzo per questa causa dell'instabilità...
    Come ti hanno gia' risposto anche altri postgresql non ha alcun problema di stabilita'. Se li ha avuti in passato (e non me ne ricordo onestamente) dalla mia esperienza direi che li ha abbondantemente superati da secoli

    Guarda non ho nulla da dire su MySQL anche perchè lo conoscete ormai tutti, però da quello che leggo sui diversi forum per la maggior parte gli script vanno in timeout quando si ha più di 500-800 mila record nel database.. Poi visto che non sono mai arrivato a tanti record non posso dire con certezza che questa cosa è vera, può darsi che loro hanno configurato male MySQL o Apache, o creato script in un modo incorretto...
    Non ho mai visto un timeout derivante da mysql, al 99% si tratta di configurazione errate di apache, php o mysql, ma non direi proprio che si tratti di mysql che supporta senza alcun problema milioni e milioni di record.

    Oracle invece più stabile e veloce di MySQL, almeno quello che ho letto sui diversi siti..
    Oracle ha alcune funzionalita' in piu' rispetto a mysql e probabilmente per alcune cose e' piu' indicato ma per un progetto come questo dubito abbia qualche reale vantaggio passare ad un db che costa qualche migliaia di euro e che e' decisamente piu' complesso.

  18. #18
    User
    Data Registrazione
    Dec 2006
    Località
    Barcelona
    Messaggi
    34
    Citazione Originariamente Scritto da Andriy
    auguri di buone feste anche a te..

    Cmq in un motore di ricerca non ci saranno 15 milioni di record, ma almeno 1000 volte di più... Però questo vale solo per il motore di ricerca vero e proprio. Nel caso del motore di ricerca interno il mysql è OK..
    Ciao,
    ho letto un po di più sul progetto, certo, il mysql può essere usato per il motore di ricerca interno (anche se personalmente per tanti motivi preferisco postgresql),
    ma per realizzare un motore di ricerca completo non è pensabile usare ne mysql ne php.

  19. #19
    User
    Data Registrazione
    Nov 2006
    Località
    Napoli
    Messaggi
    68
    Citazione Originariamente Scritto da faster2b
    Ciao,
    ho letto un po di più sul progetto, certo, il mysql può essere usato per il motore di ricerca interno (anche se personalmente per tanti motivi preferisco postgresql),
    ma per realizzare un motore di ricerca completo non è pensabile usare ne mysql ne php.
    Nel caso di un motore di ricerca normale, io dirrei che il php è ottimo per quanto riguarda il recupero dei risultati.. Invece per lo spider non se ne parla proprio, si deve fare in C++ per avere dei buoni risultati...

  20. #20
    SSD
    SSD è offline
    User Newbie
    Data Registrazione
    Jan 2007
    Messaggi
    5
    Ciao a tutti,
    io invece ho un problema di questo tipo:
    Database MySql 5 su RedHat Enterprise con all'interno varie tabelle ma una avente 1.000.000 di records circa e di 170 Mb e da quando si sono raggiunti questi valori il Db è quasi completamente fermo. Dove posso mettere le mani per ottimizzare le prestazioni di MySql? Grazie sono nel panico!!

  21. #21
    Utente Premium
    Data Registrazione
    Dec 2006
    Messaggi
    177
    Prova ad utilizzare gli indici.

  22. #22
    SSD
    SSD è offline
    User Newbie
    Data Registrazione
    Jan 2007
    Messaggi
    5
    Il Db è già indicizzato... e nelle qry in molti casi recupero i dati con il fetch_row... Ma è sempre lentissimo... qualche dritta per i file di configurazione?

  23. #23
    Utente Premium
    Data Registrazione
    Dec 2006
    Messaggi
    177

  24. #24
    SSD
    SSD è offline
    User Newbie
    Data Registrazione
    Jan 2007
    Messaggi
    5
    In riferimento al problema di lentezza del Db MySql è possibile che sia invece la configurazione di Apache a madare in crisi la macchina? Avete suggerimenti?

  25. #25
    SSD
    SSD è offline
    User Newbie
    Data Registrazione
    Jan 2007
    Messaggi
    5
    ... mi spiego meglio, la configurazione di MySql è spinta al massimo e lanciando il top della macchina i processi di mysql non si vedono nemmeno ma di query ne vengono eseguite centinaia ogni minuto. Dal top, invece, si vedono numerosissimi processi httpd... sarà Apache il problema?
    Ultima modifica di SSD; 26-01-07 alle 17:33

  26. #26
    User Attivo L'avatar di must
    Data Registrazione
    Mar 2005
    Località
    Swieqi, Malta
    Messaggi
    4,327
    Segui must su Twitter Aggiungi must su Google+ Aggiungi must su Facebook Aggiungi must su Linkedin
    Citazione Originariamente Scritto da SSD
    ... mi spiego meglio, la configurazione di MySql è spinta al massimo e lanciando il top della macchina i processi di mysql non si vedono nemmeno ma di query ne vengono eseguite centinaia ogni minuto. Dal top, invece, si vedono numerosissimi processi httpd... sarà Apache il problema?
    il tuning di apache + mysql dipende molto dall'hardware e dalle connessioni che si ricevono.
    e cmq mysql non lo vedrai con top, finché non ordini i dati in base alla memoria usata (pigia M e lo vedrai tra i primi).
    in ogni caso, temo siamo tremendamente OT. se hai bisogno di aiuto, ti consiglio di aprire un thread (qui?) riportando un po' di dati di configurazione di apache e mysql, un output di top e di netstat -nat|grep :80|grep ESTA|wc -l
    e ovviamente, anche se usi connect o pconnect.
    anche l'output di mytop sarebbe utile.
    cosí, tanto per iniziare a farci un'idea.

  27. #27
    User
    Data Registrazione
    Oct 2006
    Messaggi
    228
    Apache è un webserver molto diffuso ed anche abbastanza rapido. Ma quando si tratta di pura velocità c'è solo Zeus. Come saprete Zeus costa una cifra (ne vale tutta), ma in alternativa se volete un server HTTP molto più rapido di Apache e che costi nulla ecco: http://www.lighttpd.net (le sue prestazioni tendono a quelle di Zeus).

    Per quanto riguarda Mysql non è la soluzione ideale per questi progetti, ma dato l'ambito di impiego non vie è nulla di più indicabile. Per i problemi sopra indicati ci sarebbero dozzine di spiegazioni. Basterebbe leggere la relativa manualistica.

    Per quanto attiene la questione del linguaggio Php, è chiaro a tutti che si tratti di una forzatura pazzesca, ma inquandrando il suo utilizzo con la motivazione offerta da giorgio, credo che non ci sia nulla da obiettare. Per questioni legate alle performance c'è poco da scegliere: c, c++, phyton.

    Anche l'architettura è fondamentale. L'applicazione deve essere distribuita, scalabile e modulare? Si vuole operare in ambienti di multiprogrammazione, multielaborazione?

    ===

    Già che mi trovo: esiste una documentazione organica della architettura di progetto che sia visionabile? Mi piacerebbe sbirciarla per capire se possa rendermi utile.
    Ultima modifica di AlbertoSeo; 27-01-07 alle 16:35

  28. #28
    Esperto
    Data Registrazione
    Oct 2006
    Messaggi
    336
    o magari il problema è più semplice, magari un 'WHERE col LIKE %val%' in una tabella da 1.000.000 di record

  29. #29
    User L'avatar di 4ustat
    Data Registrazione
    Feb 2007
    Messaggi
    94
    il nostro sistema e' basato su Linux e Mysql...
    non ci sono assolutamente problemi per la grandezza del DB...

  30. #30
    User
    Data Registrazione
    Dec 2006
    Località
    Barcelona
    Messaggi
    34
    Citazione Originariamente Scritto da SSD Visualizza Messaggio
    Il Db è già indicizzato... e nelle qry in molti casi recupero i dati con il fetch_row... Ma è sempre lentissimo... qualche dritta per i file di configurazione?
    Ciao,
    aggiungi EXPLAIN all'inizio della query, e posta i risultati che ti fornisce mysql, secondo me c'è un problema nella query strutturata male (oppure una ricerca non indicizzata).

  31. #31
    User L'avatar di 4ustat
    Data Registrazione
    Feb 2007
    Messaggi
    94
    hai attivato la cache sulle query ??

    ritornando al topic principale non penserete davvero che gli utenti finali interagiscano con il db in modo diretto vero ?

    non vedo problemi per l'uso di mysql, piu' che altro bisognerebbe sapere a che punto e' il progetto

  32. #32
    User
    Data Registrazione
    Aug 2007
    Messaggi
    143

    Ma tutti queste query...

    Ma queste query sul database le avete sul motore di ricerca oppure semplicemente su sito web?

+ Rispondi alla Discussione

Tag per Questa Discussione

^ Permessi di Scrittura

  • Tu non puoi inviare nuove discussioni
  • Tu non puoi inviare risposte
  • Tu non puoi inviare allegati
  • Tu non puoi modificare i tuoi messaggi
  •  
  • Il codice BB è Attivato
  • Le faccine sono Attivato
  • Il codice [IMG] è Attivato
  • Il codice [VIDEO] è Attivato
  • Il codice HTML è Disattivato
  • Trackbacks Attivato
  • Pingback Attivato
  • Refback Attivato

SEO by vBSEO 3.6.0 PL2 ©2011, Crawlability, Inc.