Secondo me non andiamo da nessuna parte, tenete presente che con un buon spider si riesce a raggiungere nel database più di 1 milione di pagine al mese.. Però leggendo diversi forum sul database mysql ho visto che quest'ultimo si blocca quando supera circa 500.000-800.000 record...
E' già pesante avere così tanti record piccoli, invece ho letto che volete addirittura mettere le cache nel database.. Cioè queste pesano...
Secondo me come detto sopra non si va da nessuna parte ammeno che non si inventa qualcosa per risolvere questo problema..
E' inutile costruire tutto se poi non possiamo inserire nel database più di 500 mila record..
C'è un modo per aggirare questo problema??
O magari si utilizza un altro database più potente?? O anche altri hanno questi limiti??