spider "osvi"

[osvi]

uso questo thread per la versione "osvi" dello spider

lo spider quando pronto sarà in grado di:
- leggere gli header inviati dal server (301 aggiorno gli url nel db, 503 taggo come ricontrollare, 200 scarico, ecc)
- gestire il robots.txt (parser già scritto va solo ricontrollato e ottimizzato)
- eliminare i commenti dal codice e tutte le cose inutili
- prendere le parole e metterle in un array (con ricorrenza importanza ecc)
- prendere i link e analizzare le sottopagine (gestendo il nofollow)
- testo e titolo <a>
- spider rss (vedi post di Giorgio)

pensavo di usare una tabella del database con le pagine da esaminare, che ne dite?
ah per inserire nel database.. non ho ben capito (anche perchè non ho letto il codice php e soprattutto la teoria per bene) come funzionano le tabelle del lessico ecc, quindi se a qualcuno andrà di scrivere un po' di documentazione, o semplicemente spiegarmelo, oppure fare una classe dove gli passo il vettore, ...

[Giorgiotave]

Ciao Osvi

Che ne dici se gli facciamo rendere anche il testo dei link? (lo fai già? )

Un'altra cosa

Che ne pensi se tramite gli rss, creassimo uno spider in grado di estrapolare i seguenti dati:

titolo dell'argomento
link
nome del link

Questo per assegnare un punteggio ai link.

Fammi sapere. Tony è alla prese con il SubVersion, è un pò un casino ma ce la farà

[osvi]

lo so che configurare subversion è un impresa biblica forse è meglio se usiamo source forge, oppure opensvn, all'inizio almeno.. anche per non appesantire troppo il server di teecno

hai ragione per il testo dei link (sia dell'ancora sia del title)
però per come è strutturato il database non saprei come metterlo

mmmh devo ragionare un po' su una nuova struttura per il database


per gli rss: non ho ben capito cosa vuoi fare :sto:
uno spider rss?

[Giorgiotave]

osvi

lo so che configurare subversion è un impresa biblica forse è meglio se usiamo source forge, oppure opensvn, all'inizio almeno.. anche per non appesantire troppo il server di teecno

Non è un problema, prendiamo un server solo per Teecno e lasciamo il subversion in questo server, su GT

Poi compriamo anche un secondo server per Teecno, che useremo con i siti che usano Teecno come motore interno, ma ti questo ne parleremo tra qualche giorno in un altro topic

osvi

hai ragione per il testo dei link (sia dell'ancora sia del title)
però per come è strutturato il database non saprei come metterlo

mmmh devo ragionare un po' su una nuova struttura per il database

E si

osvi

per gli rss: non ho ben capito cosa vuoi fare :sto:
uno spider rss?

Si. Praticamente dagli Rss noi estrapoliamo i dati.

Questo per vari motivi:

- creare un motore che usi anche gli RSs per aggiornarsi (e poi uno specifico per le news )
- creare un archivio mensile di link (per assegnare i punteggi)

In questo modo osvi, noi sappiamo che questo mese una risorsa è stata linkata con la chiave X, X volte. L'articolo aveva la chiave nel Title anche.

Capisci....possiamo giocarci, imparare e studiare molte cose

No?

Oltre a questo, puntare sugli Rss

[osvi]

ah sì, certo

un parser rss è anche 100 volte più semplice di uno html
accodo alla lista


edit non mi fa modificare il messaggio puoi mettere te
- testo e titolo <a>
- spider rss (vedi post di Giorgio)
?

[Giorgiotave]

osvi

ah sì, certo

un parser rss è anche 100 volte più semplice di uno html
accodo alla lista


edit non mi fa modificare il messaggio puoi mettere te
- testo e titolo <a>
- spider rss (vedi post di Giorgio)
?

Oki, mi rifai il messaggio e me lo posti in pvt? NOn ho capito bene,
ora ti rispondo al privato

[must]

fate in modo che interpreti correttamente anche gli html entities, poi, eh

[osvi]

si infatti non sarà un problema
avevo già notato che con il codice attule vengono spazzate via

lo spider è in programmazione
non lo sto facendo ad oggetti come spiegato nell'altro thread, cmq una conversione in futuro sarebbe indolore (maledetta debian ma php5 quando lo rilasci?)
ancora è troppo presto anche per uno snapshot, cmq volevo dire ci sto lavorando non è che ho aperto il thread solo per fare qualcosa


vi aggiorno appena ho qualcosa di "alpha"

[Giorgiotave]

Osvi tutto bene dalle tue parti?

[osvi]

purtroppo, devo essere sincero - non ho avuto né tempo né modo
spero di poter sfornare qualcosa di "usabile" appena possibile... non saprei dirti una data (che probabilmente non rispetterei)
prometto però che domenica riguardo il codice già scritto e preparo uno schema di cosa fare, come continuare, ecc

ti faccio sapere

[ot]qualcuno sa come dezendare uno script php?[/ot]

[Giorgiotave]

osvi

purtroppo, devo essere sincero - non ho avuto né tempo né modo
spero di poter sfornare qualcosa di "usabile" appena possibile... non saprei dirti una data (che probabilmente non rispetterei)
prometto però che domenica riguardo il codice già scritto e preparo uno schema di cosa fare, come continuare, ecc

ti faccio sapere

Ottimo e molto interessante

Sopratutto il come continuare, grazie mille e fai con calma Osvi

Giorgio

[osvi]

visto che si mette male e non esco, ci lavoro ora

a seconda dei risultati aggiornerò questo post e/o upperò il lavoro parziale su svn

[osvi]

primo aggiornamento: ho cambiato lo schema del database
sistemo il codice di spider.php (senza aggiungere migliorie) rendendolo compatibile col nuovo schema e pubblico

[Giorgiotave]

Okey Perfetto

[osvi]

qualcun'altro si vuole aggregare a me?
in due sarebbe più semplice e più veloce

info msn:samy_morgan§msn.com gtalk:francesco.monte§gmail.com