- Inserito il servizio di Crawler che gestisce la coda dei link
- Test inserendo un unico link di partenza e 9 thread paralleli
- Problema che scarica più colte alcuni file.
- DA RIVEDERE ABILITAZIONE DEL LINK per evitare doppioni
ToDo:
- Aggiungere gestione parallela
- Aggiungere analisi di quanto downloadato per estrarre altri link e proseguire con lo skraping
- Aumentare i log in modo da tenere traccia di quanto succede
- Animare la UI in modo da far capire cosa succede
- Testata estrazione die link alle pagine di indice
- Testata estrazione dei link ai racconti
- iniziato ad inserire un service per la gestione parallela.
ToDo:
- Aggiungere gestione parallela
- Aggiungere analisi di quanto downloadato per estrarre altri link e proseguire con lo skraping
- Aumentare i log in modo da tenere traccia di quanto succede
- Animare la UI in modo da far capire cosa succede
- creato client che gestisce l'autenticazione asincrona al sito.
- Test di download delle pagine libere
- Test di download delle pagine protette
ToDo:
- Aggiungere gestione parallela
- Aggiungere analisi di quanto downloadato per estrarre altri link e proseguire con lo skraping
- Aumentare i log in modo da tenere traccia di quanto succede
- Animare la UI in modo da far capire cosa succede
Compilata da CSiCoAlm il 2025/12/24 per rivedere il progetto, perchè ora
il sito richiede autenticazione. Senza autenticarsi, si vedono solo le pagine
iniziali degli indici e quindi si riescono a raggiungere solo i racconti di cui
si conosce il link.
- Corretto il path di test dell'applicazione
- Rivisto il codice per fare punto di partenza sul nuovo sviluppo
- Corretto creazione nuovo DB quando manca (creata cartella se non esiste)
- Aggiunto salvataggio degli indici per facilitare analisi e nuovo sviluppo
Compilata da CSiCoAlm il 2022/09/22
- Versione in cui ho sostituito l'oggetto WebBrowser con
la classe WebClient per poter gestire in parallelo i download.
Compilata da CSiCoAlm il 2022/09/21
- Tornato alla versione precedente (0.2.0.1) perchè in parallelo, si raggiunge il limite di download del sito che chiede il login per continuare.
- la richiesta di login tramite il sito "https://www.annunci69.it/accedi.php?nop" porta i seguenti problemi:
- il link non è riconosciuto e non lo utilizzo
- i download si bloccano e quindi anche se dò il comando di stop, non riesco a chiudere perchè non vi è più l'evento Wb_DocumentCompleted.
- Per risolvere i problemi, come primo tentativo elimino il link di log dal download
Compilata da CSiCoAlm il 2022/09/21
- Compilato sul nuovo PC
- Corretto anomalia del doppio evento Wb_DocumentCompleted,
che mi portava a perdere il download dei link pari.
Compilata da CSiCoAlm il 2021/11/07
- Corretto bug rilevato (ISSUE 01)
- Inserita solita icona per i tools.
- Sistemato la classe cTools inserendo tutti i tools trovati finora
Compilata da CSiCoAlm il 2021/10/29
- Corretto salvataggio dei file di racconti, per evitare l'errore del formato (lettere accentate e caratteri particolari).
- Fatto anche dei test di salvataggio dei testi per trovare il corretto formato dell'encode.
Compilata da CSiCoAlm il 2021/10/27
- Inserito l'importazione di link (solo Idx o Rac di A69) da file di testo.
- Corretto Load/Save degli elenchi sul DB
Compilata da CSiCoAlm il 2021/10/27
- Corretto formato del numero di versione
- Razionalizzato il messaggio di update dell'engine.
- Inserito gli aggiornamenti dell'engine sul log degli eventi
- Compilata da CSiCoAlm il 2021/10/27
- Versione dal funzionamento simile a prima, ma che:
- Serializza lo stato su DB SQLite
- Utilizza il file di configurazione per parametrizzare il funzionamento
- Esegue un log basilare delle operazioni principali
- Manca:
- Sviluppare gli eventi loggati, che ora sono troppo basilari.
- Gestione in thread paralleli dei download
- Riduzione ad icona per non visualizzare il tutto (privacy)
- Rendere l'applicativo consol, in modo che non vi sia interfaccia utente.
CSiCoAlm