CSiCoAlm
9d7939164f
Compilata da CSiCoAlm il 2021/10/29 - Modificato path di salvataggio dei file per farlo analogo a ATWD.
4.8 KiB
Web Scraper per A69
- Inserire nello stato i conteggio dei link
- Inserire il conto dei link anche sul nome del file o fare report
- Verificare il formato di salvataggio, perchè le accentuate e alcuni segni vengono male.
- Fare parser di un file di link che inserisce quelli nuovi sul toDownload o li inserisce sul DB con lo stato ToDownload.
- Vrs 0.2.0.0
- Vrs 0.1.5.4
- Vrs 0.1.5.3
- Vrs 0.1.5.2
- Vrs 0.1.5.1
- Vrs 0.1.5.0
- Test funzionamento in consol:
- Vrs 0.1.0.0
TODO Inserire nello stato i conteggio dei link
TODO Inserire il conto dei link anche sul nome del file o fare report
Inserire sul nome dei file, oltre alla data anche il numero di link che contengono, oppure fare un report che riassuma quanto fatto e che torna utile per confrontare due download diversi ecc…
TODO Verificare il formato di salvataggio, perchè le accentuate e alcuni segni vengono male.
TODO Fare parser di un file di link che inserisce quelli nuovi sul toDownload o li inserisce sul DB con lo stato ToDownload.
TODO Vrs 0.2.0.0 WORKING
Applicazione che salva tutto su SQLite, inoltre è del tutto automatizzata e quindi basta avviarla e quando ha finito si spegne, altrimenti è sempre possibile fermarla a comando, senza perdere traccia di quanto fatto.
Per serializzare i dati utilizzo SQLlite con la tabella che mi permetta di risalire velocemente ai link fatti, e a quelli da fare
| URL | Tipo | Stato | Update |
- URL
- indica l'url a cui vi è la pagina da downloadare (sia indice che racconto)
- Tipo
- indica la tipologia della pagina, cioè Idx per le pagine che sono indici/elenchi di racconti
- Stato
-
Indica lo stato associato al link che sarà definito in basee alla seguente enumerazione LinkStatusEnum:
- ToDownload
- Downloading
- Downloaded
e quindi all'avvio, mi basta caricare l'elenco dei link che hanno stato diverso da Downloaded e riprendere il download
- Update
- indica la data in cui eseguo l'ultimo update al record
DONE Vrs 0.1.5.4 DONE
Compilata da CSiCoAlm il 2021/10/29
- Modificato path di salvataggio dei file per farlo analogo a ATWD.
DONE Vrs 0.1.5.3 DONE
Compilata da CSiCoAlm il 2021/10/29
- Corretto salvataggio dei file di racconti, per evitare l'errore del formato (lettere accentate e caratteri particolari).
- Fatto anche dei test di salvataggio dei testi per trovare il corretto formato dell'encode.
DONE Vrs 0.1.5.2 DONE
Modifica per:
- Inserire l'importazione di link (solo Idx o Rac di A69) da file di testo
- Correggere l'importazione ed esportazione degli elenchi dal DB
Vrs 0.1.5.1 DONE
Breve modifica per:
- Corretto formato del numero di versione
- Razionalizzato il messaggio di update dell'engine.
- Inserito gli aggiornamenti dell'engine sul log degli eventi
Vrs 0.1.5.0 DONE
Applicazione che serializza i dati su SQLite, ma continua ad usare liste internamente per recuperare il codice già fatto.
Per serializzare i dati utilizzo SQLlite con la tabella che mi permetta di risalire velocemente ai link fatti, e a quelli da fare
| URL | Tipo | Stato | Update |
- URL
- indica l'url a cui vi è la pagina da downloadare (sia indice che racconto)
- Tipo
- indica la tipologia della pagina, cioè Idx per le pagine che sono indici/elenchi di racconti
- Stato
-
Indica lo stato associato al link che sarà definito in basee alla seguente enumerazione LinkStatusEnum:
- ToDownload
- Downloading
- Downloaded
e quindi all'avvio, mi basta caricare l'elenco dei link che hanno stato diverso da Downloaded e riprendere il download
- Update
- indica la data in cui eseguo l'ultimo update al record
All'avvio carico sulle liste interne i vari link con il metodo DBTools.LoadData e al termine salvo lo stato delle liste aggiornando i record sul DB tramite il metodo DBTools.SaveData. In questo modo posso iniziare un download e interrompere la procedura per poi riprenderla in un secondo momento senza problemi.
Test funzionamento in consol: ABORT
verifichiamo se è possibile operare come consol:
PURTROPPO NON FUNZIONA SE MESSO COME CONSOLE APPLICATION
Vrs 0.1.0.0 DONE
- Compilata da CSiCoAlm il 2021/10/26
- Prima versione che permette di scaricare i file da A69 bypassando il controllo del browser.
-
Manca:
- Serializzazione degli archivi per poter riprendere il download parziale dei racconti o la scansione parziale dei link
- Gestione in thread paralleli dei download
- Riduzione ad icona per non visualizzare il tutto (privacy)
- Parametrizzazione del lavoro
- Loggin degli eventi
- Rendere l'applicativo consol, in modo che non vi sia interfaccia utente.