#+SETUPFILE: ~/.MyCfg/emacs/templates/org-html-themes/theme-readtheorg-local.setup
#+TITLE: Web Scraper per A69
#+DESCRIPTION: Diario di bordo dell'applicazione per ricavare i racconti dal sito A69
#+KEYWORDS: ATDB, ATWD
* TODO Inserire nello stato i conteggio dei link
* TODO Inserire il conto dei link anche sul nome del file o fare report
Inserire sul nome dei file, oltre alla data anche il numero di link che contengono, oppure fare un report che riassuma quanto fatto e che torna utile per confrontare due download diversi ecc...
* TODO Verificare il formato di salvataggio, perchè le accentuate e alcuni segni vengono male.
* TODO Fare parser di un file di link che inserisce quelli nuovi sul toDownload o li inserisce sul DB con lo stato ToDownload.
* TODO Vrs 0.2.0.0 :WORKING:
Applicazione che salva tutto su SQLite, inoltre è del tutto automatizzata e quindi basta
avviarla e quando ha finito si spegne, altrimenti è sempre possibile fermarla a comando,
senza perdere traccia di quanto fatto.
Per serializzare i dati utilizzo SQLlite con la tabella che mi permetta di risalire
velocemente ai link fatti, e a quelli da fare
| URL | Tipo | Stato | Update |
|-----+------+-------+--------|
- URL :: indica l'url a cui vi è la pagina da downloadare (sia indice che racconto)
- Tipo :: indica la tipologia della pagina, cioè Idx per le pagine che sono indici/elenchi
di racconti
- Stato :: Indica lo stato associato al link che sarà definito in basee alla seguente
enumerazione *LinkStatusEnum*:
- ToDownload
- Downloading
- Downloaded
e quindi all'avvio, mi basta caricare l'elenco dei link che hanno stato diverso da
Downloaded e riprendere il download
- Update :: indica la data in cui eseguo l'ultimo update al record
* TODO Vrs 0.1.5.2 :WORKING:
Modifica per:
- Inserire l'importazione di link (solo Idx o Rac di A69) da file di testo
- Correggere l'importazione ed esportazione degli elenchi dal DB
* Vrs 0.1.5.1 :DONE:
Breve modifica per:
- Corretto formato del numero di versione
- Razionalizzato il messaggio di update dell'engine.
- Inserito gli aggiornamenti dell'engine sul log degli eventi
* Vrs 0.1.5.0 :DONE:
Applicazione che serializza i dati su SQLite, ma continua ad usare liste internamente per
recuperare il codice già fatto.
Per serializzare i dati utilizzo SQLlite con la tabella che mi permetta di risalire
velocemente ai link fatti, e a quelli da fare
| URL | Tipo | Stato | Update |
|-----+------+-------+--------|
- URL :: indica l'url a cui vi è la pagina da downloadare (sia indice che racconto)
- Tipo :: indica la tipologia della pagina, cioè Idx per le pagine che sono indici/elenchi
di racconti
- Stato :: Indica lo stato associato al link che sarà definito in basee alla seguente
enumerazione *LinkStatusEnum*:
- ToDownload
- Downloading
- Downloaded
e quindi all'avvio, mi basta caricare l'elenco dei link che hanno stato diverso da
Downloaded e riprendere il download
- Update :: indica la data in cui eseguo l'ultimo update al record
All'avvio carico sulle liste interne i vari link con il metodo DBTools.LoadData e al
termine salvo lo stato delle liste aggiornando i record sul DB tramite il metodo
DBTools.SaveData. In questo modo posso iniziare un download e interrompere la procedura
per poi riprenderla in un secondo momento senza problemi.
* Test funzionamento in consol: :ABORT:
verifichiamo se è possibile operare come consol:
PURTROPPO NON FUNZIONA SE MESSO COME CONSOLE APPLICATION
* Vrs 0.1.0.0 :DONE:
- Compilata da CSiCoAlm il 2021/10/26
- Prima versione che permette di scaricare i file da A69 bypassando il controllo del browser.
- Manca:
- Serializzazione degli archivi per poter riprendere il download parziale dei racconti o
la scansione parziale dei link
- Gestione in thread paralleli dei download
- Riduzione ad icona per non visualizzare il tutto (privacy)
- Parametrizzazione del lavoro
- Loggin degli eventi
- Rendere l'applicativo consol, in modo che non vi sia interfaccia utente.