CSiCoAlm
ef316aace0
Compilata da CSiCoAlm il 2021/10/27 - Inserito l'importazione di link (solo Idx o Rac di A69) da file di testo. - Corretto Load/Save degli elenchi sul DB
97 lines
4.3 KiB
Org Mode
97 lines
4.3 KiB
Org Mode
#+SETUPFILE: ~/.MyCfg/emacs/templates/org-html-themes/theme-readtheorg-local.setup
|
|
#+TITLE: Web Scraper per A69
|
|
#+DESCRIPTION: Diario di bordo dell'applicazione per ricavare i racconti dal sito A69
|
|
#+KEYWORDS: ATDB, ATWD
|
|
|
|
|
|
* TODO Inserire nello stato i conteggio dei link
|
|
* TODO Inserire il conto dei link anche sul nome del file o fare report
|
|
Inserire sul nome dei file, oltre alla data anche il numero di link che contengono, oppure fare un report che riassuma quanto fatto e che torna utile per confrontare due download diversi ecc...
|
|
|
|
* TODO Verificare il formato di salvataggio, perchè le accentuate e alcuni segni vengono male.
|
|
* TODO Fare parser di un file di link che inserisce quelli nuovi sul toDownload o li inserisce sul DB con lo stato ToDownload.
|
|
|
|
* TODO Vrs 0.2.0.0 :WORKING:
|
|
Applicazione che salva tutto su SQLite, inoltre è del tutto automatizzata e quindi basta
|
|
avviarla e quando ha finito si spegne, altrimenti è sempre possibile fermarla a comando,
|
|
senza perdere traccia di quanto fatto.
|
|
|
|
Per serializzare i dati utilizzo SQLlite con la tabella che mi permetta di risalire
|
|
velocemente ai link fatti, e a quelli da fare
|
|
|
|
| URL | Tipo | Stato | Update |
|
|
|-----+------+-------+--------|
|
|
|
|
- URL :: indica l'url a cui vi è la pagina da downloadare (sia indice che racconto)
|
|
- Tipo :: indica la tipologia della pagina, cioè Idx per le pagine che sono indici/elenchi
|
|
di racconti
|
|
- Stato :: Indica lo stato associato al link che sarà definito in basee alla seguente
|
|
enumerazione *LinkStatusEnum*:
|
|
- ToDownload
|
|
- Downloading
|
|
- Downloaded
|
|
e quindi all'avvio, mi basta caricare l'elenco dei link che hanno stato diverso da
|
|
Downloaded e riprendere il download
|
|
- Update :: indica la data in cui eseguo l'ultimo update al record
|
|
|
|
|
|
* TODO Vrs 0.1.5.2 :DONE:
|
|
Modifica per:
|
|
- Inserire l'importazione di link (solo Idx o Rac di A69) da file di testo
|
|
- Correggere l'importazione ed esportazione degli elenchi dal DB
|
|
|
|
|
|
* Vrs 0.1.5.1 :DONE:
|
|
Breve modifica per:
|
|
- Corretto formato del numero di versione
|
|
- Razionalizzato il messaggio di update dell'engine.
|
|
- Inserito gli aggiornamenti dell'engine sul log degli eventi
|
|
|
|
* Vrs 0.1.5.0 :DONE:
|
|
Applicazione che serializza i dati su SQLite, ma continua ad usare liste internamente per
|
|
recuperare il codice già fatto.
|
|
|
|
Per serializzare i dati utilizzo SQLlite con la tabella che mi permetta di risalire
|
|
velocemente ai link fatti, e a quelli da fare
|
|
|
|
| URL | Tipo | Stato | Update |
|
|
|-----+------+-------+--------|
|
|
|
|
- URL :: indica l'url a cui vi è la pagina da downloadare (sia indice che racconto)
|
|
- Tipo :: indica la tipologia della pagina, cioè Idx per le pagine che sono indici/elenchi
|
|
di racconti
|
|
- Stato :: Indica lo stato associato al link che sarà definito in basee alla seguente
|
|
enumerazione *LinkStatusEnum*:
|
|
- ToDownload
|
|
- Downloading
|
|
- Downloaded
|
|
e quindi all'avvio, mi basta caricare l'elenco dei link che hanno stato diverso da
|
|
Downloaded e riprendere il download
|
|
- Update :: indica la data in cui eseguo l'ultimo update al record
|
|
|
|
All'avvio carico sulle liste interne i vari link con il metodo DBTools.LoadData e al
|
|
termine salvo lo stato delle liste aggiornando i record sul DB tramite il metodo
|
|
DBTools.SaveData. In questo modo posso iniziare un download e interrompere la procedura
|
|
per poi riprenderla in un secondo momento senza problemi.
|
|
|
|
|
|
* Test funzionamento in consol: :ABORT:
|
|
verifichiamo se è possibile operare come consol:
|
|
|
|
PURTROPPO NON FUNZIONA SE MESSO COME CONSOLE APPLICATION
|
|
|
|
|
|
|
|
* Vrs 0.1.0.0 :DONE:
|
|
- Compilata da CSiCoAlm il 2021/10/26
|
|
- Prima versione che permette di scaricare i file da A69 bypassando il controllo del browser.
|
|
- Manca:
|
|
- Serializzazione degli archivi per poter riprendere il download parziale dei racconti o
|
|
la scansione parziale dei link
|
|
- Gestione in thread paralleli dei download
|
|
- Riduzione ad icona per non visualizzare il tutto (privacy)
|
|
- Parametrizzazione del lavoro
|
|
- Loggin degli eventi
|
|
- Rendere l'applicativo consol, in modo che non vi sia interfaccia utente.
|
|
|