A69WD/Doc/A69WD.org

Web Scraper per A69

• Inserire nello stato i conteggio dei link
• Inserire il conto dei link anche sul nome del file o fare report
• Verificare il formato di salvataggio, perchè le accentuate e alcuni segni vengono male.
• Fare parser di un file di link che inserisce quelli nuovi sul toDownload o li inserisce sul DB con lo stato ToDownload.
• Vrs 0.2.0.0
• Vrs 0.1.5.0
• Test funzionamento in consol:
• Vrs 0.1.0.0

TODO Inserire nello stato i conteggio dei link

TODO Inserire il conto dei link anche sul nome del file o fare report

Inserire sul nome dei file, oltre alla data anche il numero di link che contengono, oppure fare un report che riassuma quanto fatto e che torna utile per confrontare due download diversi ecc…

TODO Verificare il formato di salvataggio, perchè le accentuate e alcuni segni vengono male.

TODO Fare parser di un file di link che inserisce quelli nuovi sul toDownload o li inserisce sul DB con lo stato ToDownload.

TODO Vrs 0.2.0.0   WORKING

Applicazione che salva tutto su SQLite, inoltre è del tutto automatizzata e quindi basta avviarla e quando ha finito si spegne, altrimenti è sempre possibile fermarla a comando, senza perdere traccia di quanto fatto.

Per serializzare i dati utilizzo SQLlite con la tabella che mi permetta di risalire velocemente ai link fatti, e a quelli da fare

URL

Tipo

Stato

Update

URL

indica l'url a cui vi è la pagina da downloadare (sia indice che racconto)

Tipo

indica la tipologia della pagina, cioè Idx per le pagine che sono indici/elenchi di racconti

Stato

Indica lo stato associato al link che sarà definito in basee alla seguente enumerazione LinkStatusEnum:

• ToDownload
• Downloading
• Downloaded

e quindi all'avvio, mi basta caricare l'elenco dei link che hanno stato diverso da Downloaded e riprendere il download

Update

indica la data in cui eseguo l'ultimo update al record

TODO Vrs 0.1.5.0   DONE

Applicazione che serializza i dati su SQLite, ma continua ad usare liste internamente per recuperare il codice già fatto.

Per serializzare i dati utilizzo SQLlite con la tabella che mi permetta di risalire velocemente ai link fatti, e a quelli da fare

URL

Tipo

Stato

Update

URL

indica l'url a cui vi è la pagina da downloadare (sia indice che racconto)

Tipo

indica la tipologia della pagina, cioè Idx per le pagine che sono indici/elenchi di racconti

Stato

Indica lo stato associato al link che sarà definito in basee alla seguente enumerazione LinkStatusEnum:

• ToDownload
• Downloading
• Downloaded

e quindi all'avvio, mi basta caricare l'elenco dei link che hanno stato diverso da Downloaded e riprendere il download

Update

indica la data in cui eseguo l'ultimo update al record

All'avvio carico sulle liste interne i vari link con il metodo DBTools.LoadData e al termine salvo lo stato delle liste aggiornando i record sul DB tramite il metodo DBTools.SaveData. In questo modo posso iniziare un download e interrompere la procedura per poi riprenderla in un secondo momento senza problemi.

Test funzionamento in consol:   ABORT

verifichiamo se è possibile operare come consol:

PURTROPPO NON FUNZIONA SE MESSO COME CONSOLE APPLICATION

Vrs 0.1.0.0   DONE

• Compilata da CSiCoAlm il 2021/10/26
• Prima versione che permette di scaricare i file da A69 bypassando il controllo del browser.

• Manca:

  • Serializzazione degli archivi per poter riprendere il download parziale dei racconti o la scansione parziale dei link
  • Gestione in thread paralleli dei download
  • Riduzione ad icona per non visualizzare il tutto (privacy)
  • Parametrizzazione del lavoro
  • Loggin degli eventi
  • Rendere l'applicativo consol, in modo che non vi sia interfaccia utente.