Testato nuovo skraping
This commit is contained in:
CSiCoAlm committed
1 parent
89ca167bcc
commit
f8685ad65d
3 files changed
+124
-108
No files matched your search
+93
-93
@@ -493,99 +493,99 @@ namespace A69WD.Net {
|
|||||||
{
|
{
|
||||||
if (Status == eLinkState.ToAnalize) {
|
if (Status == eLinkState.ToAnalize) {
|
||||||
List<string> tmpLk = new List<string>();
|
List<string> tmpLk = new List<string>();
|
||||||
//
|
|
||||||
// #region Estraggo gli url ad indici:
|
#region Estraggo gli url ad indici:
|
||||||
// {
|
{
|
||||||
// /*
|
/*
|
||||||
// * Gli url delle pagine di indice sono del tipo:
|
* Gli url delle pagine di indice sono del tipo:
|
||||||
// *
|
*
|
||||||
// * <div class="pagination">
|
* <div class="pagination">
|
||||||
// * <a href="/archivio/Tutto">⇤</a>
|
* <a href="/archivio/Tutto">⇤</a>
|
||||||
// * <a rel="prev" href="/archivio/Tutto/0">⇠</a>
|
* <a rel="prev" href="/archivio/Tutto/0">⇠</a>
|
||||||
// * <a href="/archivio/Tutto/0">1</a>
|
* <a href="/archivio/Tutto/0">1</a>
|
||||||
// * <a class="current">2</a>
|
* <a class="current">2</a>
|
||||||
// * <a href="/archivio/Tutto/2">3</a>
|
* <a href="/archivio/Tutto/2">3</a>
|
||||||
// * <a href="/archivio/Tutto/3">4</a>
|
* <a href="/archivio/Tutto/3">4</a>
|
||||||
// * <a href="/archivio/Tutto/4">5</a>
|
* <a href="/archivio/Tutto/4">5</a>
|
||||||
// * <a href="/archivio/Tutto/5">6</a>
|
* <a href="/archivio/Tutto/5">6</a>
|
||||||
// * <a href="/archivio/Tutto/6">7</a>
|
* <a href="/archivio/Tutto/6">7</a>
|
||||||
// * <a href="/archivio/Tutto/7">8</a>
|
* <a href="/archivio/Tutto/7">8</a>
|
||||||
// * <a href="/archivio/Tutto/8">9</a>
|
* <a href="/archivio/Tutto/8">9</a>
|
||||||
// * <a href="/archivio/Tutto/9">10</a>
|
* <a href="/archivio/Tutto/9">10</a>
|
||||||
// * <a href="/archivio/Tutto/10">11</a>
|
* <a href="/archivio/Tutto/10">11</a>
|
||||||
// * <a class="plain">...</a>
|
* <a class="plain">...</a>
|
||||||
// * <a rel="next" href="/archivio/Tutto/2">⇢</a>
|
* <a rel="next" href="/archivio/Tutto/2">⇢</a>
|
||||||
// * <a href="/archivio/Tutto/3146">⇥</a>
|
* <a href="/archivio/Tutto/3146">⇥</a>
|
||||||
// * </div>
|
* </div>
|
||||||
// *
|
*
|
||||||
// */
|
*/
|
||||||
// try {
|
try {
|
||||||
// // Estraggo i link alle altre pagine:
|
// Estraggo i link alle altre pagine:
|
||||||
// var tnodes = tdoc.DocumentNode.SelectNodes("//div[@class='pagination']//a[@href]");
|
var tnodes = tdoc.DocumentNode.SelectNodes("//div[@class='pagination']//a[@href]");
|
||||||
// if (tnodes != null) {
|
if (tnodes != null) {
|
||||||
// foreach (var link in tnodes) {
|
foreach (var link in tnodes) {
|
||||||
// var href = link.GetAttributeValue("href", "");
|
var href = link.GetAttributeValue("href", "");
|
||||||
// if (!string.IsNullOrEmpty(href) && href.StartsWith("/archivio/Tutto/"))
|
if (!string.IsNullOrEmpty(href) && href.StartsWith("/archivio/Tutto/"))
|
||||||
// tmpLk.Add(href); //tmpLk.Add(cLink_eRac.PageBase + href);
|
tmpLk.Add(href); //tmpLk.Add(cLink_eRac.PageBase + href);
|
||||||
// }
|
}
|
||||||
// }
|
}
|
||||||
// // Rimuove duplicati e ordina alfabeticamente
|
// Rimuove duplicati e ordina alfabeticamente
|
||||||
// tmpLk = tmpLk
|
tmpLk = tmpLk
|
||||||
// .OrderBy(s => s) // ordina alfabeticamente
|
.OrderBy(s => s) // ordina alfabeticamente
|
||||||
// .Distinct() // elimina duplicati
|
.Distinct() // elimina duplicati
|
||||||
// .ToList();
|
.ToList();
|
||||||
// // Inserisco i link trovati
|
// Inserisco i link trovati
|
||||||
// foreach (string ilk in tmpLk) {
|
foreach (string ilk in tmpLk) {
|
||||||
// string url = cLink_eRac.PageBase + ilk;
|
string url = cLink_eRac.PageBase + ilk;
|
||||||
// int offset = int.Parse(ilk.Replace("/archivio/Tutto/", ""));
|
int offset = int.Parse(ilk.Replace("/archivio/Tutto/", ""));
|
||||||
// string name = $"_eRac_Idx_{offset.ToString("0000")}.html";
|
string name = $"_eRac_Idx_{offset.ToString("0000")}.html";
|
||||||
// newlinks.Add(new cLink_eRac(url, name));
|
newlinks.Add(new cLink_eRac(url, name));
|
||||||
// }
|
}
|
||||||
// } catch (Exception ex) {
|
} catch (Exception ex) {
|
||||||
// Logger.Error("Errore analisi Idx link dal " + FileName + " - " + ex.Message);
|
Logger.Error("Errore analisi Idx link dal " + FileName + " - " + ex.Message);
|
||||||
// cTools.SaveToFile(thtml, Cfg.Settings.PathSrcErrOnExtract, FileName);
|
cTools.SaveToFile(thtml, Cfg.Settings.PathSrcErrOnExtract, FileName);
|
||||||
// }
|
}
|
||||||
// }
|
}
|
||||||
// #endregion
|
#endregion
|
||||||
//
|
|
||||||
// #region Estraggo gli url a racconti:
|
#region Estraggo gli url a racconti:
|
||||||
// {
|
{
|
||||||
// /*
|
/*
|
||||||
// *
|
*
|
||||||
// * I link ai racconti sono dei pulsanti così formati:
|
* I link ai racconti sono dei pulsanti così formati:
|
||||||
// * <a class="rac" href="{URL}"></a>
|
* <a class="rac" href="{URL}"></a>
|
||||||
// *
|
*
|
||||||
// */
|
*/
|
||||||
// try {
|
try {
|
||||||
// // Estraggo i link ai racconti:
|
// Estraggo i link ai racconti:
|
||||||
// tmpLk = new List<string>();
|
tmpLk = new List<string>();
|
||||||
// // Estraggo i link alle altre pagine:
|
// Estraggo i link alle altre pagine:
|
||||||
// var tnodes = tdoc.DocumentNode.SelectNodes("//a[@class='rac']");
|
var tnodes = tdoc.DocumentNode.SelectNodes("//a[@class='rac']");
|
||||||
// if (tnodes != null) {
|
if (tnodes != null) {
|
||||||
// foreach (var link in tnodes) {
|
foreach (var link in tnodes) {
|
||||||
// var href = link.GetAttributeValue("href", "");
|
var href = link.GetAttributeValue("href", "");
|
||||||
// if (!string.IsNullOrEmpty(href) && href.StartsWith("/racconto/"))
|
if (!string.IsNullOrEmpty(href) && href.StartsWith("/racconto/"))
|
||||||
// tmpLk.Add(href); //tmpLk.Add(cLink_eRac.PageBase + href);
|
tmpLk.Add(href); //tmpLk.Add(cLink_eRac.PageBase + href);
|
||||||
// }
|
}
|
||||||
// }
|
}
|
||||||
// // Rimuove duplicati e ordina alfabeticamente
|
// Rimuove duplicati e ordina alfabeticamente
|
||||||
// tmpLk = tmpLk
|
tmpLk = tmpLk
|
||||||
// .OrderBy(s => s) // ordina alfabeticamente
|
.OrderBy(s => s) // ordina alfabeticamente
|
||||||
// .Distinct() // elimina duplicati
|
.Distinct() // elimina duplicati
|
||||||
// .ToList();
|
.ToList();
|
||||||
// // Inserisco i link trovati
|
// Inserisco i link trovati
|
||||||
// foreach (string ilk in tmpLk) {
|
foreach (string ilk in tmpLk) {
|
||||||
// string url = cLink_eRac.PageBase + ilk;
|
string url = cLink_eRac.PageBase + ilk;
|
||||||
// string name = ilk.Replace("/racconto/", "eRac_").Replace(@"/", "_") + ".html";
|
string name = ilk.Replace("/racconto/", "eRac_").Replace(@"/", "_") + ".html";
|
||||||
// newlinks.Add(new cLink_eRac(url, name));
|
newlinks.Add(new cLink_eRac(url, name));
|
||||||
// }
|
}
|
||||||
// } catch (Exception ex) {
|
} catch (Exception ex) {
|
||||||
// Logger.Error("Errore analisi Idx link dal " + FileName + " - " + ex.Message);
|
Logger.Error("Errore analisi Idx link dal " + FileName + " - " + ex.Message);
|
||||||
// cTools.SaveToFile(thtml, Cfg.Settings.PathSrcErrOnExtract, FileName);
|
cTools.SaveToFile(thtml, Cfg.Settings.PathSrcErrOnExtract, FileName);
|
||||||
// }
|
}
|
||||||
// }
|
}
|
||||||
// #endregion
|
#endregion
|
||||||
//
|
|
||||||
#region Estraggo il racconto dal file e lo inserisco nel DB
|
#region Estraggo il racconto dal file e lo inserisco nel DB
|
||||||
if (FileName.StartsWith("eRac_")) {
|
if (FileName.StartsWith("eRac_")) {
|
||||||
// Link ad un racconto
|
// Link ad un racconto
|
||||||
|
|||||||
@@ -32,8 +32,24 @@ using System.Runtime.InteropServices;
|
|||||||
// È possibile specificare tutti i valori oppure impostare valori predefiniti per i numeri relativi alla revisione e alla build
|
// È possibile specificare tutti i valori oppure impostare valori predefiniti per i numeri relativi alla revisione e alla build
|
||||||
// usando l'asterisco '*' come illustrato di seguito:
|
// usando l'asterisco '*' come illustrato di seguito:
|
||||||
// [assembly: AssemblyVersion("1.0.*")]
|
// [assembly: AssemblyVersion("1.0.*")]
|
||||||
[assembly: AssemblyVersion("0.5.2.0")]
|
[assembly: AssemblyVersion("0.5.3.0")]
|
||||||
[assembly: AssemblyFileVersion("0.5.2.0")]
|
[assembly: AssemblyFileVersion("0.5.3.0")]
|
||||||
|
|
||||||
|
|
||||||
|
/*
|
||||||
|
*
|
||||||
|
* Vrs 0.5.3.0
|
||||||
|
*
|
||||||
|
* Compilata da CSiCoAlm il 2026/01/02
|
||||||
|
* Inserito nello skraping anche la sorgente eRac
|
||||||
|
*
|
||||||
|
*
|
||||||
|
* ToDo:
|
||||||
|
* - Aggiungere gestione parallela della FIFO secondo vecchi modello per aumentare il feedback alla UI
|
||||||
|
* - Inserire anche l'estrazione dei racconti
|
||||||
|
* - Inserire funzionalità avanzate sul lettore
|
||||||
|
*
|
||||||
|
*/
|
||||||
|
|
||||||
|
|
||||||
/*
|
/*
|
||||||
|
|||||||
+13
-13
@@ -61,9 +61,9 @@ namespace A69WD.UI {
|
|||||||
mImpStart.Enabled = true;
|
mImpStart.Enabled = true;
|
||||||
mImpStop.Enabled = false;
|
mImpStop.Enabled = false;
|
||||||
|
|
||||||
// // Update UI
|
// Update UI
|
||||||
// pnlTop.Enabled = false;
|
pnlTop.Enabled = false;
|
||||||
// pnlTop.Visible = false;
|
pnlTop.Visible = false;
|
||||||
|
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -749,17 +749,17 @@ namespace A69WD.UI {
|
|||||||
|
|
||||||
// Preparo il servizio
|
// Preparo il servizio
|
||||||
serviceCrawler = new Service_Crawler(sb);
|
serviceCrawler = new Service_Crawler(sb);
|
||||||
// // Inserisco i link iniziali nella coda
|
// Inserisco i link iniziali nella coda
|
||||||
// if (!cLink_eRac.InsertStartLink(serviceCrawler)) {
|
if (!cLink_eRac.InsertStartLink(serviceCrawler)) {
|
||||||
// Logger.Warning("eRac - Insert start link Fault");
|
Logger.Warning("eRac - Insert start link Fault");
|
||||||
// sbStatusLabel.Text = "eRac fault.";
|
sbStatusLabel.Text = "eRac fault.";
|
||||||
// return;
|
return;
|
||||||
// }
|
}
|
||||||
|
|
||||||
// Inserisco link di un racconto:
|
//// Inserisco link di un racconto:
|
||||||
string url = "https://www.eroticiracconti.it/racconto/105286-nicole-gis-il-culto-della-terza-notte"; // "https://www.eroticiracconti.it/racconto/112763-elara-capitolo-2-il-cambiamento";
|
//string url = "https://www.eroticiracconti.it/racconto/105286-nicole-gis-il-culto-della-terza-notte"; // "https://www.eroticiracconti.it/racconto/112763-elara-capitolo-2-il-cambiamento";
|
||||||
string name = "eRac_112763-elara-capitolo-2-il-cambiamento.html";
|
//string name = "eRac_112763-elara-capitolo-2-il-cambiamento.html";
|
||||||
serviceCrawler.EnqueueUrl(new cLink_eRac(url, name));
|
//serviceCrawler.EnqueueUrl(new cLink_eRac(url, name));
|
||||||
|
|
||||||
// avvio il servizio
|
// avvio il servizio
|
||||||
serviceCrawler.StartWorker();
|
serviceCrawler.StartWorker();
|
||||||
|
|||||||
Reference in new issue
Block a user