Web scraper sa filterom

[TwistedMind]

Da li neko ima predlog za alat koji može da izdvoji jedan specifičan link link sa neke stranice? Link je externi i ima jedinstven domen tako da bi bilo kakav filter u listi linkova radio posao.
Našao sam scraper koji može da pronađe sve external linkove i mogu filtrirati onaj koji me zanima, ali ne mogu to da radim link po link.
Idealno bi bilo da ima i clipboard monitor da mogu da kopiram link po link na stranicama, a da on automatski sa njih izvlači taj jedan koji mi je potreban. Nije neophodno jer listu mogu da izvučem odvojeno, samo u tom slučaju alat mora da podržava listu linkova umesto jedan po jedan.

 

[TwistedMind]

Ok, snasao sam se nekako. Nije sjajno, ali radi
1. na ovom linku extraktujem pojedinacne stranice sa stranice koja ima brdo postova. Potrebno je postaviti filtere kako bi se dobili samo rezultati koji vode na postove.
2. BatchURLScraper onda moze pojedinacne postove da proceslja i unutar njih da potrazi konkretan link za download. U mom slucaju to je "//a[contains(@href,'POJAMPRETRAGE')]/@href"

 

[tanlleoni]

Najbolje je da uradis to sa Selnium-om

 

[whiskeytango]

deluje kao trivijalan posao za BeautifulSoup (python). ne znam kakav/koliki ti je begraund u kodiranju, al baci pogled na primere pa odatle prilagodi za svoj use case.

 

[TwistedMind]

Moje programeske vestine su mizerne, a python 0.
batch url scraper mi zavrsava kompletan posao bez daljih alata. Ne zahteva skoro nikakve vestine