Beefy Boxes and Bandwidth Generously Provided by pair Networks
Think about Loose Coupling
 
PerlMonks  

Re^2: Any pure-perl html to text? (Or: missing a perl equivalent to 'lynx -dump')

by bronto (Priest)
on Oct 15, 2006 at 17:04 UTC ( #578401=note: print w/ replies, xml ) Need Help??


in reply to Re: Any pure-perl html to text? (Or: missing a perl equivalent to 'lynx -dump')
in thread Any pure-perl html to text? (Or: missing a perl equivalent to 'lynx -dump')

Gosh! You didn't even take a look at what lynx -dump produces, did you? First, the code you wrote outputs nothing (you missed a print); second, the output is awful (to be kind...)

perl -MWWW::Mechanize -e 'my $mech = WWW::Mechanize->new(); $mech->get +(q(http://cercalavoro.monster.it/getjob.asp?JobID=49072224&AVSDM=2006 +%2D10%2D13+11%3A00%3A00&Logo=1&q=unix+system+administrator+perl&sort= +dt&tm=7d&qt=any&brd=1,5937&fn=660,6,561&lid=175&jt=4,1)); print $mech +->content(format => q(text));'
outputs this:

IT-LOM-Provincia Milano Sud-Systems and network Administrator Systems +and network AdministratorPer importante multinazionale cliente Adecco + IT ricerca un Systems Network Administrator.Il candidato ideale è +laureato in discipline tecnico-scientifiche ed ha maturato almeno un +anno di esperienza nel systems e network management. Sono richieste +competenze nellambito del networking e della security. E necessaria u +nottima conoscenza del sistema operativo LINUX e del database MySQL. + La flessibilità, la propensione al lavoro di team, lapproccio ad ope +rare per obiettivi costituiscono condizioni necessarie per ricoprire +il ruolo nel migliore dei modi.Lottima conoscenza della lingua Ingles +e completa il profilo.La ricerca riveste carattere durgenza.Linserime +nto in azienda avverrà mediante un contratto a tempo indeterminato.Se +de di Lavoro: Provincia di Milano Sud Adecco è il Gruppo franco-svizz +ero n° 1 al mondo nei servizi dedicati alla gestione delle Risorse Um +ane.Presente in 71 Paesi con una rete di 6.000 filiali e 28.000 dipen +denti, Adecco offre lavoro - ogni giorno - a più di 650.000 persone i +n tutto il mondo.In Italia dal 1997, Adecco è diventato il gruppo lea +der con 470 filiali su tutto il territorio nazionale, 2.000 dipendent +i e 33.000 persone impiegate ogni giorno in più di 15.000 aziende cli +enti.Con la Riforma del Mercato del lavoro, Adecco diventa Agenzia pe +r il Lavoro.I servizi che eroghiamo:- somministrazione di lavoro a te +mpo determinato (ex lavoro temporaneo)- somministrazione a tempo inde +terminato (staff leasing)- la ricerca e la selezione (permanent place +ment)- collocamento- ricollocazione professionale- formazione. I curr +icula ricevuti potranno essere comunicati all'azienda nostra cliente +o ad altre che ne facciano richiesta per valutare un'eventuale assunz +ione, salvo diversa volonta del candidato. "I candidati ambosessi (L. +903/77) sono invitati a leggere su www.adecco.it l'informativa sulla +privacy (art.13, D.Lgs. 196/03). Per esercitare i diritti di cui all' +art. 7 del citato Decreto è possibile scrivere al seguente indirizzo +e-mail: info.candidati@adecco.it Un facsimile di domanda di candidatu +ra, comprensivo di informativa sulla privacy (art. 9, comma 3, D.Lgs. + 276/03), e presente al seguente indirizzo internet: http://www.adecc +o.it/candidato/orientamento/FacSimileCV.asp Adecco Italia S.p.A. (Aut +. Min. Prot. N.1100-SG del 26.11.2004). Informazioni aggiuntiveContra +tto:Full Time, Tempo IndeterminatoCodice Riferimento:SNA/sbPersona da + contattareSara Battistellabattistellas.consultant@adecco.itAdeccoVia + Dante, 4Milano 20121Telefono:02 72 01 01 11Clicca qui per vedere tut +te le opportunità di "Adecco"Segnala questo annuncio ad un amicoCandi +dati Online

while lynx outputs this:

Systems and network Administrator Per importante multinazionale cliente Adecco IT ricerca un Systems Network Administrator. Il candidato ideale è laureato in discipline tecnico-scientifiche e +d ha maturato almeno un anno di esperienza nel systems e network management. Sono richieste competenze nellambito del networking e della securit +y. E necessaria unottima conoscenza del sistema operativo LINUX e del database MySQL. La flessibilità, la propensione al lavoro di team, lapproccio ad operare per obiettivi costituiscono condizioni necessarie per ricoprire il ruolo nel migliore dei modi. Lottima conoscenza della lingua Inglese completa il profilo. La ricerca riveste carattere durgenza. Linserimento in azienda avverrà mediante un contratto a tempo indeterminato. Sede di Lavoro: Provincia di Milano Sud Adecco è il Gruppo franco-svizzero n° 1 al mondo nei servizi dedica +ti alla gestione delle Risorse Umane. Presente in 71 Paesi con una rete di 6.000 filiali e 28.000 dipendenti, Adecco offre lavoro - ogni giorno - a più di 650.000 persone in tutto il mondo. In Italia dal 1997, Adecco è diventato il gruppo leader con 470 filiali su tutto il territorio nazionale, 2.000 dipendenti e 33.000 persone impiegate ogni giorno in più di 15.000 aziende clienti. Con la Riforma del Mercato del lavoro, Adecco diventa Agenzia per i +l Lavoro. I servizi che eroghiamo: - somministrazione di lavoro a tempo determinato (ex lavoro temporaneo) - somministrazione a tempo indeterminato (staff leasing) - la ricerca e la selezione (permanent placement) - collocamento - ricollocazione professionale - formazione. I curricula ricevuti potranno essere comunicati all'azienda nostra cliente o ad altre che ne facciano richiesta per valutare un'eventu +ale assunzione, salvo diversa volonta del candidato. "I candidati ambosessi (L.903/77) sono invitati a leggere su [1]www.adecco.it l'informativa sulla privacy (art.13, D.Lgs. 196/03). Per esercitare + i diritti di cui all'art. 7 del citato Decreto è possibile scrivere a +l seguente indirizzo e-mail: [2]info.candidati@adecco.it Un facsimile + di domanda di candidatura, comprensivo di informativa sulla privacy (a +rt. 9, comma 3, D.Lgs. 276/03), e presente al seguente indirizzo intern +et: [3]http://www.adecco.it/candidato/orientamento/FacSimileCV.asp Adec +co Italia S.p.A. (Aut. Min. Prot. N.1100-SG del 26.11.2004). _________________________________________________________________ Informazioni aggiuntive Contratto:Full Time, Tempo Indeterminato Codice Riferimento:SNA/sb _________________________________________________________________ Persona da contattare Sara Battistella [4]battistellas.consultant@adecco.it Adecco Via Dante, 4 Milano 20121 Telefono:02 72 01 01 11 _________________________________________________________________ [5]Clicca qui per vedere tutte le opportunità di "Adecco" [6]Segnala questo annuncio ad un amico [7]Candidati Online References 1. http://www.adecco.it/ 2. mailto:info.candidati@adecco.it 3. http://www.adecco.it/candidato/orientamento/FacSimileCV.asp 4. mailto:battistellas.consultant@adecco.it?subject=Systems%20and%2 +0network%20Administrator%20(SNA%2Fsb) 5. http://cercalavoro.monster.it/jobsearch.asp?re=106&co=xajilonitx +&ah=http%3A%2F%2Faziende%2Emonster%2Eit%2Fajilonit&aj=Adecco 6. http://cercalavoro.monster.it/emailfriend.asp?JobID=49072224&Job +Location=IT%2DLOM%2DProvincia+Milano+Sud&JobTitle=Systems+and+network ++Administrator&CompanyName=Adecco 7. http://my.monster.it/applyStart.asp?jobid=49072224&redirect=http +%3A%2F%2Fcercalavoro%2Emonster%2Eit%2F

Do you still think it's the same thing???

Ciao!
--bronto


In theory, there is no difference between theory and practice. In practice, there is.

20061015 Janitored by Corion: Added changed PRE tags to code tags, as per Writeup Formatting Tips


Comment on Re^2: Any pure-perl html to text? (Or: missing a perl equivalent to 'lynx -dump')
Select or Download Code
Re^3: Any pure-perl html to text? (Or: missing a perl equivalent to 'lynx -dump')
by blazar (Canon) on Oct 15, 2006 at 17:36 UTC
    Gosh! You didn't even take a look at what lynx -dump produces, did you?

    He didn't claim it would produce the same output, nor comparable one. He just pointed out it has a method for outputting plain text, which it has. Indeed I think it more or less amounts to the as_text() of the whole parse tree of the wanted page. Lynx and its variations are full fledged browser, so it is natural they go beyond the capabilities of a simple parser, aiming at being presentation friendly. But that's quite a lot of work. You may hack/roll your own by inserting horizontal and vertical whitespace suitably around individual elements before printing them as_text. Needless to say, this is necessarily going to be quite a lot of work, but maybe just inserting newlines after every single one of them may make everything more clear. Oh, and at the very least take care of paragraphs and breaks. But if you also want line wrap that's a whole another story. (A call for Text::Wrap, most probably.)

    OTOH did you look at the outcome of your post (as is recommended)?!? It screwed up the whole view for this thread. Use <code> tags around the stuff you pasted, although it's not strictly code. At least that has smart line wrap...

    Update: the post has been fixed, hence the above comment does not apply any more.

    Ciao

      Ciao blazar

      I give you a ++ here, anyway the title says it all: I needed something that produced results similar to lynx. I already knew how to get the plain text out of the module. So, davidrw's reply didn't answer my question.

      Anyway, sorry for the poor formatting, and thanks to Corion. I didn't mean to worry anybody.

      Update: this is an answer to my question (or should I s/an/the/? :-)

      Ciao!
      --bronto


      In theory, there is no difference between theory and practice. In practice, there is.

Log In?
Username:
Password:

What's my password?
Create A New User
Node Status?
node history
Node Type: note [id://578401]
help
Chatterbox?
and the web crawler heard nothing...

How do I use this? | Other CB clients
Other Users?
Others drinking their drinks and smoking their pipes about the Monastery: (11)
As of 2014-07-30 01:46 GMT
Sections?
Information?
Find Nodes?
Leftovers?
    Voting Booth?

    My favorite superfluous repetitious redundant duplicative phrase is:









    Results (229 votes), past polls