Semalt - Kif Jinbarax il-Paġni tal-Web?

Beautiful Soup hija librerija Python użata ħafna biex tinbarax paġni tal-web billi toħloq siġra parse minn dokumenti XML u HTML. Il-brix tal-web, teknika ta 'estrazzjoni ta' dejta minn websajts u paġni, huwa użat ħafna fl-analiżi tad-dejta u fl-oqsma tal-ġestjoni. F'ħafna każijiet, il-lingwa ta 'programmazzjoni Python hija prerekwiżit fix-xjenza tad-data.

Python 3 għandu għodod u moduli tal- brix li tista 'tapplika għall-proġett tal-ġestjoni tad-dejta tiegħek. Bħalissa taħdem bħala Beautiful Soup 4, dan il-modulu huwa kompatibbli kemm ma 'Python 3 kif ukoll ma' Python 2.7. Il-modulu Beautiful Soup 4 huwa kapaċi wkoll joħloq siġra parse għal soppa tat-tikketta mhux magħluqa. F'dan it-tutorja, int titgħallem kif tinbarax il-paġna u tikteb id-dejta mibruxa f'fajl CSV.

Nibdew

Biex tibda, waqqaf server jew ambjent ibbażat fuq il-kodifikazzjoni Python lokali fuq il-PC tiegħek. Għandek ukoll tinstalla modulu tas-Soppa u t-Talbiet isbah fuq il-magna tiegħek. L-għarfien tal-ħidma maż-żewġ moduli huwa wkoll prerekwiżit meħtieġ. Il-familjarità mat-tikkettar u l-istruttura HTML hija wkoll vantaġġ miżjud.

Nifhmu d-dejta tiegħek

F'dan il-kuntest, dejta reali mill-Gallerija Nazzjonali ta 'l-Art tintuża biex tgħinek tifhem kif tuża Soppa Sabiħa 4. Il-Gallerija Nazzjonali ta' l-Art tinkludi 120,000 biċċa li huma magħmula minn approssimattiv ta '13,000 artisti. L-Art hija bbażata f'Washington DC, l-Istati Uniti.

L-estrazzjoni tad-dejta fuq is-soppa sabiħa mhix ikkumplikata. Pereżempju, jekk tiffoka fuq l-ittra Z, immarka u nnota l-ewwel isem fil-lista. F'dan il-każ, l-ewwel isem huwa Zabaglia, Niccola. Għal konsistenza, indika n-numru ta 'paġni u l-isem ta' l-aħħar artist f'dik il-paġna.

Kif timporta Talbiet u Librerija tas-Soppa sabiħa

Biex timporta l-libreriji, attivat l-ambjent ta 'programmazzjoni Python 3 tiegħek. Iċċekkja biex tiżgura li int fl-istess direttorju mal-ambjent tal-ipprogrammar tiegħek. Ħaddem il-kmand li ġej biex tibda. my_env / bin / active.

Oħloq fajl ġdid u ibda timporta l-libreriji tas-Soppa Sabiħa u t-Talbiet. Il-librerija tat-talbiet tippermetti li tuża l-HTTP fil-programmi Python tiegħek f'formati li jinqraw. Soppa sabiħa, min-naħa l-oħra, taħdem biex tinbarax il-paġni malajr. Uża bs4 biex timporta soppa sabiħa.

Kif tinġabar u tissorvelja paġna web

Meta tuża t-Talbiet tiġbor URL tal-ewwel paġna tiegħek. URL tal-ewwel paġna se tkun assenjata lill-paġna varjabbli. Ibni oġġett BeautifulSoup minn Talbiet u parse l-oġġett minn parser ta 'Python.

F'dan it-tutorja, l-għan huwa li jinġabru l-links u l-ismijiet tal-artisti. Pereżempju, tista 'tiġbor id-dati u n-nazzjonalitajiet tal-artisti. Għall-utenti tal-Windows, ikklikkja dritt fuq l-ewwel isem tal-artist. F'dan il-każ, uża Zabaglia, Niccola. Għall-utenti tal-Mac OS, tektek "CTRL" u kklikkja l-isem. Ikklikkja fuq il-menu "Spezzjona l-Element" li pop-ups fuq l-iskrin tiegħek biex ikollok aċċess għall-għodod tal-iżviluppaturi tal-web. Stampa l-ismijiet tal-artist biex tagħmel is-Soppa sabiħa tikkontrolla siġra malajr.

Tneħħi l-links tal-qiegħ

Biex tneħħi l-links tal-qiegħ fuq il-paġna tal-web tiegħek, spezzjona d-DOM billi tikklikkja dritt fuq l-element. Int tidentifika li l-links huma taħt tabella HTML. Uża soppa sabiħa, uża l- "metodu li jiddekomponi" biex tneħħi t-tikketti mis-siġra ta 'parse.

Kif tiġbed kontenut minn tikketta

M'għandekx għalfejn tipprintja t-tikketta tal-link sħiħa, uża soppa sabiħa biex tneħħi materjal minn tikketta. Tista 'wkoll taqbad URL assoċjati ma' l-artisti billi tuża Beautiful Soup 4.

Qbad tad-dejta mibruxa f'fajl CSV

Fajl CSV jippermettilek taħżen data strutturata f'test sempliċi, format li huwa l-aktar użat għall-iskedi tekniċi. L-għarfien dwar l-immaniġġjar ta ’fajls ta’ test sempliċi f’Pthon huwa rrakkomandat.

L-estrazzjoni tad-dejta fuq il-web tintuża biex tinbarax il-paġni u tikseb informazzjoni. Kun kunsidrat mill-websajts minn fejn qed toħroġ informazzjoni. Xi websajts dinamiċi jirrestrinġu l-estrazzjoni tad-dejta fuq is-siti tagħhom. Li tinbarax il-paġna ma 'Beautiful Soup u Python 3 hija dik sempliċi.