Descriere:
Practice your Python Pandas data science skills with problems on StrataScratch! https://www.stratascratch.com/?via=keith In this video we walk through web scraping in Python using the beautiful soup library. We start with a brief introduction to HTML & CSS and discuss what web scraping is. Next we start getting into the basics of the beautiful soup library. This includes how to load a webpage, the basic commands you need to know such as find & find_all, grabbing strings from an HTML elements, etc. The final section of this tutorial is a series of exercises where you can practice your skills. In this section we scrape a webpage for links, we learn how to scrape a table and load it into a pandas dataframe, and we see how you can scrape & download a web image. Hope you enjoy! I’m looking into making future videos on more complex things you can do with web scraping as well as other libraries that are helpful such as Selenium & ScraPy. Subscribe to not miss those. Join the Python Army to get access to perks! YouTube - https://www.youtube.com/channel/UCq6XkhO5SZ66N04IcPbqNcw/join Patreon - https://www.patreon.com/keithgalli --------------------- Resources used in this video Simple webpage: https://keithgalli.github.io/web-scraping/example.html Example webpage: https://keithgalli.github.io/web-scraping/webpage.html Link to source code: https://github.com/KeithGalli/web-scraping Beautiful Soup Documentation: https://www.crummy.com/software/BeautifulSoup/bs4/doc/ CSS Selector Reference: https://www.w3schools.com/cssref/css_selectors.php --------------------- Learn more about HTML/CSS @Traversy Media HTML Crash Course: https://www.youtube.com/watch?v=UB1O30fR-EE @Traversy Media CSS Crash Course: https://www.youtube.com/watch?v=yfoY53QXEnI Codecademy: https://www.codecademy.com/catalog/language/html-css --------------------- Video timeline! 0:00 - Intro & Video Overview 1:09 - What is web scraping? 3:51 - Introduction to HTML Using the beautiful soup library (5:29) 6:31 - Loading in a webpage (requests library) 8:21 - Starting to scrape 9:18 - find & find_all methods 16:00 - Finding specific text/strings in our HTML (regex) 18:38 - Select method (CSS path selections) 25:55 - Grabbing the string/text from an HTML element 28:17 - Getting a property of HTML element (href, src, id, class, etc) 29:41 - Code navigation (parents, children, siblings) Let’s practice our skills! (33:57) 35:53 - Exercise #1: Grab all social links on webpage in 3 different ways 42:09 - Exercise #2: Scrape an HTML table into a Pandas Dataframe 53:09 - Exercise #3: Grab all fun facts that contain the word “is” 57:59 - Exercise #4: Use beautiful soup to help download an image from a webpage 1:04:20 - Exercise #5: Solve the mystery challenge!!! --------------------- Follow me on social media! Instagram | https://www.facebook.com/unsupportedbrowser Twitter | https://twitter.com/keithgalli --------------------- If you are curious to learn how I make my tutorials, check out this video: https://www.youtube.com/watch?v=LEO4igyXbLs *I use affiliate links on the products that I recommend. I may earn a purchase commission or a referral bonus from the usage of these links.
Pregătim opțiunile de descărcare
Site-ul http://unidownloader.com/ este cel mai bun mod de a descărca un videoclip sau o piesă audio separată, dacă doriți să faceți acest lucru fără a instala programe și extensii.
Extensia UDL Helper este un buton convenabil care este integrat perfect în site-urile YouTube, Instagram și OK.ru pentru descărcarea rapidă a conținutului.
Programul UDL Client (pentru Windows) este cea mai puternică soluție care suportă peste 900 de site-uri web, rețele sociale și site-uri de găzduire video, precum și orice calitate video care este disponibilă în sursă.
UDL Lite este o modalitate foarte convenabilă de a accesa un site web de pe dispozitivul mobil. Cu ajutorul său, puteți descărca cu ușurință videoclipuri direct pe smartphone.
Cele mai bune formate de calitate sunt FullHD (1080p), 2K (1440p), 4K (2160p) și 8K (4320p). Cu cât rezoluția ecranului dvs. este mai mare, cu atât mai mare ar trebui să fie calitatea video. Cu toate acestea, există și alți factori de luat în considerare: viteza de descărcare, cantitatea de spațiu liber și performanța dispozitivului în timpul redării.
Browserul/computerul nu ar trebui să se blocheze complet! Dacă se întâmplă acest lucru, vă rugăm să raportați acest lucru cu un link către videoclip. Uneori, videoclipurile nu pot fi descărcate direct într-un format adecvat, așa că am adăugat posibilitatea de a converti fișierul în formatul dorit. În unele cazuri, acest proces poate utiliza în mod activ resursele computerului.
Puteți descărca un videoclip pe smartphone-ul dvs. utilizând site-ul web sau aplicația PWA UDL Lite. De asemenea, este posibil să trimiteți un link de descărcare prin cod QR folosind extensia UDL Helper.
Cea mai convenabilă modalitate este să utilizați programul UDL Client, care acceptă conversia videoclipurilor în format MP3. În unele cazuri, MP3 poate fi descărcat și prin intermediul extensiei UDL Helper.
Această funcție este disponibilă în extensia UDL Helper. Asigurați-vă că "Show the video snapshot button" (Afișați butonul de instantaneu video) este bifat în setări. O pictogramă a camerei ar trebui să apară în colțul din dreapta jos al playerului, în stânga pictogramei "Setări". Atunci când faceți clic pe ea, cadrul curent din videoclip va fi salvat pe computer în format JPEG.
Nu costă nimic. Serviciile noastre sunt absolut gratuite pentru toți utilizatorii. Nu există abonamente PRO, nu există restricții privind numărul sau lungimea maximă a videoclipurilor descărcate.