Opis:
Practice your Python Pandas data science skills with problems on StrataScratch! https://www.stratascratch.com/?via=keith In this video we walk through web scraping in Python using the beautiful soup library. We start with a brief introduction to HTML & CSS and discuss what web scraping is. Next we start getting into the basics of the beautiful soup library. This includes how to load a webpage, the basic commands you need to know such as find & find_all, grabbing strings from an HTML elements, etc. The final section of this tutorial is a series of exercises where you can practice your skills. In this section we scrape a webpage for links, we learn how to scrape a table and load it into a pandas dataframe, and we see how you can scrape & download a web image. Hope you enjoy! I’m looking into making future videos on more complex things you can do with web scraping as well as other libraries that are helpful such as Selenium & ScraPy. Subscribe to not miss those. Join the Python Army to get access to perks! YouTube - https://www.youtube.com/channel/UCq6XkhO5SZ66N04IcPbqNcw/join Patreon - https://www.patreon.com/keithgalli --------------------- Resources used in this video Simple webpage: https://keithgalli.github.io/web-scraping/example.html Example webpage: https://keithgalli.github.io/web-scraping/webpage.html Link to source code: https://github.com/KeithGalli/web-scraping Beautiful Soup Documentation: https://www.crummy.com/software/BeautifulSoup/bs4/doc/ CSS Selector Reference: https://www.w3schools.com/cssref/css_selectors.php --------------------- Learn more about HTML/CSS @Traversy Media HTML Crash Course: https://www.youtube.com/watch?v=UB1O30fR-EE @Traversy Media CSS Crash Course: https://www.youtube.com/watch?v=yfoY53QXEnI Codecademy: https://www.codecademy.com/catalog/language/html-css --------------------- Video timeline! 0:00 - Intro & Video Overview 1:09 - What is web scraping? 3:51 - Introduction to HTML Using the beautiful soup library (5:29) 6:31 - Loading in a webpage (requests library) 8:21 - Starting to scrape 9:18 - find & find_all methods 16:00 - Finding specific text/strings in our HTML (regex) 18:38 - Select method (CSS path selections) 25:55 - Grabbing the string/text from an HTML element 28:17 - Getting a property of HTML element (href, src, id, class, etc) 29:41 - Code navigation (parents, children, siblings) Let’s practice our skills! (33:57) 35:53 - Exercise #1: Grab all social links on webpage in 3 different ways 42:09 - Exercise #2: Scrape an HTML table into a Pandas Dataframe 53:09 - Exercise #3: Grab all fun facts that contain the word “is” 57:59 - Exercise #4: Use beautiful soup to help download an image from a webpage 1:04:20 - Exercise #5: Solve the mystery challenge!!! --------------------- Follow me on social media! Instagram | https://www.facebook.com/unsupportedbrowser Twitter | https://twitter.com/keithgalli --------------------- If you are curious to learn how I make my tutorials, check out this video: https://www.youtube.com/watch?v=LEO4igyXbLs *I use affiliate links on the products that I recommend. I may earn a purchase commission or a referral bonus from the usage of these links.
Przygotowujemy opcje pobrania
Strona http://unidownloader.com/ to najlepszy sposób na pobranie wideo lub oddzielnej ścieżki audio, jeśli chcesz obejść się bez instalowania programów i rozszerzeń.
Rozszerzenie UDL Helper to wygodny przycisk, który jest płynnie zintegrowany z witrynami YouTube, Instagram i OK.ru w celu szybkiego pobierania treści.
Program UDL Client (dla Windows) to najpotężniejsze rozwiązanie, które obsługuje ponad 900 stron internetowych, sieci społecznościowych i witryn hostingowych wideo, a także dowolną jakość wideo dostępną w źródle.
UDL Lite to naprawdę wygodny sposób na dostęp do strony internetowej z urządzenia mobilnego. Z jego pomocą można łatwo pobierać filmy bezpośrednio na smartfona.
Najlepsze formaty jakości to FullHD (1080p), 2K (1440p), 4K (2160p) i 8K (4320p). Im wyższa rozdzielczość ekranu, tym wyższa powinna być jakość wideo. Istnieją jednak inne czynniki, które należy wziąć pod uwagę: szybkość pobierania, ilość wolnego miejsca i wydajność urządzenia podczas odtwarzania.
Przeglądarka/komputer nie powinny zawieszać się całkowicie! Jeśli tak się stanie, zgłoś to, podając link do filmu. Czasami filmów nie można pobrać bezpośrednio w odpowiednim formacie, dlatego dodaliśmy możliwość konwersji pliku do żądanego formatu. W niektórych przypadkach proces ten może aktywnie wykorzystywać zasoby komputera.
Wideo można pobrać na smartfon za pomocą strony internetowej lub aplikacji PWA UDL Lite. Możliwe jest również wysłanie linku do pobrania za pomocą kodu QR przy użyciu rozszerzenia UDL Helper.
Najwygodniejszym sposobem jest użycie programu UDL Client, który obsługuje konwersję wideo do formatu MP3. W niektórych przypadkach MP3 można również pobrać za pomocą rozszerzenia UDL Helper.
Ta funkcja jest dostępna w rozszerzeniu UDL Helper. Upewnij się, że opcja "Pokaż przycisk migawki wideo" jest zaznaczona w ustawieniach. Ikona kamery powinna pojawić się w prawym dolnym rogu odtwarzacza, po lewej stronie ikony "Ustawienia". Po jej kliknięciu bieżąca klatka z filmu zostanie zapisana na komputerze w formacie JPEG.
To nic nie kosztuje. Nasze usługi są całkowicie darmowe dla wszystkich użytkowników. Nie ma subskrypcji PRO, nie ma ograniczeń co do liczby lub maksymalnej długości pobieranych filmów.