Описание:
Practice your Python Pandas data science skills with problems on StrataScratch! https://www.stratascratch.com/?via=keith In this video we walk through web scraping in Python using the beautiful soup library. We start with a brief introduction to HTML & CSS and discuss what web scraping is. Next we start getting into the basics of the beautiful soup library. This includes how to load a webpage, the basic commands you need to know such as find & find_all, grabbing strings from an HTML elements, etc. The final section of this tutorial is a series of exercises where you can practice your skills. In this section we scrape a webpage for links, we learn how to scrape a table and load it into a pandas dataframe, and we see how you can scrape & download a web image. Hope you enjoy! I’m looking into making future videos on more complex things you can do with web scraping as well as other libraries that are helpful such as Selenium & ScraPy. Subscribe to not miss those. Join the Python Army to get access to perks! YouTube - https://www.youtube.com/channel/UCq6XkhO5SZ66N04IcPbqNcw/join Patreon - https://www.patreon.com/keithgalli --------------------- Resources used in this video Simple webpage: https://keithgalli.github.io/web-scraping/example.html Example webpage: https://keithgalli.github.io/web-scraping/webpage.html Link to source code: https://github.com/KeithGalli/web-scraping Beautiful Soup Documentation: https://www.crummy.com/software/BeautifulSoup/bs4/doc/ CSS Selector Reference: https://www.w3schools.com/cssref/css_selectors.php --------------------- Learn more about HTML/CSS @Traversy Media HTML Crash Course: https://www.youtube.com/watch?v=UB1O30fR-EE @Traversy Media CSS Crash Course: https://www.youtube.com/watch?v=yfoY53QXEnI Codecademy: https://www.codecademy.com/catalog/language/html-css --------------------- Video timeline! 0:00 - Intro & Video Overview 1:09 - What is web scraping? 3:51 - Introduction to HTML Using the beautiful soup library (5:29) 6:31 - Loading in a webpage (requests library) 8:21 - Starting to scrape 9:18 - find & find_all methods 16:00 - Finding specific text/strings in our HTML (regex) 18:38 - Select method (CSS path selections) 25:55 - Grabbing the string/text from an HTML element 28:17 - Getting a property of HTML element (href, src, id, class, etc) 29:41 - Code navigation (parents, children, siblings) Let’s practice our skills! (33:57) 35:53 - Exercise #1: Grab all social links on webpage in 3 different ways 42:09 - Exercise #2: Scrape an HTML table into a Pandas Dataframe 53:09 - Exercise #3: Grab all fun facts that contain the word “is” 57:59 - Exercise #4: Use beautiful soup to help download an image from a webpage 1:04:20 - Exercise #5: Solve the mystery challenge!!! --------------------- Follow me on social media! Instagram | https://www.facebook.com/unsupportedbrowser Twitter | https://twitter.com/keithgalli --------------------- If you are curious to learn how I make my tutorials, check out this video: https://www.youtube.com/watch?v=LEO4igyXbLs *I use affiliate links on the products that I recommend. I may earn a purchase commission or a referral bonus from the usage of these links.
Готовим варианты загрузки
Сайт http://unidownloader.com/ — лучший способ скачать видео или отдельно аудиодорожку, если хочется обойтись без установки программ и расширений. Расширение UDL Helper — удобная кнопка, которая органично встраивается на сайты YouTube, Instagram и OK.ru для быстрого скачивания контента.
Программа UDL Client (для Windows) — самое мощное решение, поддерживающее более 900 сайтов, социальных сетей и видеохостингов, а также любое качество видео, которое доступно в источнике.
UDL Lite — представляет собой удобный доступ к сайту с мобильного устройства. С его помощью вы можете легко скачивать видео прямо на смартфон.
Наилучшее качество имеют форматы FullHD (1080p), 2K (1440p), 4K (2160p) и 8K (4320p). Чем больше разрешение вашего экрана, тем выше должно быть качество видео. Однако следует учесть и другие факторы: скорость скачивания, количество свободного места, а также производительность устройства при воспроизведении.
Полностью зависать браузер/компьютер не должен! Если это произошло, просьба сообщить об этом, указав ссылку на видео. Иногда видео нельзя скачать напрямую в подходящем формате, поэтому мы добавили возможность конвертации файла в нужный формат. В отдельных случаях этот процесс может активно использовать ресурсы компьютера.
Вы можете скачать видео на свой смартфон с помощью сайта или pwa-приложения UDL Lite. Также есть возможность отправить ссылку на скачивание через QR-код с помощью расширения UDL Helper.
Самый удобный способ — воспользоваться программой UDL Client, которая поддерживает конвертацию видео в формат MP3. В некоторых случаях MP3 можно скачать и через расширение UDL Helper.
Эта функция доступна в расширении UDL Helper. Убедитесь, что в настройках отмечен пункт «Отображать кнопку сохранения скриншота из видео». В правом нижнем углу плеера левее иконки «Настройки» должна появиться иконка камеры, по нажатию на которую текущий кадр из видео будет сохранён на ваш компьютер в формате JPEG.
Нисколько. Наши сервисы абсолютно бесплатны для всех пользователей. Здесь нет PRO подписок, нет ограничений на количество или максимальную длину скачиваемого видео.