説明:
Practice your Python Pandas data science skills with problems on StrataScratch! https://stratascratch.com/?via=keith In this video we walk through web scraping in Python using the beautiful soup library. We start with a brief introduction to HTML & CSS and discuss what web scraping is. Next we start getting into the basics of the beautiful soup library. This includes how to load a webpage, the basic commands you need to know such as find & find_all, grabbing strings from an HTML elements, etc. The final section of this tutorial is a series of exercises where you can practice your skills. In this section we scrape a webpage for links, we learn how to scrape a table and load it into a pandas dataframe, and we see how you can scrape & download a web image. Hope you enjoy! I’m looking into making future videos on more complex things you can do with web scraping as well as other libraries that are helpful such as Selenium & ScraPy. Subscribe to not miss those. Join the Python Army to get access to perks! YouTube - https://www.youtube.com/channel/UCq6XkhO5SZ66N04IcPbqNcw/join Patreon - https://www.patreon.com/keithgalli --------------------- Resources used in this video Simple webpage: https://keithgalli.github.io/web-scraping/example.html Example webpage: https://keithgalli.github.io/web-scraping/webpage.html Link to source code: https://github.com/KeithGalli/web-scraping Beautiful Soup Documentation: https://www.crummy.com/software/BeautifulSoup/bs4/doc/ CSS Selector Reference: https://www.w3schools.com/cssref/css_selectors.asp --------------------- Learn more about HTML/CSS @Traversy Media HTML Crash Course: https://youtu.be/UB1O30fR-EE @Traversy Media CSS Crash Course: https://youtu.be/yfoY53QXEnI Codecademy: https://www.codecademy.com/catalog/language/html-css --------------------- Video timeline! 0:00 - Intro & Video Overview 1:09 - What is web scraping? 3:51 - Introduction to HTML Using the beautiful soup library (5:29) 6:31 - Loading in a webpage (requests library) 8:21 - Starting to scrape 9:18 - find & find_all methods 16:00 - Finding specific text/strings in our HTML (regex) 18:38 - Select method (CSS path selections) 25:55 - Grabbing the string/text from an HTML element 28:17 - Getting a property of HTML element (href, src, id, class, etc) 29:41 - Code navigation (parents, children, siblings) Let’s practice our skills! (33:57) 35:53 - Exercise #1: Grab all social links on webpage in 3 different ways 42:09 - Exercise #2: Scrape an HTML table into a Pandas Dataframe 53:09 - Exercise #3: Grab all fun facts that contain the word “is” 57:59 - Exercise #4: Use beautiful soup to help download an image from a webpage 1:04:20 - Exercise #5: Solve the mystery challenge!!! --------------------- Follow me on social media! Instagram | https://www.instagram.com/keithgalli/ Twitter | https://twitter.com/keithgalli --------------------- If you are curious to learn how I make my tutorials, check out this video: https://youtu.be/LEO4igyXbLs *I use affiliate links on the products that I recommend. I may earn a purchase commission or a referral bonus from the usage of these links.
ダウンロードオプション準備中
http://unidownloader.com/サイトは、プログラムやブラウザー拡張機能をインストールせずにビデオや個別のオーディオトラックをダウンロードする最高の方法です。 UDL Helper拡張機能は、コンテンツをすばやくダウンロードできるように、YouTube、Instagram、OK.ruのサイトに調和して統合される便利なボタンです。 UDL Client(Windows用)プログラムは、900以上のサイト、ソーシャルネットワークやビデオホスティング、及びソースで利用可能なあらゆるビデオ画質をサポートする最も強力なソリューションです。 UDL Liteは、モバイルデバイスを使用してサイトに簡単にアクセスできる方法です。これを使用することにより、ビデオがお使いのスマホに直接ダウンロードできます。
最高画質のフォーマットは、FullHD(1080p)、2K(1440p)、4K(2160p)と8K(4320p)です。画面の解像度が高いほど、ビデオ画質も高くなります。ただし、ダウンロード速度、空き容量、再生中のデバイスのパフォーマンスなど、他の要素も考慮する必要があります。
ブラウザやコンピュータが完全にフリーズしてしまうのは普通のものではありません!完全にフリーズした場合は、ビデオへのリンクを添えてご報告ください。ビデオを適切なフォーマットで直接ダウンロードできない場合があるため、ファイルを必要なフォーマットに変換する機能を追加しました。場合によっては、このプロセスはパソコンのリソースを積極的に利用できます。
ビデオをお使いのスマホにサイト若しくはUDL Liteのpwaアプリを使用してダウンロードできます。UDL Helper拡張機能を使用して、QRコード経由でダウンロードリンクを送信することもできます。
最も便利な方法は、ビデオをMP3フォーマットへ変換することをサポートするUDL Clientプログラムを使用することです。場合によっては、MP3がUDL Helperも使用してダウンロードできます。
この機能は、UDL Helper拡張機能で利用できます。設定で「ビデオスクイーンショットボタンを表示する」オプションがチェックされているを確認してください。「設定」アイコンの左側にあるプレーヤーの右下隅には、クリックするとビデオの現在のフレームがお使いのパソコンにJPEGフォーマットで保存されるカメラアイコンが表示されます。
無料です。私たちのサービスはすべてのユーザーにとって完全に無料です。PROサブスクリプションもなく、ダウンロードビデオの数や最大長に制限もありません。