摘要：忘記使用進(jìn)行，從導(dǎo)入數(shù)據(jù)文件第部分對(duì)于每個(gè)網(wǎng)站而言，并不總是適合您，但將永遠(yuǎn)與您保持聯(lián)系以從任何網(wǎng)站收集任何類(lèi)型的數(shù)據(jù)。非資源讓我們拿一個(gè)維基百科頁(yè)面進(jìn)行報(bào)廢。請(qǐng)求它旨在被人類(lèi)用于與語(yǔ)言進(jìn)行通信。使用標(biāo)簽，我們將告訴保護(hù)我們的數(shù)據(jù)。

忘記API使用Beautiful Soup進(jìn)行Python Scraping，從Web導(dǎo)入數(shù)據(jù)文件：第2部分

對(duì)于每個(gè)網(wǎng)站而言，API并不總是適合您，但Beautiful Soup將永遠(yuǎn)與您保持聯(lián)系以從任何網(wǎng)站收集任何類(lèi)型的數(shù)據(jù)。

Souce：gurutechnolabs.com

今天，數(shù)據(jù)發(fā)揮在每一個(gè)行業(yè)的關(guān)鍵作用。大部分?jǐn)?shù)據(jù)都來(lái)自互聯(lián)網(wǎng)。大多數(shù)公司在一項(xiàng)技術(shù)上投入數(shù)百萬(wàn)美元來(lái)獲得用戶(hù)，而沒(méi)有從投資產(chǎn)品回報(bào)中獲利。互聯(lián)網(wǎng)是如此龐大，它包含有關(guān)一個(gè)主題的更多信息，而不是你的書(shū)呆子教授。
從網(wǎng)絡(luò)中提取信息的需求和重要性變得越來(lái)越響亮和清晰。大部分時(shí)間，當(dāng)我們?cè)谀哪槙?shū)，推特，LinkedIn中添加任何信息并提供有關(guān)Yelp的反饋時(shí)，此信息將被視為數(shù)據(jù)。

而來(lái)自互聯(lián)網(wǎng)的這類(lèi)數(shù)據(jù)有很多不同的方式，例如評(píng)論，餐廳對(duì)Yelp的反饋，Twitter討論，Reddit用戶(hù)討論和股票價(jià)格等。您可以收集所有這些數(shù)據(jù)，組織并分析它。這就是我們將在本教程中討論的內(nèi)容。
有幾種從Internet提取或?qū)霐?shù)據(jù)的方法。您可以使用API??從任何主要網(wǎng)站檢索信息。這就是每個(gè)人現(xiàn)在用來(lái)從互聯(lián)網(wǎng)導(dǎo)入數(shù)據(jù)的東西 - 所有主要網(wǎng)站，如Twitter，Twitch，Instagram，F(xiàn)acebook都提供API來(lái)訪(fǎng)問(wèn)他們的網(wǎng)站數(shù)據(jù)集。所有這些數(shù)據(jù)都以結(jié)構(gòu)化形式提供。
但是大多數(shù)網(wǎng)站都沒(méi)有提供API。我認(rèn)為他們不希望我們使用他們的用戶(hù)數(shù)據(jù)，或者他們因?yàn)槿狈χR(shí)而不提供這些數(shù)據(jù)。
因此，在本主題中，我們將在不使用任何API的情況下從Web導(dǎo)入數(shù)據(jù)。但在我們處理之前，請(qǐng)看一下本系列的第1部分，因?yàn)樗袃?nèi)容都像點(diǎn)一樣連接。

你不了解數(shù)據(jù)文件的東西如果你只是數(shù)據(jù)科學(xué)的入門(mén)者，導(dǎo)入數(shù)據(jù)文件...

如果你是數(shù)據(jù)科學(xué)領(lǐng)域的新手，那么你必須努力學(xué)習(xí)數(shù)據(jù)科學(xué)概念如此之快。現(xiàn)在......
朝向distascience.com?
什么是Beautiful Soup

不要寫(xiě)那個(gè)糟糕的頁(yè)面（來(lái)源：crummy.com）

Beautiful Soup是廢棄特定網(wǎng)站或互聯(lián)網(wǎng)數(shù)據(jù)的最佳圖書(shū)館。也是最舒適的工作。它從HTML解析和提取結(jié)構(gòu)化數(shù)據(jù)。Beautiful Soup會(huì)自動(dòng)將傳入的文本轉(zhuǎn)換為Unicode，將傳出的版本轉(zhuǎn)換為UTF-8。除了文檔沒(méi)有定義編碼之外，您不必記住編碼，而B(niǎo)eautiful Soup也無(wú)法捕獲編碼。然后你必須提到原始編碼。

規(guī)則：要運(yùn)行您的程序，請(qǐng)使用Jupyter python環(huán)境來(lái)運(yùn)行您的程序。而不是一次運(yùn)行整個(gè)程序。我們只是采取了預(yù)防措施，因此您的計(jì)劃不會(huì)破壞網(wǎng)站。在開(kāi)始從那里提取數(shù)據(jù)之前，請(qǐng)查看網(wǎng)站條款和條件。請(qǐng)務(wù)必閱讀有關(guān)數(shù)據(jù)合法使用的聲明。
基礎(chǔ) - 熟悉HTML
HTML代碼在從網(wǎng)站提取數(shù)據(jù)方面起著至關(guān)重要的作用。因此，在我們處理之前，讓我們跳轉(zhuǎn)到HTML標(biāo)記的基礎(chǔ)。如果您對(duì)HTML標(biāo)記有一點(diǎn)了解，可以繼續(xù)前進(jìn)到下一個(gè)級(jí)別。

?
?
???
???
???
???????

Learning about Data

???????

Beautiful Soup

???

這是HTML網(wǎng)頁(yè)的基本語(yǔ)法。每個(gè)都在網(wǎng)頁(yè)內(nèi)部提供一個(gè)塊：
1.<！DOCTYPE html>：HTML文檔必須以類(lèi)型聲明開(kāi)頭。
2. HTML文檔包含在和之間。
3. HTML文檔的元和腳本聲明位于和之間。
4. HTML文檔的可見(jiàn)部分位于和標(biāo)記之間。
5. 標(biāo)題標(biāo)題用

到

標(biāo)簽定義。
6. 標(biāo)簽。

其他有用的標(biāo)記包括用于超鏈接，

用于表，用于表行，

<

用于表列。 我們來(lái)檢查您的HTML頁(yè)面 按地區(qū)劃分的亞洲國(guó)家列表 - 維基百科 需要額外引用以進(jìn)行驗(yàn)證。通過(guò)向可靠來(lái)源添加引文來(lái)改進(jìn)本文。非資源... en.wikipedia.org? 讓我們拿一個(gè)維基百科頁(yè)面進(jìn)行報(bào)廢。如果你有谷歌瀏覽器，然后轉(zhuǎn)到頁(yè)面，首先右鍵單擊它并打開(kāi)瀏覽器檢查器以檢查網(wǎng)頁(yè)。 檢查維基百科頁(yè)面 從結(jié)果中你可以看到wiki表中的表是可排序的，如果你檢查它更多，你可以在那里找到你所有的表信息，這太棒了啊！看到你可以用beautiful soup做什么會(huì)更令人驚訝。 ? 可維護(hù)的Sortanble 讓我們開(kāi)始您的DIY項(xiàng)目 現(xiàn)在我們了解了我們的數(shù)據(jù)及其所在位置。所以，我們將開(kāi)始廢棄我們的數(shù)據(jù)。 在我們處理之前，您需要安裝或?qū)胍恍?kù)。 #Import Libraries from bs4 import BeautifulSoup import requests 如果您在安裝過(guò)程中遇到任何問(wèn)題，可以在每行前面使用sudo。 請(qǐng)求 它旨在被人類(lèi)用于與語(yǔ)言進(jìn)行通信。這表明您不必手動(dòng)將查詢(xún)字符串連接到URL，也不必對(duì)POST數(shù)據(jù)進(jìn)行表單編碼。請(qǐng)求將使您能夠使用Python發(fā)送HTTP / 1.1請(qǐng)求。在其中，您可以通過(guò)簡(jiǎn)單的Python庫(kù)組合標(biāo)題，表單數(shù)據(jù)，多部分文件和參數(shù)等內(nèi)容。它還使您能夠以相同的方式獲取Python的響應(yīng)數(shù)據(jù)。 BS4 - BeautifulSoup Beautiful Soup是一個(gè)Python庫(kù)，用于從HTML和XML文件中提取數(shù)據(jù)。它與您最喜歡的解析器一起使用，可以生成自然的操作方式，檢查和轉(zhuǎn)換解析樹(shù)。它通常可以節(jié)省程序員數(shù)小時(shí)或數(shù)天的工作量。 # Specify with which URL/web page we are going to be scraping url = requests.get(‘https://en.wikipedia.org/wiki/List_of_Asian_countries_by_area’).text 我們首先研究給定網(wǎng)頁(yè)的源代碼并使用BeautifulSoup函數(shù)構(gòu)建BeautifulSoup（湯）對(duì)象。現(xiàn)在，我們需要使用Beautiful Soap函數(shù)，這將幫助我們解析并應(yīng)用從Wikipedia頁(yè)面獲取的HTML ： # import the BeautifulSoup library so we can parse HTML and XML documents from bs4 import BeautifulSoup 然后我們將使用Beautiful Soup來(lái)解析我們?cè)凇癠RL”變量中收集的HTML數(shù)據(jù)，并分配一個(gè)不同的變量來(lái)存儲(chǔ)名為“Soup”的Beautiful Soup格式的數(shù)據(jù)。 #Parse the HTML from our URL into the BeautifulSoup parse tree format soup = BeautifulSoup(url, "lxml") 要在我們的網(wǎng)頁(yè)中獲得基礎(chǔ)HTML結(jié)構(gòu)的概念，請(qǐng)使用Beautiful Soup的美化功能并進(jìn)行檢查。 #To look at the HTML underlying to the web print(soup.prettify()) 這是我們從prettify（）函數(shù)得到的： ? ? ? ? 閱讀需要支付1元查看 支付并查看