目錄

一、XPath解析數(shù)據(jù)

1、XPath解析數(shù)據(jù)

2、XML的樹(shù)形結(jié)構(gòu)

3、使用XPath選取節(jié)點(diǎn)

4、課堂案例 - 爬取起點(diǎn)小說(shuō)網(wǎng)

二、BeautifulSoup解析數(shù)據(jù)

1、BeautifulSoup

2、BeautifulSoup的使用

3、使用BeautifulSoup爬取淘寶網(wǎng)首頁(yè)

三、正則表達(dá)式

1、正則表達(dá)式

2、正則語(yǔ)法

3、特殊序列

4、正則處理函數(shù)

5、課堂案例（下載糗事百科小視頻）

6、課外案例

四、pyquery解析數(shù)據(jù)

1、pyquery

2、pyquery的初始化方式

3、pyquery的使用

4、課堂案例（爬取起點(diǎn)小說(shuō)網(wǎng)）

一、XPath解析數(shù)據(jù)

1、XPath解析數(shù)據(jù)

• XPath
  • 全稱：XML Path Language是一種小型的查詢語(yǔ)言
  • 是一門(mén)在XML文檔中查找信息的語(yǔ)言
• XPath的優(yōu)點(diǎn)
  • 可在XML中查找信息
  • 支持HTML的查找
  • 可通過(guò)元素和屬性進(jìn)行導(dǎo)航
• XPath需要依賴lxml庫(kù)
  • 安裝方式： pip install lxml

2、XML的樹(shù)形結(jié)構(gòu)

3、使用XPath選取節(jié)點(diǎn)

4、課堂案例 - 爬取起點(diǎn)小說(shuō)網(wǎng)

• 下載谷歌瀏覽器XPath插件
• 安裝XPath插件
• 使用XPath

import requestsfrom lxml import etreeurl="https://www.qidian.com/rank/yuepiao"headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36"}# 發(fā)送請(qǐng)求resp=requests.get(url,headers)e=etree.HTML(resp.text)     # 類(lèi)型轉(zhuǎn)換,把str類(lèi)型轉(zhuǎn)換成class "lxml.etree._Element"# print(type(e))        # names=e.xpath("http://div[@class="book-mid-info"]/h4/a/text()")  # 獲取小說(shuō)名稱authors=e.xpath("http://p[@class="author"]/a[1]/text()")         # 獲取小說(shuō)作者# print(names)        # ["大奉打更人", "這個(gè)人仙太過(guò)正經(jīng)", "從紅月開(kāi)始", "穩(wěn)住別浪", 。。。]# print(authors)      # ["賣(mài)報(bào)小郎君", "言歸正傳", "黑山老鬼", "跳舞", "我最白",  。。。]for name,author in zip(names,authors):    print(name, ":", author)# 大奉打更人 : 賣(mài)報(bào)小郎君# 這個(gè)人仙太過(guò)正經(jīng) : 言歸正傳# 從紅月開(kāi)始 : 黑山老鬼# 穩(wěn)住別浪 : 跳舞# ...    ...

二、BeautifulSoup解析數(shù)據(jù)

1、BeautifulSoup

• BeautifulSoup
  • 是一個(gè)可以從HTML或XML文件中提取數(shù)據(jù)的Python庫(kù)。其功能簡(jiǎn)單而強(qiáng)大、容錯(cuò)能力強(qiáng)、文檔相對(duì)完善，清晰易懂
  • 非Python標(biāo)準(zhǔn)模塊，需要安裝才能使用
• 安裝方式
  • pip install bs4
• 測(cè)試方式
  • import bs4
• 解析器
  • BeautifulSoup支持Python標(biāo)準(zhǔn)庫(kù)中的HTML解析器，還支持一些第三方的解析器，如果不安裝第三方解析器，則Python會(huì)使用默認(rèn)瀏覽器

from bs4 import BeautifulSouphtml="""                                                 
早起對(duì)自己說(shuō)：我真美！
            百度            
            """# bs=BeautifulSoup(html, "html.parser")bs=BeautifulSoup(html, "lxml")print(bs.title)     # 獲取標(biāo)題         print(bs.h1.attrs)    # 獲取h1標(biāo)簽的所有屬性   {"class": ["info", "bg"], "float": "left"}# 獲取單個(gè)屬性print(bs.h1.get("class"))       # ["info", "bg"]print(bs.h1["class"])           # ["info", "bg"]print(bs.a["href"])             # http://www.baidu.com# 獲取文本內(nèi)容print(bs.title.text)            # 今天又是美好的一天print(bs.title.string)          # 今天又是美好的一天# 獲取內(nèi)容print("-----", bs.h2.string)       # ----- 注釋的內(nèi)容print("-----", bs.h2.text)         # -----# string可以獲取注釋的內(nèi)容，但是text不能獲取注釋內(nèi)容

2、BeautifulSoup的使用

• BeautifulSoup提取數(shù)據(jù)的常用方法

• CSS選擇題

• Tag對(duì)象

from bs4 import BeautifulSouphtml="""        
今天又是美好的一天
   
      好好學(xué)習(xí)，天天向上      百度   
   人生苦短，唯有愛(ài)情"""bs=BeautifulSoup(html, "lxml")print(bs.title, type(bs.title))      # 獲取標(biāo)題及其類(lèi)型#  print(bs.find("div",class_="info"), type(bs.find("div",class_="info")))     # 獲取第一個(gè)滿足條件的標(biāo)簽# 
今天又是美好的一天
 print(bs.find_all("div", class_="info"))    # 得到的是一個(gè)標(biāo)簽的列表# [
今天又是美好的一天
, 
# 好好學(xué)習(xí)，天天向上# 百度# 
]for item in bs.find_all("div",class_="info"):    print(item, type(item))print(bs.find_all("div", attrs={"float":"right"}))  # 得到屬性為"float":"right"的div標(biāo)簽print("---------------CSS選擇器---------------------")print(bs.select("#gb"))print(bs.select(".info"))print(bs.select("div>span"))    # [好好學(xué)習(xí)，天天向上]print(bs.select("div.info>span"))    # [好好學(xué)習(xí)，天天向上]for item in bs.select("div.info>span"):    print(item.text)    # 好好學(xué)習(xí)，天天向上

3、使用BeautifulSoup爬取淘寶網(wǎng)首頁(yè)

import requestsfrom bs4 import BeautifulSoupurl="https://www.taobao.com/"headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36"}resp=requests.get(url,headers)# print(resp.text)        # ... ...bs=BeautifulSoup(resp.text,"lxml")a_list=bs.find_all("a")# print(len(a_list))      # 128for a in a_list:    url=a.get("href")    # print(url)    if url==None:        continue    if url.startswith("http") or url.startswith("https"):        print(url)

三、正則表達(dá)式

1、正則表達(dá)式

• 是一個(gè)特殊的字符序列，它能幫助用戶便捷地檢查一個(gè)字符串是否與某種模式匹配
• Python的正則模塊是re，是Python的內(nèi)置模塊，不需要安裝，導(dǎo)入即可

2、正則語(yǔ)法

3、特殊序列

4、正則處理函數(shù)

import res = "I study Python3.8 every day"print("--------match方法，從起始位置開(kāi)始匹配--------")print(re.match("I", s).group())     # Iprint(re.match("/w", s).group())    # Iprint(re.match(".", s).group())     # Iprint("--------search方法，從任意位置開(kāi)始匹配，匹配第一個(gè)--------")print(re.search("study", s).group())    # studyprint(re.search("s/w", s).group())      # stprint("--------findall方法，從任意位置開(kāi)始匹配，匹配多個(gè)--------")print(re.findall("y", s))           # 結(jié)果為數(shù)組   ["y", "y", "y", "y"]print(re.findall("Python", s))      # ["Python"]print(re.findall("P/w+./d", s))     # ["Python3.8"]print(re.findall("P.+/d", s))     # ["Python3.8"]print("--------sub方法的使用，替換功能--------")print(re.sub("study", "like", s))     # 將study替換成like   I like Python3.8 every dayprint(re.sub("s/w+", "like", s))     #  I like Python3.8 every day

5、課堂案例（下載糗事百科小視頻）

• 請(qǐng)求的url
  • 最新視頻 - 糗事百科

爬取數(shù)據(jù)時(shí)，一定要記得先找F12代碼，看看和爬取的數(shù)據(jù)是否一致，若一致，則可直接提取。

import reimport requestsurl="http://www.qiushibaike.com/video/"headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36"}resp=requests.get(url,headers=headers)# print(resp.text)# 先隨便找一個(gè)視頻，看是否能提取到。單引號(hào)中的單引號(hào)用/轉(zhuǎn)義：/".../"# info=re.findall("", resp.text)# print(info)     # [""]info=re.findall("", resp.text)# print(info)     # 給出所有URL的相對(duì)位置的數(shù)組lst=[]for item in info:    lst.append("https:"+item)# print(lst)# 循環(huán)count=0for item in lst:    count+=1    resp=requests.get(item, headers=headers)    # 轉(zhuǎn)成二進(jìn)制存儲(chǔ)    with open("video/"+str(count)+".mp4", "wb") as file:        file.write(resp.content)print("視頻下載完畢")

6、課外案例

用正則表達(dá)式提取51job網(wǎng)頁(yè)中的信息

import requestsimport refrom pandas import DataFrame # 網(wǎng)址url = "https://search.51job.com/list/000000,000000,0000,32,9,99,Java%25E5%25BC%2580%25E5%258F%2591,2,1.html"# 獲得網(wǎng)頁(yè)對(duì)象res = requests.get(url)# 設(shè)置編碼格式res.encoding = "gbk" # 職位名# 將要提取的用(.*)表示，每條數(shù)據(jù)不同的地方用.*表示position_pat = ""  position = re.findall(position_pat, res.text) # 公司名company_pat = ".*"company = re.findall(company_pat, res.text) # 工作地點(diǎn)place_pat = "
.*?(.*?)"  # 非貪婪模式place = re.findall(place_pat, res.text, re.S) # 薪資salary_pat = "
.*?(.*?)"  # 非貪婪模式salary = re.findall(salary_pat, res.text, re.S) # 將取出的信息放到數(shù)據(jù)框jobInfo = DataFrame([position, company, place, salary]).T# 設(shè)置列名jobInfo.columns = ["職位名", "公司名", "工作地點(diǎn)", "薪資"]print(jobInfo.head()) # 將數(shù)據(jù)保存到本地jobInfo.to_csv("51job2.csv")

四、pyquery解析數(shù)據(jù)

1、pyquery

• pyquery庫(kù)是jQuery的Python實(shí)現(xiàn)，就能以jQuery的語(yǔ)法來(lái)操作解析HTML文檔，易用性和解析速度都很好
• 前提條件：
  • 你對(duì)CSS選擇器與jQuery有所了解
• 非Python標(biāo)準(zhǔn)模塊，需要安裝
  • 安裝方式
    • pip install pyquery
  • 測(cè)試方式
    • import pyquery

2、pyquery的初始化方式

• 字符串方式

• url方式

• 文件

# 字符串方式from pyquery import PyQuery as pyhtml="""                                             
PyQuery
           """doc=py(html)    # 創(chuàng)建PyQuery的對(duì)象，實(shí)際上就是在進(jìn)行一個(gè)類(lèi)型轉(zhuǎn)換，將str類(lèi)型轉(zhuǎn)成PyQuery類(lèi)型print(doc)              # 和html一樣的內(nèi)容print(type(doc))        # print(type(html))       # print(doc("title"))     # 

# url方式from pyquery import PyQuerydoc=PyQuery(url="http://www.baidu.com", encoding="utf-8")print(doc)              # 獲取htmlprint(doc("title"))     # 

# 文件from pyquery import PyQuerydoc=PyQuery(filename="a1.html")print(doc)           # 獲取htmlprint(doc("h1"))     # 
PyQuery

3、pyquery的使用

from pyquery import PyQueryhtml="""                                                    
                百度                
百度一下
            
            
Python學(xué)習(xí)
            """doc=PyQuery(html)# 獲取當(dāng)前節(jié)點(diǎn)print(doc("#main"))      # 獲取整個(gè)div# 獲取父節(jié)點(diǎn)print(doc("#main").parent())      # 獲取整個(gè)body# 獲取子節(jié)點(diǎn)print(doc("#main").children())    # 獲取和
# # 獲取兄弟節(jié)點(diǎn)print(doc("#main").siblings())      # 獲取
print("----------獲取屬性------------")print(doc("a").attr("href"))     # http://www.baidu.comprint("----------獲取標(biāo)簽的內(nèi)容------------")print(doc("#main").html())        #  獲取和
，div中的所有都獲取到了print(doc("#main").text())          #  百度  百度一下， 只獲取了div中的文本

import requestsfrom pyquery import PyQueryurl="https://www.qidian.com/rank/yuepiao"headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36"}resp=requests.get(url,headers)# print(resp.text)# 初始化PyQuery對(duì)象doc=PyQuery(resp.text)      # 使用字符串初始化方式初始化PyQuery對(duì)象# a_tag=doc("h4 a")       # 獲取h4的a標(biāo)簽# print(a_tag)names=[a.text for a in doc("h4 a")]# print(names)        # ["大奉打更人", "這個(gè)人仙太過(guò)正經(jīng)", "從紅月開(kāi)始", "穩(wěn)住別浪",....]authors = doc("p.author a")       # 找
下的標(biāo)簽# print(authors)authors_lst=[]for index in range(len(authors)):    if index%2==0:        authors_lst.append(authors[index].text)# print(authors_lst)      # ["賣(mài)報(bào)小郎君", "言歸正傳", "黑山老鬼", "跳舞", "我最白", "白駒易逝", ...]for name,author in zip(names,authors_lst):    print(name, ":", author)# 大奉打更人 : 賣(mài)報(bào)小郎君# 這個(gè)人仙太過(guò)正經(jīng) : 言歸正傳# 從紅月開(kāi)始 : 黑山老鬼# 穩(wěn)住別浪 : 跳舞# ... ...