【爬蟲必備基礎】?通宵爆肝兩萬字xpath教程?學不會找我！

wenshi11019 發布于2021-10-11 10:59 / 3775人閱讀

文章目錄

一、必看內容！！！

1）簡短介紹

XPath 是一種用于尋址 XML 文檔部分的語言。它在 XSLT 中使用并且是 XQuery 的子集。這個庫也可用于大多數其他編程語言。

2）必備知識

了解基本的html和xml語法和格式
沒有了，如果你不會html和xml，超過2000收藏，我出一篇html詳細教程，至于怎么達到2000贊，看各位粉絲了。

3）為什么我要寫這篇文章？

在我前面的幾十篇文章，寫了上百萬字把python的所有基礎已經講得很明白了，不管你是不是小白，跟著學都能學會，同時在我的粉絲群，我還會對教程中的問題進行答疑，所以包教包會的口號，我從來不是吹的。
這里是我的基礎教程專欄：python全棧基礎詳細教程專欄系列
當然，如果你對qq機器人制作感興趣請查看專欄：qq機器人制作詳細教程專欄
這兩個專欄，我為什么放在一起？第一個專欄是基礎教程，第二個專欄是進階，所以你在不會基礎之前，請不要冒然學習機器人制作。
說了半天，我還沒說為什么寫這一篇的原因，前面的基礎我已經差不多寫完了，基礎不會的自己去看我專欄，上百萬字寫基礎，我已經很用心教大家了。基礎過后，我們即將開始學爬蟲，因此xpath你不得不掌握。認真跟著我學，多看幾天就會了。

其它專欄，看你自己個人興趣，這五個專欄我是主打，并是我強烈推薦。
有任何問題可以粉絲群問我：

二、開始使用xpath

2.1 常見的 HTML 操作

如果有一段html如下：

<html>    <body>        <a>link</a>        <div class="container" id="divone">            <p class="common" id="enclosedone">Element One</p>            <p class="common" id="enclosedtwo">Element Two</p>        </div>    </body></html>

在整個頁面中查找具有特定 id 的元素：

//*[@id="divone"] # 返回

在特定路徑中查找具有特定 id 的元素：

/html/body/div/p[@id="enclosedone"] # 返回 <p class="common" id="enclosedone">Element One</p>

選擇具有特定 id 和 class 的元素：

//p[@id="enclosedone" and @class="common"] #返回 Element One

選擇特定元素的文本：

//*[@id="enclosedone"]/text() # 返回 Element One

2.2 常見XML操作

比如有如下xml：

<r>  <e a="1"/>  <f a="2" b="1">Text 1</f>  <f/>  <g>    <i c="2">Text 2</i>    Text 3    <j>Text 4</j>  </g></r>

2.2.1 選擇一個元素

用xpath

/r/e

將選擇此元素：

<e a="1"/>

2.2.2 選擇文字

用xpath：

/r/f/text()

將選擇具有此字符串值的文本節點：

"Text 1"

而這個 XPath：

string(/r/f)

返回同樣是：

"Text 1"

2.3 瀏覽器使用xpath調試

步驟如下：

按F12進入控制臺
按ctrl+F進入搜索框
將自己寫的xpath輸入進去，回車看看能不能匹配到

2.3.1演示案例一

以我自己的主頁網址為例：

https://blog.csdn.net/weixin_46211269?spm=1000.2115.3001.5343

分析：

鎖定定位為：

user-profile-statistics-num

則xpath寫為：

//div[@class="user-profile-statistics-num"]

以上就是一種簡單的調試xpath方法，難的我就不介紹了，沒必要吧，如果大家覺得有必要，評論區留言，人多我就重新編輯補充。

三、檢查節點是否存在

我們使用布爾來檢查我們寫的xpath是否存在，布爾真是一個很不錯的東西。

3.1 案例一

這里我就構造一個xml如下：

<House>    <LivingRoom>        <plant name="rose"/>    </LivingRoom>    <TerraceGarden>        <plant name="passion fruit"/>        <plant name="lily"/>        <plant name="golden duranta"/>    </TerraceGarden></House>

使用布爾來判斷：

boolean(/House//plant)

輸出：

true

說明該路徑正確。

3.2 案例二

假設有這樣一個xml:

<Animal>    <legs>4</legs>    <eyes>2</eyes>    <horns>2</horns>    <tail>1</tail></Animal>

使用布爾判斷：

boolean(/Animal/tusks)

輸出：

false

說明這個路徑是錯的。

四、檢查節點的文本是否為空

語法：

布爾（路徑到節點/文本（））
字符串（路徑節點）！= ‘’ ”

其他用途：

檢查節點是否存在
檢查參數是否不是數字 (NaN) 或 0

4.1 案例一

假設我構造這樣一個xml：

<Deborah>    <address>Dark world</address>    <master>Babadi</master>    <ID>#0</ID>    <colour>red</colour>    <side>evil</side></Deborah>

用布爾判斷：

boolean(/Deborah/master/text())

或者用string判斷：

string(/Deborah/master) != ""

輸出都為：

true

說明文本不為空。

4.2 案例二

假設我構造這樣一個xml:

<Dobby>    <address>Hogwartz</address>    <master></master>    <colour>wheatish</colour>    <side>all good</side></Dobby>

用布爾判斷：

boolean(/Dobby/master/text())

或者用string判斷：

string(/Dobby/master) != ""

輸出：

false

說明文本為空。

五、通過屬性查詢

說一些比較常見的語法：

/從當前節點選取直接子節點
//從當前節點選取子孫節點
.選取當前節點
…選取當前節點的父節點
@選取屬性
*代表所有

例如：

//title[@lang=’chuan’]

這就是一個 XPath 規則，它就代表選擇所有名稱為 title，同時屬性 lang 的值為 chuan的節點。

5.1 查找具有特定屬性的節點

假設有這樣一個xml:

<Galaxy>    <name>Milky Way</name>    <CelestialObject name="Earth" type="planet"/>    <CelestialObject name="Sun" type="star"/></Galaxy>

路徑匹配如下：

/Galaxy/*[@name]

或者：

//*[@name]

輸出：

<CelestialObject name="Earth" type="planet" /><CelestialObject name="Sun" type="star" />

5.2 通過屬性值的子串匹配來查找節點

假設有如下例子：

<Galaxy>    <name>Milky Way</name>    <CelestialObject name="Earth" type="planet"/>    <CelestialObject name="Sun" type="star"/></Galaxy>

路徑：

/Galaxy/*[contains(@name,"Ear")]

值得補充的是,這里的contains函數就是代表包含的意思，這里就是查找Galaxy路徑下，所有name屬性中含有Ear的節點。
如上，我們也可以如下方式匹配：

//*[contains(@name,"Ear")]

雙引號也可以用來代替單引號：

/Galaxy/*[contains(@name, "Ear")]

輸出：

<CelestialObject name="Earth" type="planet" />

5.3 通過屬性值的子字符串匹配查找節點（不區分大小寫）

假設有xml如下：

<Galaxy>    <name>Milky Way</name>    <CelestialObject name="Earth" type="planet"/>    <CelestialObject name="Sun" type="star"/></Galaxy>

路徑

/Galaxy/*[contains(lower-case(@name),"ear")]

這里又出現了新的東西，加入 lower-case() 函數就是來保證我們可以包括所有的大小寫情況。
路徑

/Galaxy/*[contains(lower-case(@name),"ear")]

或者

//*[contains(lower-case(@name),"ear")]

或者，使用雙引號中的字符串：

//*[contains(lower-case(@name), "ear")]

輸出

<CelestialObject name="Earth" type="planet" />

5.4 通過匹配屬性值末尾的子字符串查找節點

假設有xml如下：

<Galaxy>    <name>Milky Way</name>    <CelestialObject name="Earth" type="planet"/>    <CelestialObject name="Sun" type="star"/></Galaxy>

路徑

/Galaxy/*[ends-with(lower-case(@type),"tar")]

補充：這里又出現了新的函數，ends-with就是匹配以xx結尾。

或者

//*[ends-with(lower-case(@type),"tar")]

輸出

<CelestialObject name="Sun" type="star" />

5.5 通過匹配屬性值開頭的子字符串查找節點

假設有這個xml：

<Galaxy>    <name>Milky Way</name>    <CelestialObject name="Earth" type="planet"/>    <CelestialObject name="Sun" type="star"/></Galaxy>

路徑

/Galaxy/*[starts-with(lower-case(@name),"ear")]

補充：這里又出現了新的函數，starts-with就是匹配以什么開頭。

或者

//*[starts-with(lower-case(@name),"ear")]

輸出

<CelestialObject name="Earth" type="planet" />

5.6 查找具有特定屬性值的節點

假設有這個xml:

<Galaxy>    <name>Milky Way</name>    <CelestialObject name="Earth" type="planet"/>    <CelestialObject name="Sun" type="star"/></Galaxy>

路徑

/Galaxy/*[@name="Sun"]

補充：這里就是我開頭說到的，星號代表所有，@用來選取屬性

或者

//*[@name="Sun"]

輸出

<CelestialObject name="Sun" type="star" />

六、查找包含特定屬性的元素

6.1 查找具有特定屬性的所有元素（1）

假設有xml如下：

<root>    <element foobar="hello_world" />    <element example="this is one!" /></root>

xpath匹配：

/root/element[@foobar]

<element foobar="hello_world" />

6.2 查找具有特定屬性值的所有元素（2）

假設有xml如下：

<root>    <element foobar="hello_world" />    <element example="this is one!" /></root>

以下 XPath 表達式：

/root/element[@foobar = "hello_world"]

將返回

也可以使用雙引號：

/root/element[@foobar="hello_world"]

粉絲群：970353786

七、查找包含特定文本的元素

假設有xml如下：

<root>    <element>hello</element>    <another>        hello    </another>    <example>Hello, <nested> I am an example </nested>.</example></root>

以下 XPath 表達式：

//*[text() = "hello"]

將返回hello元素，但不返回元素。這是因為該元素包含hello文本周圍的空格。

要同時檢索and ，可以使用：

//*[normalize-space(text()) = "hello"]

補充：這里又多了新的函數，normalize-space作用就是去除空白的意思。
要查找包含特定文本的元素，您可以使用該contains函數。以下表達式將返回元素：

//example[contains(text(), "Hello")]

如果要查找跨越多個子/文本節點的文本，則可以使用.代替text()。.指元素及其子元素的整個文本內容。
例如：

//example[. = "Hello,  I am an example ."]

要查看多個文本節點，您可以使用：

//example//text()

這將返回：

“hello， ”
“I am an example”
“.”

為了更清楚地看到一個元素的整個文本內容，可以使用該string函數：

string(//example[1])

要不就

string(//example)

依然返回：

Hello,  I am an example .

八、多次強調的語法

8.1 XPath 軸的語法

現在我們要補充新的東西，又要開始記住了：

ancestor	選取當前節點的所有先輩（父、祖父等）。ancestor-or-self	選取當前節點的所有先輩（父、祖父等）以及當前節點本身。attribute	選取當前節點的所有屬性。child	選取當前節點的所有子元素。descendant	選取當前節點的所有后代元素（子、孫等）。descendant-or-self	選取當前節點的所有后代元素（子、孫等）以及當前節點本身。following	選取文檔中當前節點的結束標簽之后的所有節點。namespace	選取當前節點的所有命名空間節點。parent	選取當前節點的父節點。preceding	選取文檔中當前節點的開始標簽之前的所有節點。preceding-sibling	選取當前節點之前的所有同級節點。self	選取當前節點。

8.2 XPath選取節點語法

為什么我在這里又來強調一下？因為很重要！

nodename	選取此節點的所有子節點。/	從根節點選取。//	從匹配選擇的當前節點選擇文檔中的節點，而不考慮它們的位置。.	選取當前節點。..	選取當前節點的父節點。@	選取屬性。

在下面的表格中，列出了一些路徑表達式以及表達式的結果：

bookstore	選取 bookstore 元素的所有子節點。/bookstore	選取根元素 bookstore。  注釋：假如路徑起始于正斜杠( / )，則此路徑始終代表到某元素的絕對路徑！bookstore/book	選取屬于 bookstore 的子元素的所有 book 元素。//book	選取所有 book 子元素，而不管它們在文檔中的位置。bookstore//book	選擇屬于 bookstore 元素的后代的所有 book 元素，而不管它們位于 bookstore 之下的什么位置。//@lang	選取名為 lang 的所有屬性。

8.3 Xpath謂語

謂語用來查找某個特定的節點或者包含某個指定的值的節點。謂語被嵌在方括號中。
看一些例子就知道了：

路徑表達式	            結果/bookstore/book[1]	選取屬于 bookstore 子元素的第一個 book 元素。/bookstore/book[last()]	選取屬于 bookstore 子元素的最后一個 book 元素。/bookstore/book[last()-1]	選取屬于 bookstore 子元素的倒數第二個 book 元素。/bookstore/book[position()<3]	選取最前面的兩個屬于 bookstore 元素的子元素的 book 元素。//title[@lang]	選取所有擁有名為 lang 的屬性的 title 元素。//title[@lang="eng"]	選取所有 title 元素，且這些元素擁有值為 eng 的 lang 屬性。/bookstore/book[price>35.00]	選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值須大于 35.00。/bookstore/book[price>35.00]/title	選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大于 35.00。

8.4 Xpath選取未知節點

XPath 通配符可用來選取未知的 XML 元素。

通配符	  描述*	    匹配任何元素節點。@*	    匹配任何屬性節點。node()	匹配任何類型的節點。

在下面的表格中，我們列出了一些路徑表達式，以及這些表達式的結果：

路徑表達式	    結果/bookstore/*	選取 bookstore 元素的所有子元素。//*	           選取文檔中的所有元素。//title[@*]	    選取所有帶有屬性的 title 元素。

8.5 Xpath選取若干路徑

通過在路徑表達式中使用“|”運算符，您可以選取若干個路徑。

在下面的表格中，列出了一些路徑表達式，以及這些表達式的結果：

路徑表達式	   結果//book/title |   //book/price	選取 book 元素的所有 title 和 price 元素。//title | //price	 選取文檔中的所有 title 和 price 元素。/bookstore/book/title | //price	選取屬于 bookstore 元素的 book 元素的所有 title 元素，以及文檔中所有的 price 元素。

九、獲取相對于當前節點的節點

假設我們有xml如下：

<?xml version="1.0" encoding="ISO-8859-1"?><bookstore><book>  <title lang="eng">Harry Potter</title>  <price>29.99</price></book><book>  <title lang="eng">Learning XML</title>  <price>39.95</price></book></bookstore>

9.1 基本語法

其實這些內容，大可不必都掌握，但是你一定要知道，你想用的時候，再來本文查一下會用就行。
這是相關實例：

問題是：這里提到的祖先，孩子，兄弟，父母節點，大家知道嗎？如果你會html的話，你應該知道。超過2000贊我可以出一篇html的教程，本篇我就暫時默認大家知道了。

9.2 尋找祖先節點

假設有xml如下：（這里已經很形象說明了祖先，孩子，兄弟，父母節點的關系了，仔細看看）

<GrandFather name="Bardock" gender="male" spouse="Gine">    <Dad name="Goku" gender="male" spouse="Chi Chi">        <Me name="Gohan" gender="male"/>        <brother name="Goten" gender="male"/>    </Dad></GrandFather>

路徑

//Me/ancestor::node()

輸出：

<GrandFather name="Bardock" gender="male" spouse="Gine">  <Dad name="Goku" gender="male" spouse="Chi Chi">    <Me name="Gohan" gender="male" />    <brother name="Goten" gender="male" />  </Dad></GrandFather><Dad name="Goku" gender="male" spouse="Chi Chi">  <Me name="Gohan" gender="male" />  <brother name="Goten" gender="male" /></Dad>

9.4 尋找兄弟節點

假設有xml如下：

<GrandFather name="Bardock" gender="male" spouse="Gine">  <Dad name="Goku" gender="male" spouse="Chi Chi">    <brother name="Goten" gender="male" />    <Me name="Gohan" gender="male" />    <brother name="Goten" gender="male" />  </Dad></GrandFather>

路徑：

//Me/following-sibling::brother

輸出：

<brother name="Goten" gender="male" />

9.5 尋找祖父節點（2）

假設有xml如下：

<GrandFather name="Bardock" gender="male" spouse="Gine">  <Dad name="Goku" gender="male" spouse="Chi Chi">    <Me name="Gohan" gender=
                 
                                                                                                                    
                         云服務器
                                             
                         GPU云服務器
                                                                                                                                                 
                                      
                     
                    
                                                                                               零基礎學python爬蟲
                                                                                                           學算法不會Java
                                                                                                           學php的不會做前臺
                                                                                                           編程語言會不會學串


             
               
                    文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
                 
                   轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/122211.html
               
                      
               
                 
                                  上一篇：【Python爬蟲】4萬字，詳解selenium從入門到實戰【錯過再無】  
                                                
                                       下一篇：Python超美表白代碼:“喜歡就去表白，做朋友有什么用，我又不缺朋友，我缺你呀！ ”


              
                相關文章
                
                             
                                                                                                    
                                                
                          保姆級教程HTML兩萬字筆記大總結【建議收藏】（上篇）
                                                     摘要：標簽不區分大小寫，但推薦小寫。標簽可以嵌套，但不能交叉嵌套。標簽也稱為元素。比如行內標簽亦可成行內元素。                                                                                                                     ??HTML必備知識詳解?? 第一部分：HTML框架簡介...
                                                   
                          
                                
                                    paulli3
                                    2021-10-13 09:40
                                    評論0 
                                    收藏0 
                                
                          
                      
                     
                                                                                       
                                                
                          糊涂算法之「八大排序」總結——用兩萬字，8張動圖，450行代碼跨過排序這道坎（建議收藏）
                                                     摘要：今天，一條就帶大家徹底跨過排序算法這道坎，保姆級教程建議收藏。利用遞歸算法，對分治后的子數組進行排序。基本思想堆排序是利用堆這種數據結構而設計的一種排序算法，堆排序是一種選擇排序，它的最壞，最好，平均時間復雜度均為，它也是不穩定排序。                                                                                ...
                                                   
                          
                                
                                    greatwhole
                                    2021-09-28 09:36
                                    評論0 
                                    收藏0 
                                
                          
                      
                     
                                                                                       
                                                
                          ??爆肝十二萬字《python從零到精通教程》，從零教你變大佬??（建議收藏）
                                                     文章目錄 強烈推薦系列教程，建議學起來！！  一.pycharm下載安裝二.python下載安裝三.pycharm上配置python四.配置鏡像源讓你下載嗖嗖的快4.1pycharm內部配置   4.2手動添加鏡像源4.3永久配置鏡像源    五.插件安裝（比如漢化？）5.1自動補碼神器第一款5.2漢化pycharm5.3其它插件    六.美女背景七.自定義腳本開頭八、這個前言一定要看九、pyt...
                                                   
                          
                                
                                    booster
                                    2021-09-04 16:40
                                    評論0 
                                    收藏0 
                                
                          
                      
                     
                                                                           
                
              
              
               
                  
                  發表評論
                   
                                      
                      
                        登陸后可評論
                      
                   
               
              
                
                  0條評論


           
               
                
                    
                    wenshi11019
                    男|高級講師
                    
                     
                                                                      我要關注
      
                                                                                        我要私信
                     
                                            
                    
                    
                          TA的文章
                          閱讀更多
                    
                      
                                                  tensorflow2.4安裝
                            閱讀 3264·2023-04-25 22:47
                                                       【爬蟲必備基礎】?通宵爆肝兩萬字xpath教程?學不會找我！
                            閱讀 3776·2021-10-11 10:59
                                                       VoLLcloud：香港三網CMI線路大帶寬vps低至7折;100Mbps起步,月付低至$3.2
                            閱讀 2310·2021-09-07 10:12
                                                       hostwinds：vps/云主機方案大全以及測評教程，測試IP，注冊購買教程分享
                            閱讀 4259·2021-08-11 11:15
                                                       前端開源項目周報1213
                            閱讀 3438·2019-08-30 13:15
                                                       [開源] 分享自己用的 GitHub 分組管理工具.
                            閱讀 1756·2019-08-30 13:00
                                                       [譯]介紹一下漸進式 Web App(離線) - Part 1
                            閱讀 974·2019-08-29 14:02
                                                       瀏覽器兼容問題
                            閱讀 1689·2019-08-26 13:57
                                                
                      
                

                   
              
  
                  最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務器低至59元/年，更有多臺、長期優惠，快來選購！

【爬蟲必備基礎】?通宵爆肝兩萬字xpath教程?學不會找我！

文章目錄

一、必看內容！！！

1）簡短介紹

2）必備知識

3）為什么我要寫這篇文章？

4）強烈推薦教程專欄

二、開始使用xpath

2.1 常見的 HTML 操作

2.2 常見XML操作

2.2.1 選擇一個元素

2.2.2 選擇文字

2.3 瀏覽器使用xpath調試

2.3.1演示案例一

三、檢查節點是否存在

3.1 案例一

3.2 案例二

四、檢查節點的文本是否為空

4.1 案例一

4.2 案例二

五、通過屬性查詢

5.1 查找具有特定屬性的節點

5.2 通過屬性值的子串匹配來查找節點

5.3 通過屬性值的子字符串匹配查找節點（不區分大小寫）

5.4 通過匹配屬性值末尾的子字符串查找節點

5.5 通過匹配屬性值開頭的子字符串查找節點

5.6 查找具有特定屬性值的節點

六、查找包含特定屬性的元素

6.1 查找具有特定屬性的所有元素（1）

6.2 查找具有特定屬性值的所有元素（2）

七、查找包含特定文本的元素

八、多次強調的語法

8.1 XPath 軸的語法

8.2 XPath選取節點語法

8.3 Xpath謂語

8.4 Xpath選取未知節點

8.5 Xpath選取若干路徑

九、獲取相對于當前節點的節點

9.1 基本語法

9.2 尋找祖先節點

9.4 尋找兄弟節點

9.5 尋找祖父節點（2）

相關文章

發表評論

0條評論

男|高級講師

TA的文章

最新活動