摘要：，簡(jiǎn)稱為，是一種腳本語(yǔ)言，和配合使用，提供給用戶的只是一種靜態(tài)的信息，缺少交互性。這就是網(wǎng)頁(yè)的三大基本組成。父節(jié)點(diǎn)擁有子節(jié)點(diǎn)，同級(jí)的子節(jié)點(diǎn)被稱為兄弟節(jié)點(diǎn)。選擇屬于其父節(jié)點(diǎn)的首個(gè)節(jié)點(diǎn)的每個(gè)節(jié)點(diǎn)。同上，從最后一個(gè)

上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---15、爬蟲(chóng)基礎(chǔ)：HTTP基本原理
下一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---17、爬蟲(chóng)基本原理

我們平時(shí)用瀏覽器訪問(wèn)網(wǎng)站的時(shí)候，一個(gè)個(gè)站點(diǎn)形形色色，頁(yè)面也各不相同，但有沒(méi)有想過(guò)它是為何才能呈現(xiàn)出這個(gè)樣子的？
那么本節(jié)我們就來(lái)了解一下網(wǎng)頁(yè)的基本組成、結(jié)構(gòu)、節(jié)點(diǎn)等內(nèi)容。

網(wǎng)頁(yè)可以分為三大部分，HTML、CSS、JavaScript，我們把網(wǎng)頁(yè)比作一個(gè)人的話，HTML 相當(dāng)于骨架，JavaScript 則相當(dāng)于肌肉，CSS 則相當(dāng)于皮膚，三者結(jié)合起來(lái)才能形成一個(gè)完善的網(wǎng)頁(yè)，下面我們分別來(lái)介紹一下三部分的功能。

HTML 是用來(lái)描述網(wǎng)頁(yè)的一種語(yǔ)言，其全稱叫做 Hyper Text Markup Language，即超文本標(biāo)記語(yǔ)言。網(wǎng)頁(yè)包括文字、按鈕、圖片、視頻等各種復(fù)雜的元素，其基礎(chǔ)架構(gòu)就是 HTML。不同類型的文字通過(guò)不同類型的標(biāo)簽來(lái)表示，如圖片用 img 標(biāo)簽表示，視頻用 video 標(biāo)簽來(lái)表示，段落用 p 標(biāo)簽來(lái)表示，它們之間的布局又常通過(guò)布局標(biāo)簽 div 嵌套組合而成，各種標(biāo)簽通過(guò)不同的排列和嵌套才形成了網(wǎng)頁(yè)的框架。
我們?cè)?Chrome 瀏覽器中打開(kāi)百度，右鍵單擊審查元素或按 F12 打開(kāi)開(kāi)發(fā)者模式，切換到 Elements 選項(xiàng)卡即可看到網(wǎng)頁(yè)的源代碼，如圖 2-10 所示：

圖 2-10 源代碼
這就是 HTML，整個(gè)網(wǎng)頁(yè)就是由各種不同的標(biāo)簽嵌套組合而成的，這些不同標(biāo)簽定義的節(jié)點(diǎn)元素相互嵌套和組合形成了復(fù)雜的層次關(guān)系，就形成了網(wǎng)頁(yè)的架構(gòu)。

HTML 定義了網(wǎng)頁(yè)的結(jié)構(gòu)，但是只有 HTML 頁(yè)面的布局會(huì)不美觀，可能只是簡(jiǎn)單的節(jié)點(diǎn)元素的排列，那么為了讓網(wǎng)頁(yè)看起來(lái)更好看一點(diǎn)，在這里就借助于 CSS。
CSS，全稱叫做 Cascading Style Sheets，即層疊樣式表。“層疊”是指當(dāng)在 HTML 中引用了數(shù)個(gè)樣式文件，并且樣式發(fā)生沖突時(shí)，瀏覽器能依據(jù)層疊順序處理。“樣式”指網(wǎng)頁(yè)中文字大小、顏色、元素間距、排列等格式。
CSS是目前唯一的網(wǎng)頁(yè)頁(yè)面排版樣式標(biāo)準(zhǔn)，有了它的幫助，頁(yè)面才會(huì)變得更為美觀。
在上圖的右側(cè)即為 CSS，例如：

#head_wrapper.s-ps-islite .s-p-top {
??? position: absolute;
??? bottom: 40px;
??? width: 100%;
??? height: 181px;
}

這就是一個(gè) CSS 樣式，在大括號(hào)前面是一個(gè) CSS 選擇器，此選擇器的意思是選中 id 為 head_wrapper 且 class 為 s-ps-islite 內(nèi)部的 class 為 s-p-top 的元素。大括號(hào)內(nèi)部寫(xiě)的就是一條條樣式規(guī)則，例如 position 指定了這個(gè)元素的布局方式為絕對(duì)布局，bottom 指定元素的下邊距為 40 像素，width 指定了寬度為 100% 占滿父元素，height 則指定了元素的高度。也就是說(shuō)我們將一些位置、寬度、高度等樣式配置統(tǒng)一寫(xiě)成這樣的形式，大括號(hào)括起來(lái)，然后開(kāi)頭再加上一個(gè) CSS 選擇器，就代表這一個(gè)樣式對(duì) CSS 選擇器選中的元素生效，這樣元素就會(huì)根據(jù)此樣式來(lái)展示了。
所以在網(wǎng)頁(yè)中，一般會(huì)統(tǒng)一定義整個(gè)網(wǎng)頁(yè)的樣式規(guī)則，寫(xiě)入到 CSS 文件，其后綴名為 css，在 HTML 中只需要用 link 標(biāo)簽即可引入寫(xiě)好的 CSS 文件，這樣整個(gè)頁(yè)面就會(huì)變得美觀優(yōu)雅。

JavaScript，簡(jiǎn)稱為 JS，是一種腳本語(yǔ)言，HTML 和 CSS 配合使用，提供給用戶的只是一種靜態(tài)的信息，缺少交互性。我們?cè)诰W(wǎng)頁(yè)里可能會(huì)看到一些交互和動(dòng)畫(huà)效果，如下載進(jìn)度條、提示框、輪播圖等，這通常就是 JavaScript 的功勞。它的出現(xiàn)使得用戶與信息之間不只是一種瀏覽與顯示的關(guān)系，而是實(shí)現(xiàn)了一種實(shí)時(shí)、動(dòng)態(tài)、交互的頁(yè)面功能。
JavaScript 通常也是以多帶帶的文件形式加載的，后綴名為 js，在 HTML 中通過(guò) script 標(biāo)簽即可引入。
例如：

因此綜上所屬，HTML 定義了網(wǎng)頁(yè)的內(nèi)容和結(jié)構(gòu)，CSS 描述了網(wǎng)頁(yè)的布局，JavaScript 定義了網(wǎng)頁(yè)的行為。
這就是網(wǎng)頁(yè)的三大基本組成。

我們首先用一個(gè)例子來(lái)感受一下 HTML 的基本結(jié)構(gòu)。新建一個(gè)文本文件，名稱可以自取，后綴名為 html，內(nèi)容如下：

    
        
        
    
    
        

            

                
Hello World
                
Hello, this is a paragraph.
            
        
    

這就是一個(gè)最簡(jiǎn)單的 HTML 實(shí)例，開(kāi)頭是 DOCTYPE 定義了文檔類型，其次最外層是 html 標(biāo)簽，最后還有對(duì)應(yīng)的結(jié)尾代表標(biāo)簽閉合，其內(nèi)部是 head 標(biāo)簽和 body 標(biāo)簽，分別代表網(wǎng)頁(yè)頭和網(wǎng)頁(yè)體，它們也分別需要尾標(biāo)簽表示閉合。head 標(biāo)簽內(nèi)定義了一些頁(yè)面的配置和引用，如：

它指定了網(wǎng)頁(yè)的編碼為 UTF-8。
title 標(biāo)簽則定義了網(wǎng)頁(yè)的標(biāo)題，會(huì)顯示在網(wǎng)頁(yè)的選項(xiàng)卡中，不會(huì)顯示在網(wǎng)頁(yè)的正文中。body 標(biāo)簽內(nèi)則是在網(wǎng)頁(yè)正文中顯示的內(nèi)容，div 標(biāo)簽定義了網(wǎng)頁(yè)中的區(qū)塊，它的 id 是 container，這是一個(gè)非常常用的屬性，且 id 的內(nèi)容在網(wǎng)頁(yè)中是唯一的，我們可以通過(guò) id 來(lái)取到這個(gè)區(qū)塊。然后在此區(qū)塊內(nèi)又有一個(gè) div 標(biāo)簽，它的 class 為 wrapper，這也是一個(gè)非常常用的屬性，經(jīng)常與 CSS 配合使用來(lái)設(shè)定樣式。然后此區(qū)塊內(nèi)部又有一個(gè) h2 標(biāo)簽，這代表一個(gè)二級(jí)標(biāo)題，另外還有一個(gè) p 標(biāo)簽，這代表一個(gè)段落，它們二者內(nèi)部直接寫(xiě)入相應(yīng)的內(nèi)容即可在網(wǎng)頁(yè)重呈現(xiàn)出來(lái)，它們也有各自的 class 屬性。
我們將代碼保存之后在瀏覽器中打開(kāi)該文件，可以看到如下內(nèi)容，如圖 2-11 所示：

圖 2-11 運(yùn)行結(jié)果
可以看到在選項(xiàng)卡上顯示了 This is a Demo 字樣，這是我們?cè)?head 里面的 title 里定義的文字，它顯示在了網(wǎng)頁(yè)選項(xiàng)卡里。而網(wǎng)頁(yè)正文是 body 標(biāo)簽內(nèi)部定義的各個(gè)元素生成的，圖中可以看到網(wǎng)頁(yè)中顯示了二級(jí)標(biāo)題和段落。
如上實(shí)例便是網(wǎng)頁(yè)的一般結(jié)構(gòu)，一個(gè)網(wǎng)頁(yè)標(biāo)準(zhǔn)形式都是 html 標(biāo)簽內(nèi)嵌套 head 和 body 標(biāo)簽，head 內(nèi)定義網(wǎng)頁(yè)的配置和引用，body 內(nèi)定義網(wǎng)頁(yè)的正文。

在 HTML 中，所有標(biāo)簽定義的內(nèi)容都是節(jié)點(diǎn)，它們構(gòu)成了一個(gè) HTML DOM 樹(shù)。
我們先看下什么是 DOM，DOM 是 W3C（萬(wàn)維網(wǎng)聯(lián)盟）的標(biāo)準(zhǔn)。
DOM，英文全稱 Document Object Model，即文檔對(duì)象模型。它定義了訪問(wèn) HTML 和 XML 文檔的標(biāo)準(zhǔn)：

W3C 文檔對(duì)象模型 （DOM） 是中立于平臺(tái)和語(yǔ)言的接口，它允許程序和腳本動(dòng)態(tài)地訪問(wèn)和更新文檔的內(nèi)容、結(jié)構(gòu)和樣式。

W3C DOM 標(biāo)準(zhǔn)被分為 3 個(gè)不同的部分：

核心 DOM - 針對(duì)任何結(jié)構(gòu)化文檔的標(biāo)準(zhǔn)模型

XML DOM - 針對(duì) XML 文檔的標(biāo)準(zhǔn)模型

HTML DOM - 針對(duì) HTML 文檔的標(biāo)準(zhǔn)模型

根據(jù) W3C 的 HTML DOM 標(biāo)準(zhǔn)，HTML 文檔中的所有內(nèi)容都是節(jié)點(diǎn)：

整個(gè)文檔是一個(gè)文檔節(jié)點(diǎn)

每個(gè) HTML 元素是元素節(jié)點(diǎn)

HTML 元素內(nèi)的文本是文本節(jié)點(diǎn)

每個(gè) HTML 屬性是屬性節(jié)點(diǎn)注釋是

注釋節(jié)點(diǎn)HTML

DOM 將 HTML 文檔視作樹(shù)結(jié)構(gòu)，這種結(jié)構(gòu)被稱為節(jié)點(diǎn)樹(shù)，如圖 2-12 所示：

圖 2-12 節(jié)點(diǎn)樹(shù)
通過(guò) HTML DOM，樹(shù)中的所有節(jié)點(diǎn)均可通過(guò) JavaScript 進(jìn)行訪問(wèn)，所有 HTML 節(jié)點(diǎn)元素均可被修改，也可以被創(chuàng)建或刪除。
節(jié)點(diǎn)樹(shù)中的節(jié)點(diǎn)彼此擁有層級(jí)關(guān)系。我們常用 parent（父）、child（子）和 sibling（兄弟）等術(shù)語(yǔ)用于描述這些關(guān)系。父節(jié)點(diǎn)擁有子節(jié)點(diǎn)，同級(jí)的子節(jié)點(diǎn)被稱為兄弟節(jié)點(diǎn)。
在節(jié)點(diǎn)樹(shù)中，頂端節(jié)點(diǎn)被稱為根（root），除了根節(jié)點(diǎn)之外每個(gè)節(jié)點(diǎn)都有父節(jié)點(diǎn)，同時(shí)可擁有任意數(shù)量的子節(jié)點(diǎn)或兄弟節(jié)點(diǎn)。
圖 2-13 展示了節(jié)點(diǎn)樹(shù)以及節(jié)點(diǎn)之間的關(guān)系：

圖 2-13 節(jié)點(diǎn)樹(shù)及節(jié)點(diǎn)關(guān)系
本段參考 W3SCHOOL，鏈接：http://www.w3school.com.cn/ht...。

我們知道網(wǎng)頁(yè)由一個(gè)個(gè)節(jié)點(diǎn)組成，CSS 選擇器會(huì)根據(jù)不同的節(jié)點(diǎn)設(shè)置不同的樣式規(guī)則，那么我們?cè)鯓觼?lái)定義是哪些節(jié)點(diǎn)呢？
在 CSS 中是使用了 CSS 選擇器來(lái)定位節(jié)點(diǎn)的，例如上例中有個(gè) div 節(jié)點(diǎn)的 id 為 container，那么我們就可以用 CSS 選擇器表示為 #container，# 開(kāi)頭代表選擇 id，其后緊跟 id 的名稱。另外如果我們想選擇 class 為 wrapper 的節(jié)點(diǎn)，便可以使用 .wrapper，. 開(kāi)頭代表選擇 class，其后緊跟 class 的名稱。另外還有一種選擇方式是根據(jù)標(biāo)簽名篩選，例如我們想選擇二級(jí)標(biāo)題，直接用 h2 即可選擇。如上是最常用的三種選擇表示，分別是根據(jù) id、class、標(biāo)簽名篩選，請(qǐng)牢記它們的寫(xiě)法。
另外 CSS 選擇器還支持嵌套選擇，各個(gè)選擇器之間加上空格分隔開(kāi)便可以代表嵌套關(guān)系，如 #container .wrapper p 則代表選擇 id 為 container 內(nèi)部的 class 為 wrapper 內(nèi)部的 p 節(jié)點(diǎn)。另外如果不加空格則代表并列關(guān)系，如 div#container .wrapper p.text 代表選擇 id 為 container 的 div 節(jié)點(diǎn)內(nèi)部的 class 為 wrapper 節(jié)點(diǎn)內(nèi)部的 class 為 text 的 p 節(jié)點(diǎn)。這就是 CSS 選擇器，其篩選功能還是非常強(qiáng)大的。
另外 CSS 選擇器還有一些其他的語(yǔ)法規(guī)則，在這里整理如下：

另外還有一種比較常用的選擇器是 XPath，此種選擇方式在后文會(huì)詳細(xì)介紹。

本節(jié)介紹了網(wǎng)頁(yè)的基本結(jié)構(gòu)和節(jié)點(diǎn)關(guān)系，了解了這些內(nèi)容我們才有更加清晰的思路去解析和提取網(wǎng)頁(yè)內(nèi)容。

上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---15、爬蟲(chóng)基礎(chǔ)：HTTP基本原理
下一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---17、爬蟲(chóng)基本原理