摘要：我們的小項(xiàng)目就初始化成功了，就可以認(rèn)真思考代碼了首先分析糗事百科我們打開糗事百科會(huì)發(fā)現(xiàn)它的還是很簡單，由于我們只是爬取段子所以如下，就是頁數(shù)。

你有沒有上班想看笑話卻又怕領(lǐng)導(dǎo)發(fā)現(xiàn)的經(jīng)歷？現(xiàn)在我們就用幾十行代碼寫一個(gè)命令行看笑話段子的小程序，從此無需擔(dān)心領(lǐng)導(dǎo)的視察。這篇文章和上一篇差不多都是命令行小工具開發(fā)，不過本篇更偏向于小爬蟲的開發(fā)

我們先來看看我們今天的小目標(biāo)：

先為它起個(gè)命吧：joke-cli

爬取并提取 糗事百科的笑話

輸出到命令行按下回車顯示一條段子

下面我們將介紹今天用到的主要模塊

cheerio可理解為服務(wù)器端的jQuery，基本用法與jQuery一樣。有了它，我們?cè)趯懶∨老x時(shí)就可拋開那可愛又可恨的正則表達(dá)式了。從此擁抱幸福生活。

用法如下：

let cheerio = require("cheerio")

// 將html文本轉(zhuǎn)化成可用jQuery操作的dom,,然后你就可以把它當(dāng)成jQuery了
let $ = cheerio.load("
Hello world
")
 
$("h2.title").text("Hello there!")
$("h2").addClass("welcome")
 
$.html()
//=> 
Hello there!
 

更多請(qǐng)參考cheerio

superagent專注于處理服務(wù)端/客戶端的http請(qǐng)求，用法如下：

 request
   .get(url)
   .end(function(err, res){

   });

就是這么簡答，你已經(jīng)學(xué)會(huì)使用它了，別懵逼，這三行代碼，已經(jīng)完全夠我們本次示例的使用了。額，當(dāng)然了，更多的請(qǐng)移步官方文檔

superagent

[[譯] SuperAgent中文使用文檔](https://cnodejs.org/topic/537...

我們已經(jīng)介紹了今天的兩大主角，那就先來練練手，就用百度吧

const superAgent = require("superagent")
const cheerio = require("cheerio")
const URL = "http://www.baidu.com/"

// 發(fā)起GET請(qǐng)求
superAgent
  .get(URL) 
  .end((err, res)=>{
      if(err) console.error(err)
    // 用cheerio處理返回的html
      const $ = cheerio.load(res.text)
    // 找到并打印出按鈕#su的值
    console.log($("#su").val())  // 百度一下
  })   

ok,現(xiàn)在已經(jīng)了解并能使用這兩個(gè)模塊，更多的探索在自己，我們應(yīng)當(dāng)再用寫時(shí)間去閱讀其文檔，對(duì)其有深入的了解。接下來就是用剛學(xué)的這些知識(shí)為你漲姿勢(shì)了。

$ mkdir joke-cli
$ cd joke-cli
$ npm init
$ npm install cheerio superagent colors --save //colors 輸出美化

新建好bin/index.js文件，并加入package.json文件中

"bin": {
    "joke-cli": "./bin/index.js"
 }

現(xiàn)在執(zhí)行npm link。我們的小項(xiàng)目就初始化成功了，就可以認(rèn)真思考代碼了

我們打開糗事百科會(huì)發(fā)現(xiàn)它的URL還是很簡單，由于我們只是爬取段子所以u(píng)rl如下http://www.qiushibaike.com/text/page/2/4965899，2就是頁數(shù)。

#!/usr/bin/env node

const superAgent = require("superagent")
const cheerio = require("cheerio")

let url = "http://www.qiushibaike.com/text/page/"
let page = 1

superAgent
    .get(url+page) 
    .end((err, res)=>{
          if(err) console.error(err)
        console.log(res.text)
    })

f12查看糗事百科的HTML結(jié)構(gòu)，可以發(fā)先每條笑話都在一個(gè)div.article中，笑話的內(nèi)容則在div.content中

在分析完html結(jié)夠后，現(xiàn)在可以用我們用cheerio很容易就可以取出笑話

···
.end((err, res)=>{
  if(err) console.error(err)
  const $ = cheerio.load(res.text)
  const jokeList = $(".article .content span")
  jokeList.each(function(i, item){
    console.log($(this).text()) //將打印出每條笑話
  })    
})    
···

這里我們需要用到readlinem模塊

require("readline") 模塊提供了一個(gè)接口，用于從可讀流（如 process.stdin）讀取數(shù)據(jù)，每次讀取一行。 基本用法如下：

使用 readline.Interface 類實(shí)現(xiàn)一個(gè)簡單的命令行界面：

const readline = require("readline");
const rl = readline.createInterface({
  input: process.stdin,
  output: process.stdout,
  prompt: "請(qǐng)輸入> "
});

//rl.prompt() 方法會(huì)在 output 流中新的一行寫入 readline.Interface 實(shí)例配置后的 prompt，用于為用戶提供一個(gè)可供輸入的新的位置
rl.prompt();

rl.on("line", (line) => {
  switch(line.trim()) {
    case "hello":
      console.log("world!");
      break;
    default:
      console.log(`你輸入的是："${line.trim()}"`);
      break;
  }
  rl.prompt();
}).on("close", () => {
  console.log("再見!");
  process.exit(0);
});

更多參考Node.js中文網(wǎng)

#!/usr/bin/env node

const superAgent = require("superagent")
const cheerio = require("cheerio")
const readline = require("readline")
const colors = require("colors")
// 創(chuàng)建readlinde.Interface 實(shí)現(xiàn)命令行交互
const rl = readline.createInterface({
    input: process.stdin,
    output: process.stdout,
    prompt: " ?  您正在使用joke-cli,按下回車查看笑話 ? >>>"
})
let url = "http://www.qiushibaike.com/text/page/"
let page = 1

// 使用數(shù)組來存放笑話
let jokeStories = []
// 載入笑話并存入數(shù)組中
function loadJokes(){
      // 數(shù)組中的笑話不足三條時(shí)就請(qǐng)求下一頁的數(shù)據(jù)
    if(jokeStories.length<3){
        superAgent
        .get(url+page) 
        .end((err, res)=>{
            if(err) console.error(err)
            const $ = cheerio.load(res.text)
            const jokeList = $(".article .content span")
            jokeList.each(function(i, item){
                jokeStories.push($(this).text()) //存入數(shù)組
            })
            page++            
        })
    }
}

rl.prompt()
loadJokes()
// line事件 每當(dāng) input 流接收到接收行結(jié)束符（
、
 或 
）時(shí)觸發(fā) "line" 事件。 通常發(fā)生在用戶按下  鍵或  鍵。
// 按下回車鍵顯示一條笑話
rl.on("line", (line) => {
    if(jokeStories.length>0){
        console.log("======================")
        console.log(jokeStories.shift().bgCyan.black) //用colors模塊改變輸出顏色
        loadJokes()
    }else{
        console.log("正在加載中~~~".green)
    }
    rl.prompt()
}).on("close", () => {
    console.log("Bye!")
    process.exit(0)
})

這里我們用了一個(gè)數(shù)組存放笑話，每按下回車，就顯示一條(shift()刪除并返回?cái)?shù)組第一個(gè)元素)，當(dāng)數(shù)組中不足三條時(shí)就請(qǐng)求新的一頁

到此，我們的joke-cli就開發(fā)完成。此時(shí)我們應(yīng)該了解了superagent, cheerio， readline等模塊的使用。這會(huì)兒應(yīng)該趁熱打鐵，快去好好看看這些模塊吧

原文鏈接xingxin.me

cheerio

superagent

譯)SuperAgent中文使用文檔

Node.js中文網(wǎng)

colors.js

大家可以關(guān)注我的公眾號(hào)，一起玩耍。有技術(shù)干貨也有扯淡亂談，關(guān)注回復(fù)[888]領(lǐng)取福利

左手代碼右手磚，拋磚引玉