node.js爬取數據 node可以做很多事情,比如爬蟲、通信等等。 今天就先做一個爬蟲,爬取一些百度圖片。
首先我們需要引入一些模塊
var http = require("http"); var https = require("https"); var fs = require("fs"); var cheerio = require("cheerio");
這里需要注意cheerio是擴展模塊需要裝一下
npm install cheerio --save
然后要把這些圖片的url地址獲取下來
const wz="http://image.baidu.com/"; var strHtml=""; var resuts=[];//定義一個空數組,將數據內容存在里面 http.get(wz,function(res){ //接收數據 res.on("data",function(data){ strHtml+=data; }); //接收完成 res.on("end",function(){ var $=cheerio.load(strHtml); //找到這些圖片的位置 $(".img_single_box img").each(function(index,item){ resuts.push($(item).attr("src")) }); console.log(resuts); //循環調用圖片函數 for(var i=0;i然后根據圖片URL地址保存成圖片
function saveImage(resuts){ https.get(resuts,function(res){ res.setEncoding("binary");//二進制 var imageData="";//將圖片加載到內存中 res.on("data",function(a){ imageData+=a; }).on("end",function(){ //創建文件夾,如果有就不用創建 if(!fs.existsSync("./images")){ fs.mkdirSync("./images"); }; //保存圖片 fs.writeFile(".images/"+Math.random()+".png",imageData,"binary",function(err){ if(!err) console.log("保存成功"); }); }); }); }
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/89077.html
摘要:上面只爬取了京東首頁的圖片內容,假設我的需求進一步擴大,需要爬取京東首頁中的所有標簽對應的跳轉網頁中的所有的文字內容,最后放到一個數組中。 showImg(https://segmentfault.com/img/bVbtVeV?w=3840&h=2160); 本文適合無論是否有爬蟲以及Node.js基礎的朋友觀看~ 需求: 使用Node.js爬取網頁資源,開箱即用的配置 將爬取到的...
摘要:上面只爬取了京東首頁的圖片內容,假設我的需求進一步擴大,需要爬取京東首頁中的所有標簽對應的跳轉網頁中的所有的文字內容,最后放到一個數組中。 showImg(https://segmentfault.com/img/bVbtVeV?w=3840&h=2160); 本文適合無論是否有爬蟲以及Node.js基礎的朋友觀看~ 需求: 使用Node.js爬取網頁資源,開箱即用的配置 將爬取到的...
摘要:上面只爬取了京東首頁的圖片內容,假設我的需求進一步擴大,需要爬取京東首頁中的所有標簽對應的跳轉網頁中的所有的文字內容,最后放到一個數組中。 showImg(https://segmentfault.com/img/bVbtVeV?w=3840&h=2160); 本文適合無論是否有爬蟲以及Node.js基礎的朋友觀看~ 需求: 使用Node.js爬取網頁資源,開箱即用的配置 將爬取到的...
摘要:這里由于京東的分界面都使用了,所以我們可以用,總之他們開發能用的選擇器,我們都可以用,否則就不可以。 難道爬蟲只能用 python 做? 不,我們上天的 Node.js 也可以做! 需要準備的包 Node.js的最新版本 下載地址 Node.js官網 npm 包管理器下載 下載最新的官網版本 Node.js 會自帶 npm npm的第三方包 puppeteer 在對應...
摘要:這里由于京東的分界面都使用了,所以我們可以用,總之他們開發能用的選擇器,我們都可以用,否則就不可以。 難道爬蟲只能用 python 做? 不,我們上天的 Node.js 也可以做! 需要準備的包 Node.js的最新版本 下載地址 Node.js官網 npm 包管理器下載 下載最新的官網版本 Node.js 會自帶 npm npm的第三方包 puppeteer 在對應...
閱讀 3209·2021-11-25 09:43
閱讀 3213·2021-11-23 09:51
閱讀 3526·2019-08-30 13:08
閱讀 1579·2019-08-29 12:48
閱讀 3602·2019-08-29 12:26
閱讀 406·2019-08-28 18:16
閱讀 2572·2019-08-26 13:45
閱讀 2438·2019-08-26 12:15