国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Python爬蟲之使用MongoDB存儲(chǔ)數(shù)據(jù)

shiina / 1335人閱讀

摘要：的安裝是一種非關(guān)系型數(shù)據(jù)庫官網(wǎng)選擇你的系統(tǒng)對(duì)應(yīng)的版本下載安裝即可配置在盤或者盤建一個(gè)文件夾如圖安裝成功后里面會(huì)有文件然后再文件夾里面新建一個(gè)文件夾，文件里面新建文件夾文件夾用于存儲(chǔ)數(shù)據(jù)在文件路徑下打開命令行工具執(zhí)行下面的命令注意文件夾路

1.MongoDB的安裝

MongoDB是一種非關(guān)系型數(shù)據(jù)庫

MongoDB官網(wǎng)

選擇你的系統(tǒng)對(duì)應(yīng)的版本下載安裝即可

2.MongoDB配置

a.在C盤或者D盤建一個(gè)文件夾如圖mongodb

b.安裝成功后里面會(huì)有bin文件然后再文件夾里面新建一個(gè)data文件夾，data文件里面新建db文件夾

db文件夾用于存儲(chǔ)MongoDB數(shù)據(jù)

c.在bin文件路徑下打開命令行工具執(zhí)行下面的命令

mongod --dbpath C:mongdbdatadb


注意：文件夾路徑以自己所建的為準(zhǔn)

d.此時(shí)在打開一個(gè)命令行在bin路徑下執(zhí)行下面的代碼

mongo

3.安裝第三方庫pymongo(連接MongoDB) 
pip3 install pymongo
4.安裝Mongodb可視化管理工具Robomongo

Robomongo官網(wǎng)

安裝成功之后啟動(dòng)Robomongo，在空白處點(diǎn)擊，然后選擇Add命令，單擊Save,最后點(diǎn)擊Connect按鈕連接到MongoDB數(shù)據(jù)庫

5.案例代碼

引入相應(yīng)的模塊

import requests
from lxml import etree
import re
import pymongo
import time

連接mongodb數(shù)據(jù)庫

client = pymongo.MongoClient("localhost", 27017)
mydb = client["mydb"]
musictop = mydb["musictop"]

案例完整代碼

import requests
from lxml import etree
import re
import pymongo
import time

client = pymongo.MongoClient("localhost", 27017)
mydb = client["mydb"]
musictop = mydb["musictop"]

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"
}

def get_url_music(url):
    html = requests.get(url, headers=headers)
    selector = etree.HTML(html.text)
    music_hrefs = selector.xpath("http://a[@class="nbg"]/@href")
    for music_href in music_hrefs:
        get_music_info(music_href)

def get_music_info(url):
    html = requests.get(url, headers=headers)
    selector = etree.HTML(html.text)
    name = selector.xpath("http://*[@id="wrapper"]/h1/span/text()")[0]
    author = re.findall("表演者:.*?>(.*?)", html.text,re.S)[0]
    styles = re.findall("流派: (.*?)
",html.text,re.S)
    if len(styles) == 0:
        style = "未知"
    else:
        style = styles[0].strip()
    time = re.findall("發(fā)行時(shí)間: (.*?)
", html.text, re.S)[0].strip()
    publishers = re.findall("出版者:.*?>(.*?)", html.text, re.S)

    if len(publishers) == 0:
        publishers = "未知"
    else:
        publishers = publishers[0].strip()
    score = selector.xpath("http://*[@id="interest_sectl"]/div/div[2]/strong/text()")[0]
    print(name, author, style, time, publishers, score)
    info = {
        "name": name,
        "author": author,
        "style": style,
        "time": time,
        "publisher": publishers,
        "score": score
    }

    musictop.insert_one(info)

if __name__ == "__main__":
    urls = ["https://music.douban.com/top250?start={}".format(str(i)) for i in range(0, 250, 25)]
    for url in urls:
        get_url_music(url)
        time.sleep(2)
6.執(zhí)行爬蟲代碼，然后到Robomongo刷新就會(huì)看到數(shù)據(jù)已經(jīng)有啦

7.本文只是入門級(jí)別，我分享出來希望和大家一起學(xué)習(xí)進(jìn)步！ 我還寫了Vue插件開發(fā)和搶紅包的小游戲(歡迎Star)

Vue插件開發(fā)

搶紅包小游戲

Python爬蟲入門

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/19289.html

相關(guān)文章

  • Python爬蟲之使用MongoDB存儲(chǔ)數(shù)據(jù)

    摘要：的安裝是一種非關(guān)系型數(shù)據(jù)庫官網(wǎng)選擇你的系統(tǒng)對(duì)應(yīng)的版本下載安裝即可配置在盤或者盤建一個(gè)文件夾如圖安裝成功后里面會(huì)有文件然后再文件夾里面新建一個(gè)文件夾，文件里面新建文件夾文件夾用于存儲(chǔ)數(shù)據(jù)在文件路徑下打開命令行工具執(zhí)行下面的命令注意文件夾路 1.MongoDB的安裝 MongoDB是一種非關(guān)系型數(shù)據(jù)庫 MongoDB官網(wǎng) showImg(https://segmentfault.com/i...

    james 評(píng)論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---4、數(shù)據(jù)庫的安裝：MySQL、MongoDB、Redis

    摘要：的安裝是一個(gè)輕量級(jí)的關(guān)系型數(shù)據(jù)庫，以表的形式來存儲(chǔ)數(shù)據(jù)，本節(jié)我們來了解下它的安裝方式。相關(guān)鏈接官方網(wǎng)站下載地址中文教程下的安裝推薦使用安裝，執(zhí)行命令即可。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)解析庫的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)存儲(chǔ)庫的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---3、解析庫的安裝：LXML、BeautifulSoup、PyQuery、Tesserocr下一篇文章：Python3網(wǎng)絡(luò)...

    winterdawn 評(píng)論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---5、存儲(chǔ)庫的安裝:PyMySQL、PyMongo、RedisPy、R

    摘要：相關(guān)鏈接官方文檔安裝推薦使用安裝，命令如下運(yùn)行完畢之后即可完成的安裝。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)數(shù)據(jù)庫的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)庫的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---4、數(shù)據(jù)庫的安裝：MySQL、MongoDB、Redis下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---6、Web庫的安裝：Flask、Tornado 在前面一節(jié)我們介紹了幾個(gè)數(shù)據(jù)庫的安裝方式，但這僅僅是用來存...

    AlanKeene 評(píng)論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---33、數(shù)據(jù)存儲(chǔ)：非關(guān)系型數(shù)據(jù)庫存儲(chǔ):MongoDB

    摘要：列存儲(chǔ)數(shù)據(jù)庫，代表有等。運(yùn)行結(jié)果返回結(jié)果是字典形式，即代表執(zhí)行成功，代表影響的數(shù)據(jù)條數(shù)。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)數(shù)據(jù)存儲(chǔ)關(guān)系型數(shù)據(jù)庫存儲(chǔ)下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)數(shù)據(jù)存儲(chǔ)非關(guān)系型數(shù)據(jù)庫存儲(chǔ) 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---32、數(shù)據(jù)存儲(chǔ)：關(guān)系型數(shù)據(jù)庫存儲(chǔ):MySQL下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---34、數(shù)據(jù)存儲(chǔ)：非關(guān)系型數(shù)據(jù)庫存儲(chǔ):Redis NoSQL，全稱 No...

    XanaHopper 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<