資訊專欄INFORMATION COLUMN
摘要：目標(biāo)很簡(jiǎn)單，因?yàn)槲蚁胍酪幌伦C券化率，然后可視化輸出結(jié)果。證券化率的基礎(chǔ)就是上市公司的總市值，對(duì)于證券化率其實(shí)還蠻多說(shuō)法的，比如雪球的這篇文。我們可以利用這個(gè)回調(diào)函數(shù)來(lái)顯示當(dāng)前的下載進(jìn)度。
寫(xiě)在前面的叨叨
折騰了這么久，我終于在喝完一聽(tīng)快樂(lè)肥宅水后下定決心來(lái)學(xué)習(xí)寫(xiě)爬蟲(chóng)了。
目標(biāo)很簡(jiǎn)單，因?yàn)槲蚁胍酪幌隆白C券化率”，然后可視化輸出結(jié)果。
證券化率的基礎(chǔ)就是上市公司的總市值，對(duì)于證券化率其實(shí)還蠻多說(shuō)法的，比如雪球的這篇文。
中國(guó)的真實(shí)證券化率是多少？
爬蟲(chóng)對(duì)于證券類的分析來(lái)說(shuō)，其實(shí)已經(jīng)是司空見(jiàn)慣了，但是作為菜鳥(niǎo)小股民，希望自己在寫(xiě)完這個(gè)爬蟲(chóng)之后也對(duì)股票有更深的認(rèn)識(shí)吧，然后能賺錢就更好啦~
找了一個(gè)相對(duì)好入門的案例，來(lái)作為學(xué)習(xí)的范本。
Python爬蟲(chóng)抓取東方財(cái)富網(wǎng)股票數(shù)據(jù)并實(shí)現(xiàn)MySQL數(shù)據(jù)庫(kù)存儲(chǔ)
主要使用的工具和模塊包括：Anaconda Pandas MySQL
Anaconda是之前就安裝好了的，具體過(guò)程可以參考這個(gè)安裝流程。
Anaconda完全入門指南
Pandas是在Anaconda中用命令安裝好的，還得摸索下這個(gè)工具。
pip install pandas
MySQL以前寫(xiě)PHP的時(shí)候，都習(xí)慣直接用Wamp打包處理了，這會(huì)兒就來(lái)摸索下多帶帶安裝，安裝教程參考這個(gè)。
windows下安裝Mysql—圖文詳解
一共是四個(gè)步驟：
用爬蟲(chóng)將數(shù)據(jù)抓取到本地csv文件中
將csv文件內(nèi)的數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)中
MySQL數(shù)據(jù)庫(kù)內(nèi)進(jìn)行查詢
我們今天的目標(biāo)是完成第一步----因?yàn)镸ySQL還沒(méi)部署完畢...明天繼續(xù)~
#導(dǎo)入需要使用到的模塊
import urllib
import re
import pandas as pd
import pymysql
import os
#爬蟲(chóng)抓取網(wǎng)頁(yè)函數(shù)
def getHtml(url):
html = urllib.request.urlopen(url).read()
html = html.decode("gbk")
return html
#抓取網(wǎng)頁(yè)股票代碼函數(shù)
def getStackCode(html):
s = r"我們看一下源代碼是這樣的，注釋寫(xiě)的很清楚，我們來(lái)拆解一下。
引入模塊，包括pandas和re等
分模塊寫(xiě)函數(shù)
getHtml()用于抓取網(wǎng)頁(yè)，讀取網(wǎng)頁(yè)源碼
getStackCode()對(duì)抓取到的源碼讀取，拆解出
結(jié)構(gòu)里面的鏈接，打開(kāi)Url對(duì)應(yīng)的地址，看到對(duì)應(yīng)的圖形結(jié)構(gòu)，紅框就是需要命中的目標(biāo)。根據(jù)代碼，原作者只截取了6開(kāi)頭的大盤股的list存儲(chǔ)入數(shù)組。 然后用GET方法獲取每個(gè)代碼對(duì)應(yīng)的股票的數(shù)據(jù)，對(duì)每組數(shù)據(jù)進(jìn)行存儲(chǔ)。
將代碼放到本地跑一下，看下結(jié)果。
正常應(yīng)該是會(huì)下載數(shù)據(jù)到文件夾下，但是報(bào)錯(cuò)了。
應(yīng)該是request模塊下的urlretrieve函數(shù)報(bào)錯(cuò)。
關(guān)聯(lián)語(yǔ)句是
urllib.request.urlretrieve(url, filepath+code+".csv")
關(guān)于urlretrieve()這個(gè)方法，因?yàn)闆](méi)有使用過(guò)，所以來(lái)看下詳解。
Python urllib模塊urlopen()與urlretrieve()詳解
urlretrieve()用于直接將遠(yuǎn)程數(shù)據(jù)下載到本地。
urllib.urlretrieve(url[, filename[, reporthook[, data]]])
參數(shù)說(shuō)明：
url：外部或者本地url
filename：指定了保存到本地的路徑（如果未指定該參數(shù)，urllib會(huì)生成一個(gè)臨時(shí)文件來(lái)保存數(shù)據(jù)）；
reporthook：是一個(gè)回調(diào)函數(shù)，當(dāng)連接上服務(wù)器、以及相應(yīng)的數(shù)據(jù)塊傳輸完畢的時(shí)候會(huì)觸發(fā)該回調(diào)。我們可以利用這個(gè)回調(diào)函數(shù)來(lái)顯示當(dāng)前的下載進(jìn)度。
data：指post到服務(wù)器的數(shù)據(jù)。該方法返回一個(gè)包含兩個(gè)元素的元組(filename, headers)，filename表示保存到本地的路徑，header表示服務(wù)器的響應(yīng)頭。
會(huì)過(guò)來(lái)看我們的函數(shù)語(yǔ)句↓
urllib.request.urlretrieve(url, filepath+code+".csv")
指定了地址和文件名（保存到本地的路徑），所以我試試在本地新建一個(gè)600000.csv來(lái)測(cè)試下結(jié)果。
然后發(fā)現(xiàn)并沒(méi)有結(jié)果。
然后發(fā)現(xiàn)自己干了很蠢的事情.....
emmm....其實(shí)是我的路徑寫(xiě)錯(cuò)了，然后實(shí)驗(yàn)結(jié)果是這樣的~
現(xiàn)在就坐等爬完啦~然后安裝MySQL,然后導(dǎo)入數(shù)據(jù)庫(kù)。
明天來(lái)嘗試下自己復(fù)寫(xiě)一下這個(gè)爬蟲(chóng)~
主要涉及的內(nèi)容是網(wǎng)頁(yè)結(jié)果和模塊方法的使用。
包括了：
request.urlopen()
re.compile()
request.urlretriev()
要好好學(xué)習(xí)~
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/43280.html
摘要：爬爬們，如果你已經(jīng)開(kāi)始部署項(xiàng)目了，那么你肯定也已經(jīng)寫(xiě)好了完整的爬蟲(chóng)項(xiàng)目，恭喜你，你很優(yōu)秀今天忙了小半天的服務(wù)器部署，跟大家分享一些心得首先我們要有一臺(tái)服務(wù)器，不好意思，這是廢話，略過(guò)。。。。。 爬爬們，如果你已經(jīng)開(kāi)始部署項(xiàng)目了，那么你肯定也已經(jīng)寫(xiě)好了完整的爬蟲(chóng)項(xiàng)目，恭喜你，你很優(yōu)秀！**今天忙了小半天的服務(wù)器部署，跟大家分享一些心得～ 首先我們要有一臺(tái)服務(wù)器，不好意思，這是廢話，略過(guò)...
摘要：但發(fā)現(xiàn)導(dǎo)出來(lái)的沒(méi)有高亮語(yǔ)法沒(méi)有語(yǔ)法高亮咋看啊，所以到這里我就放棄了，將就用一下博客園生成的吧爬蟲(chóng)學(xué)習(xí)上面提供的接口是一個(gè)生成一個(gè)文件，我是不可能一個(gè)一個(gè)將鏈接和標(biāo)題放上去生成的因?yàn)椴┛蛨@上發(fā)的也將近篇了。 前言 只有光頭才能變強(qiáng) 之前有讀者問(wèn)過(guò)我：3y你的博客有沒(méi)有電子版的呀？我想要份電子版的。我說(shuō)：沒(méi)有啊，我沒(méi)有弄過(guò)電子版的，我這邊有個(gè)文章導(dǎo)航頁(yè)面，你可以去文章導(dǎo)航去找來(lái)看呀..然后...
摘要：今天就先給大家講大數(shù)據(jù)分析工程師。所以你要和我說(shuō)你在外面培訓(xùn)了個(gè)月的大數(shù)據(jù)分析后，就想做了，那請(qǐng)你再考慮考慮。而他們鼓吹的大數(shù)據(jù)分析師，其實(shí)就是。 showImg(https://segmentfault.com/img/remote/1460000018722710?w=1000&h=750); Overview： 序 基本概念 DS的職能要求 DE的職能要求 總結(jié) 一、序 今天...
摘要：我是由貝爾實(shí)驗(yàn)室的在年年間發(fā)明創(chuàng)造的，瞧，就他你們眼中的語(yǔ)言之父。與此同時(shí)，由于庫(kù)函數(shù)的缺失，導(dǎo)致新手在開(kāi)發(fā)任何一塊小程序的時(shí)候都必須得親力親為。對(duì)了，我爸是微軟，由和派生出來(lái)的面向?qū)ο蟮木幊陶Z(yǔ)言。對(duì)，我曾是世界上最好的編程語(yǔ)言。 ...
閱讀 3505·2021-11-23 10:13
閱讀 873·2021-09-22 16:01
閱讀 918·2021-09-09 09:33
閱讀 643·2021-08-05 09:58
閱讀 1725·2019-08-30 11:14
閱讀 1961·2019-08-30 11:02
閱讀 3274·2019-08-29 16:28
閱讀 1491·2019-08-29 16:09
