摘要:爬蟲數(shù)據(jù)寫入文件中文亂碼,用在中打開文件沒有問題,但是用打開卻出現(xiàn)了問題,以下為解決方法。
python爬蟲數(shù)據(jù)寫入csv文件中文亂碼,用’utf-8‘在pycharm中打開文件沒有問題,但是用excel打開卻出現(xiàn)了問題,以下為解決方法。
(最近在練習(xí)爬蟲,這個博文是對自己學(xué)習(xí)的記錄和分享,如果有問題,非常感謝各路大佬指出!!!)
for r in result:????????r_lis=[] #方法二:將爬到的內(nèi)容儲存在csv文件中????????r_lis.append(r.text)????????with open("company.csv","a",newline="",encoding="utf-8-sig") as csvfile: ???????? spamwriter=csv.writer(csvfile, delimiter=",") ????????spamwriter.writerow(r_lis)
在with自開合那里加入newline="",encoding="utf-8-sig"是關(guān)鍵
以下是天眼查的爬蟲
import requestsfrom bs4 import BeautifulSoupfrom urllib.parse import quoteimport csv #公司信息以csv的格式存儲看起來更美觀# key="華為" #從查詢一個company開始,加for循環(huán),查詢多個企業(yè)lis=["華大基因","知乎","中國國家地理雜志社","中山大學(xué)"]for li in lis: url="https://www.tianyancha.com/search?key="+quote(li) #外部的url,進(jìn)入要查詢的企業(yè)的頁面 headers={ "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36 Edg/93.0.961.52", "Cookie":"aliyungf_tc=dcee015d38cbc96ad677b845beb17fecf55dfe7bf358e85e3369cb76604d9baa; acw_tc=76b20f8416320655286472268e3b9f535aea9900bb46a056331a772cc85ae5; csrfToken=ZguchyQQdbrVckAuPOspK7Au; jsid=SEO-BING-ALL-SY-000001; TYCID=c06be740195e11ec9d547d348b283d0a; ssuid=5077711456; sajssdk_2015_cross_new_user=1; bannerFlag=true; Hm_lvt_e92c8d65d92d534b0fc290df538b4758=1632065532; _ga=GA1.2.1408096384.1632065532; _gid=GA1.2.1583561769.1632065532; searchSessionId=1632065541.64432166; relatedHumanSearchGraphId=17066311; relatedHumanSearchGraphId.sig=TwOcKyCjpeHTjV7s49eE4L_3pHpB94avftKmZJek8gk; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2218438709046%22%2C%22first_id%22%3A%2217bfeafae43ba9-005e2376b1979-57341f44-1382400-17bfeafae44afa%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%2C%22%24latest_referrer%22%3A%22%22%7D%2C%22%24device_id%22%3A%2217bfeafae43ba9-005e2376b1979-57341f44-1382400-17bfeafae44afa%22%7D; tyc-user-info={%22state%22:%220%22%2C%22vipManager%22:%220%22%2C%22mobile%22:%2218438709046%22}; tyc-user-info-save-time=1632066453345; auth_token=eyJhbGciOiJIUzUxMiJ9.eyJzdWIiOiIxODQzODcwOTA0NiIsImlhdCI6MTYzMjA2NjQ1MiwiZXhwIjoxNjYzNjAyNDUyfQ.XYcBGbzr1qThhAZp9exmEKjWg1Co6_cwyZgmfCNO-9Nrp_KSyyqAr--UnxUhLaaX7x6jNmoX3SACJDL31RocNA; tyc-user-phone=%255B%252218438709046%2522%255D; Hm_lpvt_e92c8d65d92d534b0fc290df538b4758=1632066573" } #這里的Cookie需要是用戶登陸后的才可以用,否則需要輸入驗證碼,所以先登陸,再獲取Cookie html=requests.get(url,headers=headers) soup=BeautifulSoup(html.text,"html.parser") innerUrl=soup.select_one("a.name")["href"] #只需要的一個所以用select_one()來爬取一個內(nèi)部的url#獲取內(nèi)部url即此處的href # print("獲取內(nèi)部URL:", innerUrl) innerHtml=requests.get(innerUrl,headers=headers) #這里的headers不需要變 soup=BeautifulSoup(innerHtml.text,"html.parser") result=soup.select(".table.-striped-col tbody tr td") for r in result: # with open("company.text","a",encoding="utf8") as f: #方法一:將爬到的內(nèi)容存儲在text文本中 # f.write(r.text+"/n") # with open("company.text","a",encoding="utf8") as f: # f.write("/n") r_lis=[] #方法二:將爬到的內(nèi)容儲存在csv文件中 r_lis.append(r.text) with open("company.csv","a",newline="",encoding="utf-8-sig") as csvfile: spamwriter=csv.writer(csvfile, delimiter=",") spamwriter.writerow(r_lis)print("已完成!")
這是本人的第一篇博文,這些內(nèi)容主要是對我自己學(xué)習(xí)爬蟲的記錄和分享,如果代碼中有什么問題的感謝各路大佬指正!!!
?
?
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/119993.html
摘要:如果該文件已存在,文件指針將會放在文件的結(jié)尾。運(yùn)行結(jié)果以上是讀取文件的方法。為了輸出中文,我們還需要指定一個參數(shù)為,另外規(guī)定文件輸出的編碼。 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---30、解析庫的使用:PyQuery下一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---32、數(shù)據(jù)存儲:關(guān)系型數(shù)據(jù)庫存儲:MySQL 我們用解析器解析出數(shù)據(jù)之后,接下來的一步就是對數(shù)據(jù)進(jìn)行存儲了,保存的形式可以...
摘要:本次使用天天基金網(wǎng)進(jìn)行爬蟲,該網(wǎng)站具有反爬機(jī)制,同時數(shù)量足夠大,多線程效果較為明顯。技術(shù)路線代理池多線程爬蟲與反爬編寫思路首先,開始分析天天基金網(wǎng)的一些數(shù)據(jù)。一旦使用多線程,則需要考慮到數(shù)據(jù)的讀寫順序問題。 @[TOC] 簡介 提到爬蟲,大部分人都會想到使用Scrapy工具,但是僅僅停留在會使用的階段。為了增加對爬蟲機(jī)制的理解,我們可以手動實現(xiàn)多線程的爬蟲過程,同時,引入IP代理池進(jìn)行...
摘要:時間永遠(yuǎn)都過得那么快,一晃從年注冊,到現(xiàn)在已經(jīng)過去了年那些被我藏在收藏夾吃灰的文章,已經(jīng)太多了,是時候把他們整理一下了。那是因為收藏夾太亂,橡皮擦給設(shè)置私密了,不收拾不好看呀。 ...
摘要:項目簡介本文將介紹一個筆者自己的項目自制簡單的詩歌搜索系統(tǒng)。該項目使用的模塊為其中,模塊和模塊用來制作爬蟲,爬取網(wǎng)上的詩歌。 項目簡介 ??本文將介紹一個筆者自己的項目:自制簡單的詩歌搜索系統(tǒng)。該系統(tǒng)主要的實現(xiàn)功能如下:指定一個關(guān)鍵詞,檢索出包含這個關(guān)鍵詞的詩歌,比如關(guān)鍵詞為白云,則檢索出的詩歌可以為王維的《送別》,內(nèi)容為下馬飲君酒,問君何所之?君言不得意,歸臥南山陲。但去莫復(fù)問,白云...
閱讀 3430·2021-11-15 11:39
閱讀 1576·2021-09-22 10:02
閱讀 1321·2021-08-27 16:24
閱讀 3606·2019-08-30 15:52
閱讀 3423·2019-08-29 16:20
閱讀 832·2019-08-28 18:12
閱讀 561·2019-08-26 18:27
閱讀 729·2019-08-26 13:32