摘要:今日登錄大陸手拿準(zhǔn)備打怪升級,尼瑪,沒有數(shù)據(jù)懷疑自己昨晚太過勞累,于是他。。。睡著了每攻擊一次睡一覺。是否是因為加密方式的區(qū)別于是他于是他。。。
今日Tbor登錄linux大陸手拿Selenium+PhantomJS準(zhǔn)備打怪升級,
尼瑪, 沒有數(shù)據(jù)?
Tbor懷疑自己昨晚太過勞累, 于是他。。。睡著了!每攻擊一次睡一覺。男人嘛, 休息還是挺重要的!
import time from selenium import webdriver driver = webdriver.PhantomJS(executable_path="/home/Tbor/Desktop/phantomjs-2.1.1-linux-x86_64/bin/phantomjs") driver.get("https://www.baidu.com/") time.sleep(3) print driver.page_source
結(jié)果他發(fā)現(xiàn), 這完全改變不了他腎虧的事實!
這可不是Tbor想要的, 第一反應(yīng)可能自己被發(fā)現(xiàn)了, Tbor懷疑自己的腦袋(請求頭)辨識度太高, 于是Tbor抬起自己手中的Selenium+PhantomJS啟動偽裝術(shù)
import time from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities dcap = DesiredCapabilities.PHANTOMJS.copy() header = { "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8", "Accept-Encoding":"gzip, deflate, br", "Accept-Language":"zh-CN,zh;q=0.9", "Cache-Control":"max-age=0", "Connection":"keep-alive", "Cookie":"lsv=globalTjs_48e30dd-wwwTcss_cb39b0d-wwwBcss_483ee4a-framejs_2d8c954-globalBjs_8c0c610-sugjs_ddbaa53-wwwjs_5bf2601; plus_cv=1::m:caddfa4f; MSA_WH=320_568; ispeed_lsm=2; sug=3; sugstore=0; ORIGIN=0; bdime=0; BAIDUID=1A18D1CA8AAB7B0DDAAA0CC1CB239A9A:FG=1; BIDUPSID=1A18D1CA8AAB7B0DDAAA0CC1CB239A9A; PSTM=1524476137; B64_BOT=1; H_PS_645EC=a4beKut49tLxOMARLfm%2Fo6SdsqBYpvVfsiXBqLEPqjmyN6v9HOy5k06aQp8; BD_CK_SAM=1; PSINO=6; BDRCVFR[c3DJb-79z0f]=mk3SLVN4HKm; BD_HOME=0; H_PS_PSSID=26254_1424_21085_26106; BD_UPN=12314353", "Host":"www.baidu.com", "Upgrade-Insecure-Requests":"1", "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36", } for key, value in header.items(): dcap["phantomjs.page.customHeaders.{}".format( key)] = value driver = webdriver.PhantomJS(executable_path="/home/Tbor/Desktop/phantomjs-2.1.1-linux-x86_64/bin/phantomjs") driver.get("https://www.baidu.com/", desired_capabilities=dcap) time.sleep(3) print driver.page_source
一陣激斗, 煙霧散去
尼瑪, 這么強(qiáng)悍的嗎?不過Tbor什么場面沒見過, 于是他跑了。。
Tbor回到了windows大陸, 用同樣的招式
難道是因為自己英俊的臉龐, 于是Tbor回到家趕緊找鏡子嗎看看自己是否又變帥了!因為他覺得只有這個原因, 沒有其他解釋!他找到鏡子, 鏡子旁邊, 他翻開了一本古籍!
“”PhantomJS使用的加密方式是SSLv3,有些網(wǎng)站用的是TLS。。?!啊?br>是否是因為加密方式的區(qū)別?
于是他
import time from selenium import webdriver driver = webdriver.PhantomJS(service_args=["--ignore-ssl-errors=true", "--ssl-protocol=any"],executable_path="/home/Tbor/Desktop/phantomjs-2.1.1-linux-x86_64/bin/phantomjs") driver.get("https://www.baidu.com/") time.sleep(3) print driver.page_source
于是他。。。
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/41591.html
摘要:而在不久前宣布支持模式而后跟隨的新聞再次勾起我無盡的回憶。那么我們就來談?wù)勗诤蜑g覽器不原生支持模式下如何使用來實現(xiàn)模式進(jìn)行動態(tài)數(shù)據(jù)的抓取。比較常見的例子在中進(jìn)行轉(zhuǎn)發(fā)。下面我們進(jìn)行測試發(fā)現(xiàn)其可以正常的運行。 原文地址: http://52sox.com/python-use-h... 在Python中進(jìn)行瀏覽器測試時,一般我們會選擇selenium這樣的庫來簡化我們工作量。而有些時候,為...
摘要:折騰了幾天的終于部署到服務(wù)器上能生產(chǎn)使用了用篇文章來記錄下部署過程中遇到的各種和坑。結(jié)語暫時想到的就這幾個,如果有什么問題,可以直接在評論區(qū)回復(fù),如果有其它解決方案或者錯誤之處,歡迎指出。 折騰了幾天的WechatScraper終于部署到Linux服務(wù)器上能生產(chǎn)使用了用篇文章來記錄下部署過程中遇到的各種bug和坑。 1. 運行問題 webdriver在有GUI界面的系統(tǒng)上運行是只需要下...
摘要:以及是一個用于應(yīng)用程序測試的工具。測試直接運行在瀏覽器中,就像真正的用戶在操作一樣。是一個服務(wù)器端的的。其支持各種標(biāo)準(zhǔn)處理選擇器和。官網(wǎng)給的這個實際跑起來有點問題,報錯需要更換一下驗證的各種數(shù)據(jù)抓取的藝術(shù)一數(shù)據(jù)抓取環(huán)境配置 序 PhantomJS是個好東東,很多時候爬蟲需要用到,但是這個有windows、linux、mac的版本,想要跨平臺的話,需要自己再處理一下,幸好有了phanbe...
摘要:使用實現(xiàn)網(wǎng)頁截屏查庫發(fā)郵件的。本是用于發(fā)周報郵件的,周報內(nèi)容包括數(shù)據(jù)庫中的記錄以及網(wǎng)頁指定元素的截屏。用于網(wǎng)頁截屏,用于傳遞參數(shù)。注意其中使用截取中為的元素的操作。 使用python(2.7)實現(xiàn)網(wǎng)頁截屏、查庫、發(fā)郵件的demo。用到了selenium、phantomjs、mailer、jinja2、mysqldb還有image,都是比較典型的用法,可復(fù)用性比較強(qiáng),記錄分享一下。 本d...
摘要:項目簡介本實驗通過使用實現(xiàn)一個淘寶女郎圖片收集爬蟲,學(xué)習(xí)并實踐及正則表達(dá)式等知識。本教程由阿發(fā)布在實驗樓,完整教程及在線練習(xí)地址實現(xiàn)淘女郎照片爬蟲,可以直接在教程中下載代碼使用。 showImg(https://segmentfault.com/img/bVBgrF); 項目簡介:本實驗通過使用 Python 實現(xiàn)一個淘寶女郎圖片收集爬蟲,學(xué)習(xí)并實踐 BeautifulSoup、Sel...
閱讀 1282·2023-04-25 23:22
閱讀 1682·2023-04-25 20:04
閱讀 2655·2021-11-22 15:24
閱讀 2818·2021-11-11 16:54
閱讀 1894·2019-08-30 14:03
閱讀 1493·2019-08-29 16:35
閱讀 1711·2019-08-26 10:29
閱讀 2682·2019-08-23 18:01