web自動化爬蟲selenium centos 無GUI環境配置

張巨偉發布于2019-07-30 18:35 / 3033人閱讀

摘要：基本環境安裝安裝下載注意要和版本對應由于下載的是版本的，所以選擇了版本解壓此文件，并將文件移動到目錄下測試是否可用，請執行以下腳本，如返回內容，則說明安裝成功注意需要加上，禁止在沙箱中運行補充安裝支持測試腳本

基本環境：centos7,python3.x 1.安裝selenium

pip3 install selenium

2.安裝chrome-browser

wget https://dl.google.com/linux/d... --no-check-certificate

yum install ./google-chrome-stable_current_x86_64.rpm

3.下載chromedriver（注意要和chrome-browser版本對應）

1254109F0E439D718CC399416C7238D3.png

由于下載的chrome-browser是70版本的，所以chromedriver 選擇了2.43版本

wget http://chromedriver.storage.g...

解壓此文件，并將文件移動到/usr/bin目錄下

unzip chromedriver_linx64.zip

mv chromedriver /usr/bin/

4.測試selenium是否可用，請執行以下python腳本，如返回html內容，則說明安裝成功

from selenium import webdriver
url="http://bing.com"
option = webdriver.ChromeOptions()
option.add_argument("--no-sandbox")
option.add_argument("--headless")
driver = webdriver.Chrome(chrome_options=option)
driver.get(url)
print(driver.page_source)
注意需要加上，禁止在沙箱中運行

option.add_argument("--no-sandbox")
option.add_argument("--headless")

補充：

安裝firefox支持

yum install firefox

yum install Xvfb

yum install libXfont

pip3 install pyvirtualdisplay

測試腳本

!/usr/bin/python3

from selenium import webdriver
from pyvirtualdisplay import Display
display = Display(visible=0, size=(800,600))
display.start()
driver = webdriver.Firefox()
driver.get("https://www.baidu.com")
print(driver.title)
driver.quit()
display.stop()

GPU云服務器云服務器 ecs centos web環境搭建 selenium網絡爬蟲 centos配置lamp環境 java自動配置環境

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/42680.html

國外程序員整理的Java資源大全

摘要：日期和時間處理日期和時間的函數庫。使用中可觀察序列，創建異步基于事件應用程序的函數庫。為分布式系統提供延遲和容錯處理。發布使用本機格式分發應用程序的工具。將程序資源和打包成和的本機文件。圖像處理用來幫助創建評估或操作圖形的函數庫。好資源要分享原文譯者唐尤華翻譯自 github akullpp 構建這里搜集了用來構建應用程序的工具。 Apache Maven：Mave...

chengtao1633 2019-08-14 11:56 評論0 收藏0
Python3網絡爬蟲實戰---2、請求庫安裝：GeckoDriver、PhantomJS、Aioh

摘要：上一篇文章網絡爬蟲實戰請求庫安裝下一篇文章網絡爬蟲實戰解析庫的安裝的安裝在上一節我們了解了的配置方法，配置完成之后我們便可以用來驅動瀏覽器來做相應網頁的抓取。上一篇文章網絡爬蟲實戰請求庫安裝下一篇文章網絡爬蟲實戰解析庫的安裝上一篇文章：Python3網絡爬蟲實戰---1、請求庫安裝：Requests、Selenium、ChromeDriver下一篇文章：Python3網絡爬蟲實戰--...

Cristalven 2019-07-31 10:33 評論0 收藏0
前端為什么要學習 Selenium

摘要：你是對的，因為你需要學習。如果你有這些疑問，那么請不要擔心，因為在本文中，我將給出個令人信服的理由，來說明學習的必要性。用于家庭用途的操作系統足以支撐進行測試。由于的使用量持續增長，使對測試員的需求也在成比例增長。翻譯：瘋狂的技術宅原文：https://www.edureka.co/blog/1... 本文首發微信公眾號：前端先鋒歡迎關注，每天都給你推送新鮮的前端技術文章如果...

CodeSheep 2019-05-29 17:14 評論0 收藏0
在headless模式下運行selenium

摘要：而在不久前宣布支持模式而后跟隨的新聞再次勾起我無盡的回憶。那么我們就來談談在和瀏覽器不原生支持模式下如何使用來實現模式進行動態數據的抓取。比較常見的例子在中進行轉發。下面我們進行測試發現其可以正常的運行。原文地址: http://52sox.com/python-use-h... 在Python中進行瀏覽器測試時,一般我們會選擇selenium這樣的庫來簡化我們工作量。而有些時候,為...

MoAir 2019-07-25 11:45 評論0 收藏0
#yyds干貨盤點# Selenium Web端自動化從入門到實踐

摘要：華文宋體驗證搜索結果頁面的標題是否是自動化測試百度搜索。華文宋體移除了華文宋體版本的華文宋體也就是說，華文宋體不再得到官方的支持。一、自動化測試概念1、概念java：TestNgpython：unittest pytest2、自動化測試可行性測試目的明確，需求不會頻繁的變更對于項目的自動化測試，要看項目的具體情況一個產品需要在多個環境下部署對于web GUI測試，需要測試用例在不同的瀏覽器上...

番茄西紅柿 2021-11-25 09:43 評論0 收藏2637