python爬蟲小腳本

codeGoogle 發布于2019-07-31 11:41 / 1773人閱讀

摘要：天朝上網需要經常改文件的，你們都懂的。要在網上找啊，找到了還要復制粘貼，那叫一個麻煩啊。我是出了名的懶人嘛，寫個腳本干這事吧獲取網頁內容，網址是假的，我只是想說一下方法設置文件路徑備份文件讀取文件，準備添加開始添加寫入并關閉文件

天朝上網需要經常改hosts文件的，你們都懂的。要在網上找啊，找到了還要復制粘貼，那叫一個麻煩啊。
我是出了名的懶人嘛，寫個腳本干這事吧……

#!/usr/bin/env python
import urllib
import os
import platform
import shutil

#獲取網頁內容，網址是假的，我只是想說一下方法
r = urllib.urlopen("http://www.baidu.com/hosts.html")

for line in r:
    if line.find("NEW HOSTS") >= 0:
        url = line[line.find("http://"):][:line[line.find("http://"):].find(""")]

#設置hosts文件路徑
if platform.system() == "Windows":
    sysdir = os.getenv("SystemDrive")
    hostspath = sysdir + "/windows/system32/drivers/etc/hosts"
if platform.system() == "Linux":
    hostspath = "/etc/hosts"

#備份hosts文件
if os.path.isfile(hostspath+"_bak") == False:
    shutil.copyfile(hostspath,hostspath+"_bak")
shutil.copyfile(hostspath+"_bak",hostspath)

#讀取文件，準備添加
host = open(hostspath,"r")
content = host.read()
host.close()
r = urllib.urlopen(url)

#開始添加
for line in r:
    line=line.strip("
")
    content = content + line
    
#寫入并關閉文件
host = open(hostspath,"w")
host.write(content)
host.close()

GPU云服務器云服務器爬蟲腳本爬蟲小工具 python腳本 python 寫腳本

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/45416.html

首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時間永遠都過得那么快，一晃從年注冊，到現在已經過去了年那些被我藏在收藏夾吃灰的文章，已經太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評論0 收藏0
Evil Python

摘要：用將倒放這次讓我們一個用做一個小工具將動態圖片倒序播放發現引力波的機構使用的包美國科學家日宣布，他們去年月首次探測到引力波。宣布這一發現的，是激光干涉引力波天文臺的負責人。這個機構誕生于上世紀年代，進行引力波觀測已經有近年。那些年我們寫過的爬蟲從寫 nodejs 的第一個爬蟲開始陸陸續續寫了好幾個爬蟲，從爬拉勾網上的職位信息到爬豆瓣上的租房帖子，再到去爬知乎上的妹子照片什么的，爬蟲...

Turbo 2019-07-30 15:07 評論0 收藏0
小程序開發（一）：使用scrapy爬蟲采集數據

摘要：用途廣泛，可以用于數據挖掘監測和自動化測試。運行下，發現數據全部存到了數據庫中。提供了一些接口來查看項目爬蟲情況，以及執行或者停止執行爬蟲。完成小程序所需要的所有接口的開發，以及使用定時任務執行爬蟲腳本。過完年回來，業余時間一直在獨立開發一個小程序。主要數據是8000+個視頻和10000+篇文章，并且數據會每天自動更新。我會整理下整個開發過程中遇到的問題和一些細節問題，因為內容會比...

mrli2016 2019-07-31 10:19 評論0 收藏0
Python3網絡爬蟲實戰---12、部署相關庫的安裝：Docker、Scrapyd

摘要：阿里云安裝腳本安裝腳本兩個腳本可以任選其一，速度都非常不錯。推薦的加速器有和阿里云。阿里云不同平臺的鏡像加速方法配置可以參考的官方文檔。以上便是的安裝方式說明。上一篇文章網絡爬蟲實戰爬蟲框架的安裝下一篇文章網絡爬蟲實戰部署相關庫上一篇文章：Python3網絡爬蟲實戰---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis下一篇文章：Python3網絡爬蟲實戰---...

ityouknow 2019-07-31 10:34 評論0 收藏0
Python面試經驗總結，面試一時爽，一直面試一直爽！

摘要：面試的心得體會簡歷制作我做了兩份簡歷，用兩個手機賬號，兩個簡歷名字，分別在各個招聘網站投了雙份簡歷，一個是數據分析的簡歷一個是全棧開發的簡歷，我真正接觸快年，不管是學習還是工作學到的東西，這兩年大概掌握了前端爬蟲數據分析機器學習技術， showImg(https://upload-images.jianshu.io/upload_images/13090773-b96aac7e974c...

gxyz 2019-07-31 10:28 評論0 收藏0