Python：這是一個(gè)樸實(shí)無華的爬蟲教程，就是有點(diǎn)養(yǎng)眼

Ethan815 發(fā)布于2021-11-22 09:34 / 2253人閱讀

摘要：好難受，上次發(fā)了做游戲的居然沒人看，每天為了給你們寫啥，老夫心都操碎了真的是，今天來給大家爬一波短視頻網(wǎng)站吧，都是些很養(yǎng)眼的網(wǎng)站地址在代碼里面，大家用心一下就能看到了。

好難受，上次發(fā)了做游戲的居然沒人看，每天為了給你們寫啥，老夫心都操碎了~

真的是，今天來給大家爬一波短視頻網(wǎng)站吧，都是些很養(yǎng)眼的~

網(wǎng)站地址在代碼里面，大家用心一下就能看到了。

使用的軟件

python 3.8pycharm 2021.2

模塊

requestsparselreconcurrent.futurestimewarnings

不會(huì)安裝模塊看這篇：如何安裝python模塊, python模塊安裝失敗的原因以及解決辦法

知道你們不想看那些步驟，我直接上代碼吧

import requestsimport parselimport reimport concurrent.futuresimport timeimport warnings# 取消警告warnings.filterwarnings("ignore")def get_html(url):    """發(fā)送請(qǐng)求獲取網(wǎng)頁源代碼"""    html_data = requests.get(url=url, verify=False).text    return html_datadef parse_data_1(html_data):    """第一次解析, 拿到所有的詳情頁鏈接"""    selector = parsel.Selector(html_data)    url_list = selector.xpath("http://a[@class="meta-title"]/@href").getall()    return url_listdef parse_data_2(html_data):    """第二次解析, 獲取視頻鏈接"""    video_url = re.findall("url: "(.*?)",", html_data)[0]    return video_urldef save(video_url):    """保存視頻"""    title = video_url.split("/")[-1]    # 取鏈接當(dāng)中的字段作為標(biāo)題    video_data = requests.get(video_url, verify=False).content    # 發(fā)送網(wǎng)絡(luò)請(qǐng)求    with open(f"video/{title}", mode="wb") as f:        f.write(video_data)    print(title, "爬取成功!!!")start_time = time.time()url = "https://www.520mmtv.com/hd/rewu.html"# 1. 向目標(biāo)網(wǎng)站發(fā)送請(qǐng)求html_data = get_html(url=url)# 2. 第一次解析數(shù)據(jù) 提取詳情頁鏈接url_list = parse_data_1(html_data=html_data)for info_url in url_list[:10]:    # 3. 向詳情頁發(fā)送請(qǐng)求    html_data_2 = get_html(url=info_url)    # 4. 第二次解析數(shù)據(jù) 提取視頻播放地址    video_url = parse_data_2(html_data=html_data_2)    # 5. 保存視頻    save(video_url=video_url)print("花費(fèi)時(shí)間：", time.time() - start_time)