国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專(zhuān)欄INFORMATION COLUMN

【php爬蟲(chóng)】百萬(wàn)級(jí)別知乎用戶(hù)數(shù)據(jù)爬取與分析

maxmin / 765人閱讀

摘要:本程序是抓取知乎的用戶(hù)數(shù)據(jù),要能訪(fǎng)問(wèn)用戶(hù)個(gè)人頁(yè)面,需要用戶(hù)登錄后的才能訪(fǎng)問(wèn)。經(jīng)過(guò)查閱資料得知,是因?yàn)橹鯇?duì)圖片做了防盜鏈處理。最終的結(jié)果是,用了一個(gè)周末就抓取了萬(wàn)的用戶(hù)數(shù)據(jù)。

代碼托管地址:https://github.com/hoohack/zhihuSpider

這次抓取了110萬(wàn)的用戶(hù)數(shù)據(jù),數(shù)據(jù)分析結(jié)果如下:

開(kāi)發(fā)前的準(zhǔn)備

安裝Linux系統(tǒng)(Ubuntu14.04),在VMWare虛擬機(jī)下安裝一個(gè)Ubuntu;

安裝PHP5.6或以上版本;

安裝MySQL5.5或以上版本;

安裝curl、pcntl擴(kuò)展。

使用PHP的curl擴(kuò)展抓取頁(yè)面數(shù)據(jù)

PHP的curl擴(kuò)展是PHP支持的允許你與各種服務(wù)器使用各種類(lèi)型的協(xié)議進(jìn)行連接和通信的庫(kù)。

本程序是抓取知乎的用戶(hù)數(shù)據(jù),要能訪(fǎng)問(wèn)用戶(hù)個(gè)人頁(yè)面,需要用戶(hù)登錄后的才能訪(fǎng)問(wèn)。當(dāng)我們?cè)跒g覽器的頁(yè)面中點(diǎn)擊一個(gè)用戶(hù)頭像鏈接進(jìn)入用戶(hù)個(gè)人中心頁(yè)面的時(shí)候,之所以能夠看到用戶(hù)的信息,是因?yàn)樵邳c(diǎn)擊鏈接的時(shí)候,瀏覽器幫你將本地的cookie帶上一齊提交到新的頁(yè)面,所以你就能進(jìn)入到用戶(hù)的個(gè)人中心頁(yè)面。因此實(shí)現(xiàn)訪(fǎng)問(wèn)個(gè)人頁(yè)面之前需要先獲得用戶(hù)的cookie信息,然后在每次curl請(qǐng)求的時(shí)候帶上cookie信息。在獲取cookie信息方面,我是用了自己的cookie,在頁(yè)面中可以看到自己的cookie信息:

一個(gè)個(gè)地復(fù)制,以"__utma=?;__utmb=?;"這樣的形式組成一個(gè)cookie字符串。接下來(lái)就可以使用該cookie字符串來(lái)發(fā)送請(qǐng)求。

初始的示例:

$url = "http://www.zhihu.com/people/mora-hu/about"; //此處mora-hu代表用戶(hù)ID
$ch = curl_init($url); //初始化會(huì)話(huà)
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_COOKIE, $this->config_arr["user_cookie"]);  //設(shè)置請(qǐng)求COOKIE
curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER["HTTP_USER_AGENT"]);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  //將curl_exec()獲取的信息以文件流的形式返回,而不是直接輸出。
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);  
$result = curl_exec($ch);
return $result;  //抓取的結(jié)果

運(yùn)行上面的代碼可以獲得mora-hu用戶(hù)的個(gè)人中心頁(yè)面。利用該結(jié)果再使用正則表達(dá)式對(duì)頁(yè)面進(jìn)行處理,就能獲取到姓名,性別等所需要抓取的信息。

圖片防盜鏈

在對(duì)返回結(jié)果進(jìn)行正則處理后輸出個(gè)人信息的時(shí)候,發(fā)現(xiàn)在頁(yè)面中輸出用戶(hù)頭像時(shí)無(wú)法打開(kāi)。經(jīng)過(guò)查閱資料得知,是因?yàn)橹鯇?duì)圖片做了防盜鏈處理。解決方案就是請(qǐng)求圖片的時(shí)候在請(qǐng)求頭里偽造一個(gè)referer。

在使用正則表達(dá)式獲取到圖片的鏈接之后,再發(fā)一次請(qǐng)求,這時(shí)候帶上圖片請(qǐng)求的來(lái)源,說(shuō)明該請(qǐng)求來(lái)自知乎網(wǎng)站的轉(zhuǎn)發(fā)。具體例子如下:

function getImg($url, $u_id)
{
    if (file_exists("./images/" . $u_id . ".jpg"))
    {
        return "images/$u_id" . ".jpg";
    }
    if (empty($url))
    {
        return "";
    }
    $context_options = array(  
        "http" =>  
        array(
            "header" => "Referer:http://www.zhihu.com"http://帶上referer參數(shù) 
      )
  );
      
    $context = stream_context_create($context_options);  
    $img = file_get_contents("http:" . $url, FALSE, $context);
    file_put_contents("./images/" . $u_id . ".jpg", $img);
    return "images/$u_id" . ".jpg";
}
爬取更多用戶(hù)

抓取了自己的個(gè)人信息后,就需要再訪(fǎng)問(wèn)用戶(hù)的關(guān)注者和關(guān)注了的用戶(hù)列表獲取更多的用戶(hù)信息。然后一層一層地訪(fǎng)問(wèn)??梢钥吹?,在個(gè)人中心頁(yè)面里,有兩個(gè)鏈接如下:

這里有兩個(gè)鏈接,一個(gè)是關(guān)注了,另一個(gè)是關(guān)注者,以“關(guān)注了”的鏈接為例。用正則匹配去匹配到相應(yīng)的鏈接,得到url之后用curl帶上cookie再發(fā)一次請(qǐng)求。抓取到用戶(hù)關(guān)注了的用于列表頁(yè)之后,可以得到下面的頁(yè)面:

分析頁(yè)面的html結(jié)構(gòu),因?yàn)橹灰玫接脩?hù)的信息,所以只需要框住的這一塊的div內(nèi)容,用戶(hù)名都在這里面??梢钥吹剑脩?hù)關(guān)注了的頁(yè)面的url是:

不同的用戶(hù)的這個(gè)url幾乎是一樣的,不同的地方就在于用戶(hù)名那里。用正則匹配拿到用戶(hù)名列表,一個(gè)一個(gè)地拼url,然后再逐個(gè)發(fā)請(qǐng)求(當(dāng)然,一個(gè)一個(gè)是比較慢的,下面有解決方案,這個(gè)稍后會(huì)說(shuō)到)。進(jìn)入到新用戶(hù)的頁(yè)面之后,再重復(fù)上面的步驟,就這樣不斷循環(huán),直到達(dá)到你所要的數(shù)據(jù)量。

Linux統(tǒng)計(jì)文件數(shù)量

腳本跑了一段時(shí)間后,需要看看究竟獲取了多少圖片,當(dāng)數(shù)據(jù)量比較大的時(shí)候,打開(kāi)文件夾查看圖片數(shù)量就有點(diǎn)慢。腳本是在Linux環(huán)境下運(yùn)行的,因此可以使用Linux的命令來(lái)統(tǒng)計(jì)文件數(shù)量:

ls -l | grep "^-" | wc -l

其中, ls -l 是長(zhǎng)列表輸出該目錄下的文件信息(這里的文件可以是目錄、鏈接、設(shè)備文件等); grep "^-" 過(guò)濾長(zhǎng)列表輸出信息, "^-" 只保留一般文件,如果只保留目錄是 "^d" ; wc -l 是統(tǒng)計(jì)輸出信息的行數(shù)。下面是一個(gè)運(yùn)行示例:

插入MySQL時(shí)重復(fù)數(shù)據(jù)的處理

程序運(yùn)行了一段時(shí)間后,發(fā)現(xiàn)有很多用戶(hù)的數(shù)據(jù)是重復(fù)的,因此需要在插入重復(fù)用戶(hù)數(shù)據(jù)的時(shí)候做處理。處理方案如下:

1)插入數(shù)據(jù)庫(kù)之前檢查數(shù)據(jù)是否已經(jīng)存在數(shù)據(jù)庫(kù);

2)添加唯一索引,插入時(shí)使用 INSERT INTO ... ON DUPLICATE KEY UPDATE...

3)添加唯一索引,插入時(shí)使用 INSERT INGNORE INTO...

4)添加唯一索引,插入時(shí)使用 REPLACE INTO...

第一種方案是最簡(jiǎn)單但也是效率最差的方案,因此不采取。二和四方案的執(zhí)行結(jié)果是一樣的,不同的是,在遇到相同的數(shù)據(jù)時(shí), INSERT INTO ... ON DUPLICATE KEY UPDATE 是直接更新的,而 REPLACE INTO 是先刪除舊的數(shù)據(jù)然后插入新的,在這個(gè)過(guò)程中,還需要重新維護(hù)索引,所以速度慢。所以在二和四兩者間選擇了第二種方案。而第三種方案, INSERT INGNORE 會(huì)忽略執(zhí)行INSERT語(yǔ)句出現(xiàn)的錯(cuò)誤,不會(huì)忽略語(yǔ)法問(wèn)題,但是忽略主鍵存在的情況。這樣一來(lái),使用 INSERT INGNORE 就更好了。最終,考慮到要在數(shù)據(jù)庫(kù)中記錄重復(fù)數(shù)據(jù)的條數(shù),因此在程序中采用了第二種方案。

使用curl_multi實(shí)現(xiàn)多線(xiàn)程抓取頁(yè)面

剛開(kāi)始單進(jìn)程而且單個(gè)curl去抓取數(shù)據(jù),速度很慢,掛機(jī)爬了一個(gè)晚上只能抓到2W的數(shù)據(jù),于是便想到能不能在進(jìn)入新的用戶(hù)頁(yè)面發(fā)curl請(qǐng)求的時(shí)候一次性請(qǐng)求多個(gè)用戶(hù),后來(lái)發(fā)現(xiàn)了curl_multi這個(gè)好東西。curl_multi這類(lèi)函數(shù)可以實(shí)現(xiàn)同時(shí)請(qǐng)求多個(gè)url,而不是一個(gè)個(gè)請(qǐng)求,這類(lèi)似于linux系統(tǒng)中一個(gè)進(jìn)程開(kāi)多條線(xiàn)程執(zhí)行的功能。下面是使用curl_multi實(shí)現(xiàn)多線(xiàn)程爬蟲(chóng)的示例:

    $mh = curl_multi_init(); //返回一個(gè)新cURL批處理句柄
    for ($i = 0; $i < $max_size; $i++)
    {
        $ch = curl_init();  //初始化單個(gè)cURL會(huì)話(huà)
        curl_setopt($ch, CURLOPT_HEADER, 0);
        curl_setopt($ch, CURLOPT_URL, "http://www.zhihu.com/people/" . $user_list[$i] . "/about");
        curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie);
        curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.130 Safari/537.36");
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
        $requestMap[$i] = $ch;
        curl_multi_add_handle($mh, $ch);  //向curl批處理會(huì)話(huà)中添加多帶帶的curl句柄
    }

    $user_arr = array();
    do {
                    //運(yùn)行當(dāng)前 cURL 句柄的子連接
        while (($cme = curl_multi_exec($mh, $active)) == CURLM_CALL_MULTI_PERFORM);
        
        if ($cme != CURLM_OK) {break;}
                    //獲取當(dāng)前解析的cURL的相關(guān)傳輸信息
        while ($done = curl_multi_info_read($mh))
        {
            $info = curl_getinfo($done["handle"]);
            $tmp_result = curl_multi_getcontent($done["handle"]);
            $error = curl_error($done["handle"]);

            $user_arr[] = array_values(getUserInfo($tmp_result));

            //保證同時(shí)有$max_size個(gè)請(qǐng)求在處理
            if ($i < sizeof($user_list) && isset($user_list[$i]) && $i < count($user_list))
            {
                $ch = curl_init();
                curl_setopt($ch, CURLOPT_HEADER, 0);
                curl_setopt($ch, CURLOPT_URL, "http://www.zhihu.com/people/" . $user_list[$i] . "/about");
                curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie);
                curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.130 Safari/537.36");
                curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
                curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
                $requestMap[$i] = $ch;
                curl_multi_add_handle($mh, $ch);

                $i++;
            }

            curl_multi_remove_handle($mh, $done["handle"]);
        }

        if ($active)
            curl_multi_select($mh, 10);
    } while ($active);

    curl_multi_close($mh);
    return $user_arr;
HTTP 429 Too Many Requests

使用curl_multi函數(shù)可以同時(shí)發(fā)多個(gè)請(qǐng)求,但是在執(zhí)行過(guò)程中使同時(shí)發(fā)200個(gè)請(qǐng)求的時(shí)候,發(fā)現(xiàn)很多請(qǐng)求無(wú)法返回了,即發(fā)現(xiàn)了丟包的情況。進(jìn)一步分析,使用 curl_getinfo 函數(shù)打印每個(gè)請(qǐng)求句柄信息,該函數(shù)返回一個(gè)包含HTTP response信息的關(guān)聯(lián)數(shù)組,其中有一個(gè)字段是http_code,表示請(qǐng)求返回的HTTP狀態(tài)碼??吹接泻芏鄠€(gè)請(qǐng)求的http_code都是429,這個(gè)返回碼的意思是發(fā)送太多請(qǐng)求了。我猜是知乎做了防爬蟲(chóng)的防護(hù),于是我就拿其他的網(wǎng)站來(lái)做測(cè)試,發(fā)現(xiàn)一次性發(fā)200個(gè)請(qǐng)求時(shí)沒(méi)問(wèn)題的,證明了我的猜測(cè),知乎在這方面做了防護(hù),即一次性的請(qǐng)求數(shù)量是有限制的。于是我不斷地減少請(qǐng)求數(shù)量,發(fā)現(xiàn)在5的時(shí)候就沒(méi)有丟包情況了。說(shuō)明在這個(gè)程序里一次性最多只能發(fā)5個(gè)請(qǐng)求,雖然不多,但這也是一次小提升了。

使用Redis保存已經(jīng)訪(fǎng)問(wèn)過(guò)的用戶(hù)

抓取用戶(hù)的過(guò)程中,發(fā)現(xiàn)有些用戶(hù)是已經(jīng)訪(fǎng)問(wèn)過(guò)的,而且他的關(guān)注者和關(guān)注了的用戶(hù)都已經(jīng)獲取過(guò)了,雖然在數(shù)據(jù)庫(kù)的層面做了重復(fù)數(shù)據(jù)的處理,但是程序還是會(huì)使用curl發(fā)請(qǐng)求,這樣重復(fù)的發(fā)送請(qǐng)求就有很多重復(fù)的網(wǎng)絡(luò)開(kāi)銷(xiāo)。還有一個(gè)就是待抓取的用戶(hù)需要暫時(shí)保存在一個(gè)地方以便下一次執(zhí)行,剛開(kāi)始是放到數(shù)組里面,后來(lái)發(fā)現(xiàn)要在程序里添加多進(jìn)程,在多進(jìn)程編程里,子進(jìn)程會(huì)共享程序代碼、函數(shù)庫(kù),但是進(jìn)程使用的變量與其他進(jìn)程所使用的截然不同。不同進(jìn)程之間的變量是分離的,不能被其他進(jìn)程讀取,所以是不能使用數(shù)組的。因此就想到了使用Redis緩存來(lái)保存已經(jīng)處理好的用戶(hù)以及待抓取的用戶(hù)。這樣每次執(zhí)行完的時(shí)候都把用戶(hù)push到一個(gè)already_request_queue隊(duì)列中,把待抓取的用戶(hù)(即每個(gè)用戶(hù)的關(guān)注者和關(guān)注了的用戶(hù)列表)push到request_queue里面,然后每次執(zhí)行前都從request_queue里pop一個(gè)用戶(hù),然后判斷是否在already_request_queue里面,如果在,則進(jìn)行下一個(gè),否則就繼續(xù)執(zhí)行。

在PHP中使用redis示例:

connect("127.0.0.1", "6379");
    $redis->set("tmp", "value");
    if ($redis->exists("tmp"))
    {
        echo $redis->get("tmp") . "
";
    }
使用PHP的pcntl擴(kuò)展實(shí)現(xiàn)多進(jìn)程

改用了curl_multi函數(shù)實(shí)現(xiàn)多線(xiàn)程抓取用戶(hù)信息之后,程序運(yùn)行了一個(gè)晚上,最終得到的數(shù)據(jù)有10W。還不能達(dá)到自己的理想目標(biāo),于是便繼續(xù)優(yōu)化,后來(lái)發(fā)現(xiàn)php里面有一個(gè)pcntl擴(kuò)展可以實(shí)現(xiàn)多進(jìn)程編程。下面是多編程編程的示例:

//PHP多進(jìn)程demo
//fork10個(gè)進(jìn)程
for ($i = 0; $i < 10; $i++) {
    $pid = pcntl_fork();
    if ($pid == -1) {
        echo "Could not fork!
";
        exit(1);
    }
    if (!$pid) {
        echo "child process $i running
";
        //子進(jìn)程執(zhí)行完畢之后就退出,以免繼續(xù)fork出新的子進(jìn)程
        exit($i);
    }
}

//等待子進(jìn)程執(zhí)行完畢,避免出現(xiàn)僵尸進(jìn)程
while (pcntl_waitpid(0, $status) != -1) {
    $status = pcntl_wexitstatus($status);
    echo "Child $status completed
";
}
在Linux下查看系統(tǒng)的cpu信息

實(shí)現(xiàn)了多進(jìn)程編程之后,就想著多開(kāi)幾條進(jìn)程不斷地抓取用戶(hù)的數(shù)據(jù),后來(lái)開(kāi)了8調(diào)進(jìn)程跑了一個(gè)晚上后發(fā)現(xiàn)只能拿到20W的數(shù)據(jù),沒(méi)有多大的提升。于是查閱資料發(fā)現(xiàn),根據(jù)系統(tǒng)優(yōu)化的CPU性能調(diào)優(yōu),程序的最大進(jìn)程數(shù)不能隨便給的,要根據(jù)CPU的核數(shù)和來(lái)給,最大進(jìn)程數(shù)最好是cpu核數(shù)的2倍。因此需要查看cpu的信息來(lái)看看cpu的核數(shù)。在Linux下查看cpu的信息的命令:

cat /proc/cpuinfo

結(jié)果如下:

其中,model name表示cpu類(lèi)型信息,cpu cores表示cpu核數(shù)。這里的核數(shù)是1,因?yàn)槭窃谔摂M機(jī)下運(yùn)行,分配到的cpu核數(shù)比較少,因此只能開(kāi)2條進(jìn)程。最終的結(jié)果是,用了一個(gè)周末就抓取了110萬(wàn)的用戶(hù)數(shù)據(jù)。

多進(jìn)程編程中Redis和MySQL連接問(wèn)題

在多進(jìn)程條件下,程序運(yùn)行了一段時(shí)間后,發(fā)現(xiàn)數(shù)據(jù)不能插入到數(shù)據(jù)庫(kù),會(huì)報(bào)mysql too many connections的錯(cuò)誤,redis也是如此。

下面這段代碼會(huì)執(zhí)行失?。?/p>


根本原因是在各個(gè)子進(jìn)程創(chuàng)建時(shí),就已經(jīng)繼承了父進(jìn)程一份完全一樣的拷貝。對(duì)象可以拷貝,但是已創(chuàng)建的連接不能被拷貝成多個(gè),由此產(chǎn)生的結(jié)果,就是各個(gè)進(jìn)程都使用同一個(gè)redis連接,各干各的事,最終產(chǎn)生莫名其妙的沖突。

解決方法:

程序不能完全保證在fork進(jìn)程之前,父進(jìn)程不會(huì)創(chuàng)建redis連接實(shí)例。因此,要解決這個(gè)問(wèn)題只能靠子進(jìn)程本身了。試想一下,如果在子進(jìn)程中獲取的實(shí)例只與當(dāng)前進(jìn)程相關(guān),那么這個(gè)問(wèn)題就不存在了。于是解決方案就是稍微改造一下redis類(lèi)實(shí)例化的靜態(tài)方式,與當(dāng)前進(jìn)程ID綁定起來(lái)。

改造后的代碼如下:


PHP統(tǒng)計(jì)腳本執(zhí)行時(shí)間

因?yàn)橄胫烂總€(gè)進(jìn)程花費(fèi)的時(shí)間是多少,因此寫(xiě)個(gè)函數(shù)統(tǒng)計(jì)腳本執(zhí)行時(shí)間:

function microtime_float()
{
     list($u_sec, $sec) = explode(" ", microtime());
     return (floatval($u_sec) + floatval($sec));
}

$start_time = microtime_float();

//do something
usleep(100);

$end_time = microtime_float();
$total_time = $end_time - $start_time;

$time_cost = sprintf("%.10f", $total_time);

echo "program cost total " . $time_cost . "s
";

若文中有不正確的地方,望各位指出以便改正。

文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址:http://m.specialneedsforspecialkids.com/yun/21129.html

相關(guān)文章

  • 爬蟲(chóng) - 收藏集 - 掘金

    摘要:使用的爬蟲(chóng)知乎用戶(hù)數(shù)據(jù)爬取和分析閱讀掘金背景說(shuō)明小拽利用的寫(xiě)的爬蟲(chóng),實(shí)驗(yàn)性的爬取了知乎用戶(hù)的基本信息同時(shí),針對(duì)爬取的數(shù)據(jù),進(jìn)行了簡(jiǎn)單的分析呈現(xiàn)。 Python 知乎爬蟲(chóng)(最新) - 后端 - 掘金 環(huán)境:python3.x外部依賴(lài)包:requestsgithub項(xiàng)目地址 主要的問(wèn)題:模擬登陸: 知乎現(xiàn)在改用https請(qǐng)求了,數(shù)據(jù)加密,但是問(wèn)題不大,重要的是網(wǎng)頁(yè)數(shù)據(jù)改動(dòng)了,而且在請(qǐng)求時(shí)后...

    zzbo 評(píng)論0 收藏0
  • 區(qū)塊鏈招聘信息取與分析

    摘要:最近在研究區(qū)塊鏈,閑來(lái)無(wú)事抓取了拉勾網(wǎng)上條區(qū)塊鏈相關(guān)的招聘信息。拉勾網(wǎng)的反爬蟲(chóng)做的還是比較好的,畢竟自己也知道這種做招聘信息聚合的網(wǎng)站很容易被爬,而且比起妹子圖這種網(wǎng)站,開(kāi)發(fā)的技術(shù)水平應(yīng)該高不少。 最近在研究區(qū)塊鏈,閑來(lái)無(wú)事抓取了拉勾網(wǎng)上450條區(qū)塊鏈相關(guān)的招聘信息。過(guò)程及結(jié)果如下。 拉勾網(wǎng)爬取 首先是從拉勾網(wǎng)爬取數(shù)據(jù),用的requests庫(kù)。拉勾網(wǎng)的反爬蟲(chóng)做的還是比較好的,畢竟自己也...

    kelvinlee 評(píng)論0 收藏0
  • php爬蟲(chóng)知乎用戶(hù)數(shù)據(jù)爬取分析

    摘要:背景說(shuō)明小拽利用的寫(xiě)的爬蟲(chóng),實(shí)驗(yàn)性的爬取了知乎用戶(hù)的基本信息同時(shí),針對(duì)爬取的數(shù)據(jù),進(jìn)行了簡(jiǎn)單的分析呈現(xiàn)。本程序抓取的是知乎對(duì)外提供用戶(hù)訪(fǎng)問(wèn)的個(gè)人信息頁(yè)面抓取過(guò)程需要攜帶用戶(hù)才能獲取頁(yè)面。 背景說(shuō)明:小拽利用php的curl寫(xiě)的爬蟲(chóng),實(shí)驗(yàn)性的爬取了知乎5w用戶(hù)的基本信息;同時(shí),針對(duì)爬取的數(shù)據(jù),進(jìn)行了簡(jiǎn)單的分析呈現(xiàn)。demo 地址 php的spider代碼和用戶(hù)dashboard的展現(xiàn)代碼...

    Jioby 評(píng)論0 收藏0
  • php爬蟲(chóng)知乎用戶(hù)數(shù)據(jù)爬取分析

    摘要:背景說(shuō)明小拽利用的寫(xiě)的爬蟲(chóng),實(shí)驗(yàn)性的爬取了知乎用戶(hù)的基本信息同時(shí),針對(duì)爬取的數(shù)據(jù),進(jìn)行了簡(jiǎn)單的分析呈現(xiàn)。本程序抓取的是知乎對(duì)外提供用戶(hù)訪(fǎng)問(wèn)的個(gè)人信息頁(yè)面抓取過(guò)程需要攜帶用戶(hù)才能獲取頁(yè)面。 背景說(shuō)明:小拽利用php的curl寫(xiě)的爬蟲(chóng),實(shí)驗(yàn)性的爬取了知乎5w用戶(hù)的基本信息;同時(shí),針對(duì)爬取的數(shù)據(jù),進(jìn)行了簡(jiǎn)單的分析呈現(xiàn)。demo 地址 php的spider代碼和用戶(hù)dashboard的展現(xiàn)代碼...

    honhon 評(píng)論0 收藏0
  • php爬蟲(chóng)知乎用戶(hù)數(shù)據(jù)爬取分析

    摘要:背景說(shuō)明小拽利用的寫(xiě)的爬蟲(chóng),實(shí)驗(yàn)性的爬取了知乎用戶(hù)的基本信息同時(shí),針對(duì)爬取的數(shù)據(jù),進(jìn)行了簡(jiǎn)單的分析呈現(xiàn)。本程序抓取的是知乎對(duì)外提供用戶(hù)訪(fǎng)問(wèn)的個(gè)人信息頁(yè)面抓取過(guò)程需要攜帶用戶(hù)才能獲取頁(yè)面。 背景說(shuō)明:小拽利用php的curl寫(xiě)的爬蟲(chóng),實(shí)驗(yàn)性的爬取了知乎5w用戶(hù)的基本信息;同時(shí),針對(duì)爬取的數(shù)據(jù),進(jìn)行了簡(jiǎn)單的分析呈現(xiàn)。demo 地址 php的spider代碼和用戶(hù)dashboard的展現(xiàn)代碼...

    saucxs 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<