獲取SegmentFault某個(gè)標(biāo)簽下的一些信息

qujian 發(fā)布于2019-07-01 12:35 / 607人閱讀

摘要：前言目前還沒有開放，年的時(shí)候高陽大大說有計(jì)劃，雖然那會(huì)我還沒用用隨便寫了一個(gè)獲取某個(gè)標(biāo)簽下信息的代碼，沒什么技術(shù)含量，用來定時(shí)獲取目的是如果有問題可以解決就幫助解決一下，或者是廣告的話可以進(jìn)行舉報(bào)獲取主要獲取標(biāo)簽動(dòng)態(tài)下的就可以了，包含了技術(shù)

前言

目前SegmentFault還沒有開放API，17年的時(shí)候高陽大大說有計(jì)劃，雖然那會(huì)我還沒用SegmentFault

用PHP隨便寫了一個(gè)獲取某個(gè)標(biāo)簽下信息的代碼，沒什么技術(shù)含量，用來定時(shí)獲取

目的是如果有問題可以解決就幫助解決一下，或者是廣告的話可以進(jìn)行舉報(bào)

獲取URL

主要獲取標(biāo)簽動(dòng)態(tài)下的就可以了，包含了技術(shù)問答和專欄文章

標(biāo)簽動(dòng)態(tài) https://segmentfault.com/t/*

技術(shù)問答 https://segmentfault.com/t/*/questions

專欄文章 https://segmentfault.com/t/*/blogs

XPath節(jié)點(diǎn)

PHP使用XPath采集也是還可以的，也相對(duì)簡單

標(biāo)簽動(dòng)態(tài)

標(biāo)題 //h4/a/text()

鏈接 //h4/a/@href

技術(shù)問答

仔細(xì)點(diǎn)的話可以帶一個(gè)class屬性

標(biāo)題 //h2[@class="title"]/a/text()

鏈接 //h2[@class="title"]/a/@href

專欄文章

標(biāo)題 //h2/a/text()

鏈接 //h2/a/@href

效果截圖

使用

需要補(bǔ)全代碼中的相關(guān)信息，URL、XPath節(jié)點(diǎn)以及json文件路徑

可選擇使用 @Easy 的 PushBear 進(jìn)行一對(duì)多推送，需要補(bǔ)全key

crontab定時(shí)

crontab定時(shí)任務(wù)30分鐘一次，獲取第一頁的信息

*/30 * * * * php /www/wwwroot/tag.php >> /tmp/sf.log

PHP代碼

loadHTML($html);
// 使該HTML規(guī)范化
$dom->normalize();
// 用DOMXpath加載DOM，用于查詢
$xpath = new DOMXPath($dom);

// 獲取對(duì)應(yīng)的xpath數(shù)據(jù)
$title_hrefs = $xpath->query($title_xpath); // 標(biāo)題

$data = [];
for ($i = 0; $i < $title_hrefs->length; $i++) {
    $href = $title_hrefs->item($i);
    $title = $href->nodeValue;
    $data[$i]["title"] = $title;
}

// 獲取對(duì)應(yīng)的xpath數(shù)據(jù)
$url_hrefs = $xpath->query($url_xpath); // 鏈接
for ($i = 0; $i < $url_hrefs->length; $i++) {
    $href = $url_hrefs->item($i);
    $url = $href->nodeValue;
    $data[$i]["url"] = "https://segmentfault.com".$url;
}

$json = json_encode($data);

// 判斷文件是否存在
if (file_exists($json_path)) {
    // 存在
    $old = file_get_contents($json_path);
    // 文件不同
    if ($old != $json) {
        // 替換掉 寫新文件
        file_put_contents($json_path, $json);
        $oldInfo = json_decode($old, true);
        // 獲取差值
        $data = getDiffArrayByTitle($data, $oldInfo);
    } else {
        // 相同就不發(fā)了
        echo date("Y-m-d H:i:s", time()). "內(nèi)容相同".PHP_EOL;
          return;
    }
} else {
    // 不存在 寫文件
    file_put_contents($json_path, $json);
}

$str = "";
foreach ($data as $key => $item) {
    $num = $key + 1;
    $str .= "{$num}. [{$item["title"]}]({$item["url"]}) 

";
}

// 推送
if (!empty($key)) {
    echo sendByBear("***標(biāo)簽動(dòng)態(tài)", $str);
}

function getDiffArrayByTitle($arr1, $arr2, $pk="title"){
    $res = [];
    foreach($arr2 as $item) $tmpArr[$item[$pk]] = $item;
    foreach($arr1 as $v) if(! isset($tmpArr[$v[$pk]])) $res[] = $v;
    return $res;
}

function sendByBear($text, $desp = "", $key = "")
{
    $postData = http_build_query(
        array(
            "text" => $text,
            "desp" => $desp,
            "sendkey" => $key
        )
    );

    $opts = array("http" =>
        array(
            "method"  => "POST",
            "header"  => "Content-type: application/x-www-form-urlencoded",
            "content" => $postData
        )
    );

    $context = stream_context_create($opts);

    $result = file_get_contents("https://pushbear.ftqq.com/sub", false, $context);

    return $result;
}

結(jié)語

放個(gè)Github倉庫鏈接，如果本文有侵權(quán)思否官方可以刪除