php curl抓取墻外圖片及sftp上傳【填坑指南】

ralap 發(fā)布于2019-06-28 18:27 / 683人閱讀

摘要：背景最近有需求下載頭像到本地，以文件形式上傳到第三方，遇坑就填第一版將獲取的信息以字符串返回，而不是直接輸出因為要寫文件啟用時會將頭文件的信息作為數(shù)據(jù)流輸出適合調(diào)試配置手冊文檔地址配置項需要什么翻著找找遇到幾個問題部分圖片所在主站防盜鏈機(jī)制

背景

最近有需求下載頭像到本地，以文件形式上傳到第三方，遇坑就填

curl 第一版

$ch = curl_init();
curl_setopt_array($ch, [
    CURLOPT_RETURNTRANSFER => true, // TRUE 將curl_exec()獲取的信息以字符串返回，而不是直接輸出（因為要寫文件）
    CURLOPT_HEADER         => false, // 啟用時會將頭文件的信息作為數(shù)據(jù)流輸出（適合調(diào)試）
    CURLOPT_URL            => "url",
]);

$data = curl_exec($ch);
curl_close($ch);

curl_setopt配置手冊(文檔地址),配置項需要什么翻著找找

遇到幾個問題：

部分圖片所在主站防盜鏈機(jī)制，header頭部需要加refer

部分圖片地址是facebook,要配代理,并且圖片會重定向到其他圖片服務(wù)器上

掛代理加超時，有時不定時拿不到，加重試機(jī)制

因此解決：

配置項加CURLOPT_REFERER => "xx地址"

配置項加

CURLOPT_FOLLOWLOCATION  => true, // TRUE 時將會根據(jù)服務(wù)器返回 HTTP 頭中的 "Location: " 重定向
CURLOPT_PROXY           => "代理地址",
CURLOPT_PROXYPORT       => "代理端口",
CURLOPT_PROXYTYPE       => CURLPROXY_SOCKS5, // 可以是 CURLPROXY_HTTP (默認(rèn)值) CURLPROXY_SOCKS4、 CURLPROXY_SOCKS5、 CURLPROXY_SOCKS4A 或 CURLPROXY_SOCKS5_HOSTNAME

隨便加個循環(huán)，比如while

第二版

$curl_opts = [
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_HEADER         => false,
    CURLOPT_FOLLOWLOCATION => true,
    CURLOPT_URL            => "圖片地址",
    CURLOPT_REFERER        => "防盜鏈主站地址",
    CURLOPT_TIMEOUT        => 20,
];

foreach (["fbcdn", "facebook"] as $domain) {
    if (stripos("圖片地址", $domain) !== false) {
        $curl_opts += [
            CURLOPT_PROXY     => "代理地址",
            CURLOPT_PROXYPORT => "代理端口",
            CURLOPT_PROXYTYPE => CURLPROXY_SOCKS5,
        ];

        break;
    }
}

$retry_time = 2;
while ($retry_time > 0) {
    $ch = curl_init();
    curl_setopt_array($ch, $curl_opts);

    try {
        $data = curl_exec($ch); //data即為文件流
        curl_close($ch);

        break;
    } catch (Exception $e) {
        // 可進(jìn)行其他異常處理
        $retry_time--;
    }
}

進(jìn)行curl_setopt配置時，注意參數(shù)有版本限制，低版過低本不支持，使用curl_version()確認(rèn)當(dāng)前環(huán)境版本

sftp

使用之前shell確認(rèn)是已安裝ssh2擴(kuò)展，php -m | grep ssh2

$sftp_connection = ssh2_connect("地址", "端口");

// 如果是公鑰認(rèn)證，ssh2_auth_pubkey_file()
ssh2_auth_password($sftp_connection, "用戶名","密碼");

$sftp = ssh2_sftp($sftp_connection);

$remote_uri = sprintf("ssh2.sftp://%s/write/%s", (int) $sftp, "遠(yuǎn)程文件名"); // 強(qiáng)轉(zhuǎn)資源句柄
file_put_contents($remote_uri, file_get_contents("本地文件地址")); // 上傳寫入遠(yuǎn)程

大坑注意
這里ssh2_sftp獲取到的資源句柄使用時需要強(qiáng)轉(zhuǎn)int,官方坑人示例