頁面下載器(我的Java爬蟲之一)

wfc_666 發(fā)布于2019-08-15 12:27 / 2895人閱讀

摘要：這種方法打成的包如何運(yùn)行兩種方法將依賴通過全部指定，然后運(yùn)行，類全名類命名，此方法貌似不再支持頁面下載器前期準(zhǔn)備導(dǎo)入依賴下載器第一版此處可以自己寫個(gè)的解析方法第二版匿名內(nèi)部類版本匿名內(nèi)部類可以使用表達(dá)式來替代，寫法為第三版使用包中的

說點(diǎn)別的 maven打包 官方定制的打包方式

使用maven assembly plugin插件完成打包操作，插件配置在pom.xml文件的build標(biāo)簽中，格式如下。


    [...]
    
      
        
        maven-assembly-plugin
        3.1.0
        
          
            jar-with-dependencies

executions用于將目標(biāo)和maven的某個(gè)生命周期進(jìn)行綁定


  
    make-assembly 
    package 
    
      single

創(chuàng)建可執(zhí)行的jar包


   [...]
   
     
       maven-assembly-plugin
       3.1.0
       
         [...]
         
           
             org.sample.App
           
         
       
       [...]
     
     [...]

自定義打包方式

上文已提到使用官方定制的打包方式，使用標(biāo)簽即可；如果使用自定義的打包方式，使用標(biāo)簽。


  [...]
  
    [...]
    
      
        maven-assembly-plugin
        3.1.0
        
          
            src/assembly/src.xml
          
        
        [...]

src.xml的格式大致如下


    snapshot
    
        jar
    
    
        
            /lib

使用允許用戶通過文件或目錄的粒度來控制打包，往往配置一個(gè)bin目錄，里面存放可運(yùn)行的腳本。這種方法打成的包如何運(yùn)行？
兩種方法：

將依賴通過cp全部指定，然后運(yùn)行，java -cp lib/dependency1:lib/dependency2 類全名

java -Djava.ext.dirs=lib 類命名，此方法貌似java 9不再支持

頁面下載器 前期準(zhǔn)備

maven導(dǎo)入依賴


    org.apache.httpcomponents
    httpclient
    4.5.3


    org.apache.httpcomponents
    fluent-hc
    4.5.3

下載器第一版

import org.apache.http.Header;
import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.RequestBuilder;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;
import java.nio.charset.Charset;

public void testGet1() {
  CloseableHttpClient clients = HttpClients.createDefault();
  RequestBuilder builder = requestBuilder.get("http://www.qq.com");
  HttpGet httpGet = new HttpGet(builder.build().getURI());
  CloseableHttpResponse execute = null;
  try {
    execute = clients.execute(httpGet);
    HttpEntity entity = execute.getEntity();
    //此處可以自己寫個(gè)charset的解析方法
    String page = EntityUtils.toString(entity);
    System.out.println(page);
  } catch (Exception e) {
    e.printStackTrace();
  } finally {
    if (execute != null) {
      try {
        execute.close();
      } catch (IOException e) {
        e.printStackTrace();
      }
    }
  }
}

第二版

匿名內(nèi)部類版本

public void testGet2() {
  CloseableHttpClient clients = HttpClients.createDefault();
  RequestBuilder builder = RequestBuilder.get("http://www.qq.com");
  HttpGet httpGet = new HttpGet(builder.build().getURI());
  try {
    String page = clients.execute(httpGet, new ResponseHandler() {
      @Override
      public String handleResponse(HttpResponse HttpResponse) throws ClientProtocolException, IOException
      HttpEntity entity = httpResponse.getEntity();
      String s = EntityUtils.toString(entity);
      return s;
    });
    System.out.println(page);
  } catch (Exception e) {
    e.printStackTrace();
  }
}

匿名內(nèi)部類可以使用lambda表達(dá)式來替代，寫法為

String page = clients.execute(httpGet, (HttpResponse HttpResponse) -> {
    HttpEntity entity = HttpResponse.getEntity();
    String s = EntityUtils.toString(entity);
    return s;
  });

第三版

使用org.apache.http.client.fluent包中的api

public void testGet3() {
  Response response = Request.Get("http://www.qq.com").execute();
  String s = response.returnContent().asString(Charset.forName("gb2312"));
  System.out.println(s);
}