Java爬蟲中添加代理IP的方法

1. 使用 HttpClient 庫

在Java中，您可以使用 HttpClient 庫來發(fā)送HTTP請求并添加代理IP。首先，確保您已經導入 HttpClient 庫到您的項目中。

import org.apache.http.HttpHost;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

2. 創(chuàng)建代理IP對象

創(chuàng)建代理IP對象并設置代理IP地址和端口號。

HttpHost proxy = new HttpHost("代理IP地址", 代理端口號);

3. 設置代理IP配置

使用 RequestConfig 對象設置代理IP配置。

RequestConfig config = RequestConfig.custom()
    .setProxy(proxy)
    .build();

4. 創(chuàng)建 HttpClient 對象

創(chuàng)建 CloseableHttpClient 對象，并將代理IP配置添加到請求中。

CloseableHttpClient httpClient = HttpClients.custom()
    .setDefaultRequestConfig(config)
    .build();

5. 發(fā)送帶代理IP的請求

使用創(chuàng)建的 HttpClient 對象發(fā)送帶有代理IP的請求。

HttpGet request = new HttpGet("目標URL");
CloseableHttpResponse response = httpClient.execute(request);

String responseBody = EntityUtils.toString(response.getEntity());
System.out.println(responseBody);

httpClient.close();

通過以上步驟，您可以在Java爬蟲程序中成功添加代理IP，并發(fā)送帶有代理IP的HTTP請求，實現(xiàn)對目標網站數據的爬取。