

大学の研究で，様々なデータを集めるために  
JavaプログラムでWEB上にあるデータをスクレイピングしています．  
データアクセスは，複数台のフォワードプロキシサーバ(apache)を利用しています．

アクセスが一台のプロキシサーバに集中しないように，  
プロキシサーバをラウンドロビンで変えるようなプログラムを下記のように書きました．

sysoutで吐いたコマンドライン上の出力には，  
プロキシサーバへのアクセスがラウンドロビンで行われているように出ているのですが，  
プロキシサーバのログを確認すると，1台にアクセスが集中してしまっています．  
（20秒に1アクセスにすると分散できているようです．5秒以上になると集中してしまうようです）

HttpURLConnectionクラスまたはProxyクラスは，  
アクセスのたびに，プロキシサーバを変更することは不可能なのでしょうか？

もし，少しでも情報をお知りでしたら，ご助言頂けますと幸いです．  
どうぞよろしくお願いいたします．

[code]

    private DataInputStream dataAccess(String proxy_url, String page_url) throws Exception {
        URL url = new URL(page_url);//WEBページ
        String proxy_port = "80";
    
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxy_url, Integer.parseInt(proxy_port)));
        HttpURLConnection connection = (HttpURLConnection) url.openConnection(proxy);
        connection.setAllowUserInteraction(false);
        connection.setInstanceFollowRedirects(true);
        connection.setRequestMethod("GET");
        connection.addRequestProperty("Cookie", this.getCookie());
    
        connection.connect();
        System.out.println(proxy_url+":"+page_url);
    
        int httpStatusCode = connection.getResponseCode();
        if (httpStatusCode != HttpURLConnection.HTTP_OK) {
            System.err.println("File Not Found:" + urlStr);
            throw new Exception();
        }
    
        // 取得したデータをDataInputStreamで返す
        return new　DataInputStream(connection.getInputStream());;
    }
    
[/code]


CC BY-SA 3.0
2017-04-29T08:56:19.283
34375
2017-04-29T15:44:32.997
2017-04-29T12:35:12.890
76
22865
question
java url
WEBアクセスごとにプロキシの変更


以下のコードで`Proxy`の動作実験をしてみましたが、期待通り指定したプロキシホストに接続してくれました。

[code]

    import java.net.InetSocketAddress;
    import java.net.Proxy;
    import java.util.List;
    import java.util.ArrayList;
    import java.net.URL;
    import java.net.HttpURLConnection;
    
    public class Sample {
        private static List<Proxy> proxies = new ArrayList<Proxy>() {
            {
                add(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.1.1", 8080)));
                add(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.1.2", 8080)));
                add(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.1.3", 8080)));
                add(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.1.1", 8080)));
                add(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.1.2", 8080)));
                add(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.1.3", 8080)));
            }
        };
    
        public static void main(String... args)
        {
            try {
                URL url = new URL("https://www.example.com");
                for (Proxy proxy : proxies) {
                    HttpURLConnection conn = (HttpURLConnection)url.openConnection(proxy);
                    try {
                        /* プロキシホストに接続するだけ。
                         * (対象URLにリクエストは送信しない)
                         */
                        System.out.println("Proxy=" + proxy);
                        conn.connect();
                        System.out.println("done.");
                    }
                    catch (java.io.IOException e) {
                        e.printStackTrace();
                    }
                    finally {
                        conn.disconnect();
                    }
                }
            }
            catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
    
[/code]

  * OS: CentOS 6.4 (x86_64)
  * Java: 1.8.0_91
  * 備考: 上記コードではプロキシホストは`192.168.1.1`, `192.168.1.2`, `192.168.1.3`の3つとしてます。また、アクセスURLは`https://www.example.com`としています。(実験する際は書き換えてください)

`dataAccess`メソッドの`proxy_url`が期待通りのものか、  
また、`Proxy`が正しく生成できているか確認してみて下さい。  
(`Proxy#toString`でわかるかと思います)


CC BY-SA 3.0
2017-04-29T15:44:32.997
34379
2017-04-29T15:44:32.997
20098
34375
answer