

クローラーでS2Robotを使っています。  
巡回先のロボット拒否設定を確認するために、  
S2RobotのUrlFilterを使用しています。  
<https://github.com/seasarorg/s2robot/blob/master/s2robot/src/main/java/org/seasar/robot/filter/impl/UrlFilterImpl.java>

巡回対象URLをチェックする(match())際、ロボット拒否判定(false)されてしまいます。  
ですが、対象ドメインのrobots.txtにはそのような記載はありません。

ログに出力したFilterは下記のような形になっていました。

[code]

    [urlPattern=^(.*:/+)([^/]*)(.*)$, includeFilteringPattern=null, excludeFilteringPattern=null, cachedIncludeList=[], cachedExcludeList=[], sessionId=20150324042508095, urlFilterService=org.seasar.robot.service.impl.UrlFilterServiceImpl@7241f1f1]]
    
[/code]

UrlFilterImplのmatch()内の、getIncludeUrlPatternList()等は下記です。  
<https://github.com/seasarorg/s2robot/blob/master/s2robot/src/main/java/org/seasar/robot/service/impl/UrlFilterServiceImpl.java>

↑  
※恥ずかしながら、dataHelperの中身が追えません。

これはいったい何が起きているのでしょうか？  
よろしくお願いいたします。


CC BY-SA 3.0
2015-03-24T05:08:20.297
8302
2015-03-24T05:08:20.297
8396
question
java spring seaser2
S2Robot / URLバリデーションのバグ？