PerlRubyPythonとか生のUserAgentだとアクセス禁止になるサイトなんて腐るほどある
今どきクローラー作るならWebブラウザに偽装するのは当たり前