JSpider - 高度灵活的Java爬虫

jopen 11年前

JSpider是:

  • 一个高度可配置和和可定制Web爬虫
  • LGPL开源许可下开发
  • 100％纯Java实现
您可以使用它来：
  • 检查您网站的错误(内部服务器错误, ...)
  • 传出或内部链接检查
  • 分析你网站的结构(创建一个sitemap, ...)
  • 下载整修网站
  • 通过编写JSpider插件实现任何功能.

项目主页：http://www.open-open.com/lib/view/home/1350117763676