PySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI

jopen 9年前

PySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器。在线示例:http://demo.pyspider.org/

  • Write script in python with powerful API
  • Powerful WebUI with script editor, task monitor, project manager and result viewer
  • MySQL, MongoDB, SQLite 作为后台数据库
  • Javascript 页面支持
  • Task priority, retry, periodical and recrawl by age or marks in index page (like update time)
  • Distributed architecture
PySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI


项目主页:http://www.open-open.com/lib/view/home/1416210955430