Web爬虫框架:Upton

jopen 11年前

Upton 是一个采用Ruby开发,用于简化web抓取的框架,包含了实用的调试模式。它提供了公共/重复的部分,所以你只需要编写网站特有的部分。

利用 Upton,你只需要一行代码就能够将一个复杂的网站导到CSV文件中。

Upton::Scraper.new("http://website.com/list_of_stories.html").      scrape_to_csv("output.csv", &Upton::Utils.list("#comments li a.commenter-name", :css))

项目主页:http://www.open-open.com/lib/view/home/1374587625793