Ebot 构建在NOSQL数据库之上的Web爬虫

jopen 11年前

Erlang Bot (Ebot)是一个开源的Web爬虫,构建在 Erlang, NOSQL数据库( Apache CouchDBRiak), RabbitMQ, Webmachine ( Mochiweb), RRDTOOL等之上。 使用NOSQL代替关系数据库,Ebot能够很轻松和 廉价地进行扩展。 Ebot是一个强壮、高可扩展、分布式和可定制的Web爬虫。

The Ebot crawler project is hosted at http://github.com/matteoredaelli/ebot