不过由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。 容错性。 在分布式数据集计算时通过checkpoi

语言记录，而是用更易看懂的 HTML 上传;且用户信息采用明文记录，网络爬虫可轻松抓取。 图注：用户信息采用明文记录，网络爬虫可轻松抓取 第二、速度慢。 系统将 JS 和 CSS 加载起来毫无意义，用户点击“预定按钮”，就会跳出了

scrapyrt——Scrapy realtime python下著名的爬虫框架Scrapy的扩展版本，以HTTP服务形式提供API调用接口以使用爬虫服务 《Machine learning for facial

Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。

Heritrix是一个开源，可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。

Crawler4j是一个开源的Java类库提供一个用于抓取Web页面的简单接口。可以利用它来构建一个多线程的Web爬虫。

NodeJS单线程、事件驱动的特性可以在单台机器上实现极大的吞吐量，非常适合写网络爬虫这种资源密集型的程序。

Methanol是一个可编写脚本，多用途的Web爬虫系统。拥有一个可扩展配置系统和速度优化架构设计。 项目主页： http://www.open-open.com/lib/view/home/1350028910181

ItSucks是一个java web spider（web机器人，爬虫）开源项目。支持通过下载模板和正则表达式来定义下载规则。提供一个swing GUI操作界面。

自然语言处理方向 的学者方便获取Aclweb.org上面与研究方向相关的论文. 本人初学Python和爬虫，不足之处还望谅解. 项目主页： http://www.open-open.com

用服务器（如Resin，Orion，Tomcat等）。其典型应用就把动态URL静态化，便于搜索引擎爬虫抓取你的动态网页。

, 用于HTML/XML/XHTML的非确认的SAX2解析。它可以在简单的Web代理、页面抓取器和爬虫程序中使用。它类似于Apache Xerces分析器。

Arale主要为个人使用而设计，而没有像其它爬虫一样是关注于页面索引。Arale能够下载整个web站点或来自web站点的某些资源。Arale还能够把动态页面映射成静态页面。

Lucene搜索引擎框架的用户提供一个纯Java的搜索解决方案。它包含能够为文件，数据库表格建立索引的方法和为Web站点建索引的爬虫。

Crawler是一个简单的Web爬虫。它让你不用编写枯燥，容易出错的代码，而只专注于所需要抓取网站的结构。此外它还非常易于使用。 CrawlerConfiguration cfg = new CrawlerConfiguration

可以减弱 Web 应用级别的 HTTP Flood 攻击，可以检测到 HTTP Flood 工具和大规模爬虫和扫描。 项目主页： http://www.open-open.com/lib/vie

并使用solr对商品建立索引，使用redis队列存储一个共享的url仓库；使用zookeeper对爬虫节点生命周期进行监视等。 项目地址： https://github

er Daemon，Gui Client和Web搜索引擎），这三部分组合起来将成为一个灵活和强大的爬虫和搜索引擎。其中Web搜索引擎部分采用PHP开发，并包含一个内容管理系统CMS用于维护搜索引擎。

Sphider是一个轻量级，采用PHP开发的Web 爬虫和搜索引擎，使用mysql来存储数据。可以利用它来为自己的网站添加搜索功能。Sphider非常小,易于安装和修改，已经有数千网站在使用它。 在线演示地址：

dbcrawler是一个轻量级数据库结构爬虫。它能够取得数据库的底层结构并返回POJO对象。可以利用其提供的统一API来取得各种不同的数据库系统的结构，而不用关心这些dbms之间的差异，当底层dbms