Avro（读音类似于[ævrə]）是Hadoop的一个子项目，由Hadoop的 创始人Doug Cutting（也是Lucene，Nutch等项目的创始人）牵头开发。Avro是一个数据序列化系统，设计用于支持大 批量数据交换的应

的垂直搜索、以及检索个人文档以及自己关注的网站信息的桌面搜索等应用领域。它改造自Lucene，Hadoop和Nutch系统，是纯Java的搜索平台软件，可以运行于Windows及Linux等平台，具备基本的抓取、索引和检索功能。

3万美元。 不过，他们相信这是一个有价值的目标，因为这会开放并最终使搜索引擎算法普及化。 Nutch项目开始于2002年，一个可工作的抓取工具和搜索系统很快浮出水面。但他们意识到，他们的架构将无法扩展到拥有数十亿网页的网络。在

3万美元。 不过，他们相信这是一个有价值的目标，因为这会开放并最终使搜索引擎算法普及化。 Nutch项目开始于2002年，一个可工作的抓取工具和搜索系 统很快浮出水面。但他们意识到，他们的架构将无法扩展到拥有数十亿网页的网络。在

美元。 不过，他们相信这是一个有价值的目标，因为这会开放并最终使搜索引擎算法普及化。 Nutch项目开始于2002年，一个可工作的抓取工具和搜索系统很快浮出水面。但他们意识到，他们的架构将无法扩展到拥有数十亿网页的网络。在

Lucence简介基于 Java 的全文信息检索工具包 Lucene 目前是 Apache Jakarta 家族中的一个开源项目，下载http://lucene.apache.org/ 基于Java编写，并有

Lucence简介基于 Java 的全文信息检索工具包 Lucene 目前是 Apache Jakarta 家族中的一个开源项目，下载http://lucene.apache.org/ 基于Java编写，并有

垂直搜索、以及检索个人文档以及自己关注的网站信 息的桌面搜索等应用领域。它改造自Lucene，Hadoop和Nutch系统，是纯Java的搜索平台软件，可以运行于Windows及Linux等平 台，具

Hadoop 是 Apache 的顶级开源项目，由前雅虎开发者 Doug Cutting（也是 Nutch 和 Lucene 的创始人）开发的分布式计算平台，是一个能够对大量数据进行分布式处理的框架。用户可以在

他也是Apache Lucene这一被广泛使用的文本检索库的创造者. Hadoop的起源与Apache Nutch有关, Apache Nutch是一个开源的web搜索引擎 , 本身也是Lucene项目的一部分

优点就是它的插入和查询时间都是常数，另外它查询元素却不保存元素本身，具有良好的安全性。 搜索引擎 一、Nutch 简介： Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。

常慢，不灵活且成本昂贵。 Hadoop的发展历史 2000年，Doug加入了Apache Lucene项目，第一次尝试开源项目开发工作。该方法对他来说是一个启迪。不仅仅可以与开发人员紧密合作，而且

Avro（读音类似于[ævrə]）是Hadoop的一个子项目，由Hadoop的 创始人Doug Cutting（也是Lucene，Nutch等项目的创始人）牵头开发。Avro是一个数据序列化系统，设计用于支持大 批量数据交换的应

10 lucene(基于java的包括nutch,solr,hadoop,mahout等全套，是做信息检索和搜索引擎的同志们必学的开源软件了，学JAVA的必学） http://lucene.apache

2 2.6 Nutch中的分布式 前面介绍了很多分布式的内容，具体在网络爬虫中如何应用这些知识呢？下面以一款开源的搜索引擎为例。介绍如何设计一个分布式爬虫。 和Heritrix一样，Nutch是一个用J

hadoop阶段一hadoop产生背景Doug Cutting是Lucene、Nutch 、Hadoop等项目的发起人分布式文件系统（GFS），可用于处理海量网页存储Hadoop最早起源于Nutch。Nutch的设计目的是构建一个大型的全

社区中涉及大量需要搜索引擎的功能需求，目前在实现搜索引擎的方案上有集中方案可供选择： · 基于Lucene自己进行封装实现站内搜索。 工作量及扩展性都较大，不采用。 · 调用Google、Baidu的API实现站内搜索

主要成就：Lucene 的缔造者 上榜理由：他开发了Lucene搜索引擎，Nutch网络爬虫引擎以及Hadoop分布式大数据处理工具。他是开源项目的拥趸（Lucene，Nutch和Hadoop

Croll(具有网络性能、分析，云计算和业务战略背景的企业家、作家)，Doug Cutting(Lucene、Nutch 、Hadoop等项目的发起人)，Roger Magoulas(O'Reilly Media

创造了 Lucene 生平： 开发了 Lucene 搜索引擎以及 Web 爬虫 Nutch 和用于大型数据集的分布式处理套件 Hadoop 。一位强有力的开源支持者（Lucene、Nutch 以及Hadoop