第2分钟： Hadoop的来源和发展历史是什么？ 答：始于2002年Apache搜索引擎项目Nutch，2004年Nutch的开发者基于Google发表的著名的GFS论文开发出了开源版本的GFS即NDFS，2

>> 我们用的I nnodb存储引擎，排除。 二、 Lucene/Solr 1. 介绍： Lucene 是一套用于 全文检索 和 搜寻 的 开放源码 程式库 ，近几年最受欢迎的免费

议、相似搜索结果。 Lucene（底层引擎）简介 在介绍Solr之前，最好从Lucene（Solr的底层核心技术）开始。Lucene是一个开源，高性能的全文搜索引擎库。Lucene来源于Doug Cu

PyLucene 是 Python 语言用来访问 Lucene 索引库的封装。通过 PyLucene 可以用来创建索引和对索引进行搜索。 示例说明： Java 代码： for (int i =

Elasticsearch是一个 建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。 但是Lucene只是一个框架，要充分利用它的功能，需要使

具有高度的可扩展，支持分布搜索和索引的复制。 Lucene 是什么？ 　　Lucene 是一个基于 Java 的全文信息检索工具包，它不是一个完整的搜索应用程序，而是为你的应用程序提供索引和搜索功能。Lucene 目前是 Apache

的配置值应为 false 。 2、 如果你已有一套 nutch1.0 系统正在跑，而你不想单独再去部署一套 hadoop 环境，你可以直接使用 nutch1.0 自带的 hadoop 环境，但这样的部署会导致

HDFS最初是由Nutch[[] Nutch[EB/OL]. [2011-10-11]. http://nutch.apache.org/. ]网络搜索引擎项目发展而来（在Nutch中仍在使用），目前属于Hadoop的子项目[[]

jar compass-2.2.0\dist\lucene\lucene-analyzers.jar compass-2.2.0\dist\lucene\lucene-core.jar compass-2.2

CLucene是Lucene的一个C++端口，Lucene是一个基于java的高性能的全文搜索引擎。CLucene因为使用C++编写，所以理论上要比lucene快。 Lucene 是一套用于全文检索和

Elasticsearch是一个基于 Apache Lucene(TM) 的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 但是，Lucene只是一个库。想要发挥

Compass学习文档(1) 作者：javafish Compass是第一个实现java搜索引擎的开源框架,它是基于Lucene之上的，提供更简单的搜索引擎API，事务支持，对象到搜索引擎映射（Annotations &

DAO支持。提供了大量常用的DAO方法。 Query支持。提供了生成查询的简便方法。 基于注解的Lucene索引。 简单方便的Lucene搜索。支持关键词高亮显示。 功能强大的GridFS文件系统管理。支持文件夹功能，支持文件的重命名、移动、排序等操作。

( Open Search Server ) 是一个用 Java 开发的搜索引擎服务器，基于 Lucene 、ZK 和 Tomcat 等开源软件架构。 Open Search Server 1.2

Solr 是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。文档通过Http利用XML加到一个搜索集合中。查询该集合也是通过 http收到一个XML/JSON响应来实现。它的主要特性

Hibernate Search的作用是对数据库中的数据进行检索的。它是hibernate对著名的全文检索系统Lucene的一个集成方案，作用在于对数据表中某些内容庞大的字段（如声明为text的字段）建立全文索引，这样通过hibernate

GitHub： https://github.com/yahoo/anthelion ，包含 Apache Nutch 完整源代码。 Anthelion 可以根据设定目标爬取特定页面，比如，包括标记描述影片和至少两个不同属性（比如电影标题和演员）。

个生态系统中出现的各种数据工具。 这一切，都起源自Web数据爆炸时代的来临 数据抓取系统 － Nutch 海量数据怎么存，当然是用分布式文件系统 － HDFS 数据怎么用呢，分析，处理 MapRedu

, "yacy", "SurveyBot", "legs", "lwp-trivial", "Nutch", "StackRambler", "The web archive (IA Archiver)"

Doug Cutting在它儿子画图时画了一只大象而获得的灵感。其实Doug C 的目的是想为Nutch搜索引擎提供分布式。 hadoop有三个子项目：Hadoop core,HBase, Zookeeper。