Spring Hadoop - 整合Spring框架和Apache Hadoop平台的开源项目

openkk 12年前

这个项目整合了 Spring 框架和 Apache Hadoop 平台。该项目提供了一种方便的机制,让我们可以通过 Spring 容器来配置、创建和执行各种各样的服务和工具,像 MapReduce、Hive、Pig 和 Cascading 作业等。此外,该项目还通过 JVM 脚本语言——像 Groovy、JRuby、Jython 和 Rhino——提供了对 HDFS 数据访问的支持,为 HBase 提供了声明式配置的支持,以及对 Hadop 工具(包括 FS Shell 和 DistCp)提供了声明和编程的支持。  

可能更有意义的是,工具还为基于 Spring 的应用程序提供了一种便利方式,可以使用 Hadoop 作为数据分析工具,而这些数据可能来自多个源,像 Spring Integration 和 Spring Batch,以及传统的关系型数据库等等。“例如,你可以让 Hadoop 作业成为 Spring Batch 环境中的 tasklet,从而我们可以开始对其进行调整,并在作业完成时拥有触发器。

这样,和新发布的 Hadoop 项目一样,它更广泛的目标是为各种不同样式的 SQL 和 NoSQL 数据库——关系型数据库、图型数据库、文档数据库、键值数据库等等——提供一等支持,并显式地支持某些那种更流行的产品类型。当前这包括对 JPA 的支持,还有 MongoDB、Redis 和 Neo4J,并且 Cassandra 方面也在进行中。Colyer 认为这个列表反映出当前 SpringSource 的企业用户中处于领先地位的产品,但是需要强调的是,在大多数大型企业中,对 NoSQL 数据库的使用还处于初级阶段。

项目主页:http://www.open-open.com/lib/view/home/1330747413217