Spring Hadoop - 在 Spring 框架下编写 Hadoop 应用的支持。 经验

Tasklets for Map-Reduce an Streaming Jobs 与 Cascading, HBase, Hive 和 Pig 项目主页: http://www.open-open.com/

openkk 2012-06-09   27826   0

Apache pig 学习 经验

HBaseStorage 加载和存储数据的HBase的表。 Syntax HBaseStorage('columns', ['options']) 用法 从HBase的HBaseStorage加载

jopen 2015-11-07   27266   0
P17

  Google ProtocolBuffer 应用和原理详解 文档

如 XML,JSON,Thrift 等等。和他们相比,Protobuf 有什么不同呢? 简单说来 Protobuf 的主要优点就是:简单,快。 这有测试为证,项目 thrift-protobuf-compare

bjsymbio 2013-07-03   534   0

Hadoop数据传输工具:Sqoop 经验

之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下,轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中;同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。除了这些主要的功能外,Sqoop

jopen 2014-12-02   18913   0
P29

  分布式存储介绍 文档

.com/2007/10/amazons_dynamo.html Apache HBase. http://hbase.apache.org/, 2008. Amazon SimpleDB. http://aws

sunxlm 2011-11-21   5225   0

基于ELK的简单数据分析 经验

个人折腾东西, (2)我不会前端,但是ELK中的kibana可以直接利用,(3)Hadoop/Hbase、Storm等大数据栈需要学习成本,短期内上手难度太大。(4)可用的机器数也是相当屌丝。 环境搭建

neoly 2016-02-16   65440   0

Presto 来自Facebook的开源分布式查询引擎 资讯

Facebook就意识到出了HDFS之外,大量数据会被存储在很多其他类型的系统中。 其中一些是像HBase一类的为人熟知的系统,另一类则是象Facebook New Feed一样的定制的后台。Presto设计了一个简单的数据存储的抽象层,

jopen 2015-07-15   18518   0
Presto  

Hadoop即将过时了吗? 资讯

却已经准备淘汰 MapReduce 技术。虽然 Apache 项目和 Hadoop 商业发行版本试图通过 HBase 、 Hive 和 下一代 MapReduce (亦 即 YARN)弥补 Hadoop 的短板。但笔者认为只有用全新的,非

jopen 2012-07-11   31665   4
Hadoop  

推荐引擎mahout安装与配置 经验

算能力的瓶颈,解决海量数据高性能计算的问题。某运行商将所有的通讯记录实时导入到 HBase 中,一方面通过 HBase 提供实时的通讯记录查询功能,另一方面通过Map/Reduce 分析用户的历史通讯

mx3y 2015-06-30   14524   0

Flume架构与源码分析-整体架构 经验

>实时计算(如Kafka+Storm) 、日志--->Flume--->离线计算(如HDFS、HBase)、日志 --->Flume--->ElasticSearch。 2、整体架构 Flume主

jopen 2015-12-03   21800   0
Flume  
P5

  10分钟内理解云计算分布式大数据处理框架Hadoop 文档

存储和分析,其它的项目,例如Hive、HBase等都是基于HDFS和MapReduce,是为了解决特定类型的大数据处理问题而提出的子项目,使用Hive、HBase等子项目可以在更高的抽象的基础上更简单

xcxc 2015-08-23   651   0

21 个最好的免费开源数据库 资讯

多你可能不知道或从未使用自由和开放源码的数据库。如:PostgreSQL, MongoDB, HBase, Cassandra, Couchbase, Neo4j, Riak, Redis, Firebird等。

jopen 2013-12-26   33330   0
P27

  Hadoop HDFS 实现原理与应用介绍 文档

System) MapReduce BigTable Hadoop HDFS MapReduce HBase 5. 什么是HadoopOpen Source, Java Apache Lucene(开源搜索引擎)的一个子项目

cablist 2012-11-12   13153   0
P21

  云计算架构 Hadoop 文档

2010年5月 ,Avro脱离Hadoop项目,成为Apache顶级项目。 2010年5月 ,HBase脱离Hadoop项目,成为Apache顶级项目。 2010年5月,IBM提供了基于Hadoop

altila 2012-06-12   745   0

13款开源Java大数据工具 经验

序,以可靠和容错的方式连接 大型集群中 上万个节点(商用硬件)。 3. HBase Apache HBase是Hadoop数据库,一个分布式、可扩展的大数据存储。它提供了大数据集上随机和实

jopen 2014-04-30   52548   0
开源  

hadoop集群ambari搭建(1)之ambari-server安装 经验

ive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、

jopen 2016-01-18   60642   0

Apache Kylin的快速数据立方体算法 - 概述 资讯

HDFS上;当所有计算都完成后,Kylin还需要额外的一轮任务将这些文件转成HBase的HFile格式,以导入到HBase中去; 总体而言,该算法的效率较低,尤其是当Cube维度数较大的时候;时常有用

jopen 2015-09-10   25064   0
P35

  Hadoop及mapreduce入门 文档

Chukwa:用于管理大规模分布式集群的数据收集系统 ZooKeeper:用于分布式应用的高性能协同服务 Hbase:类似于BigTable的,key-value数据库系统 Mahout:分布式机器学习和数据挖掘的Lib

分布式计算平台 - Hadoop 发布了1.0.0版 资讯

上的应用程序也可以使用其他语言编写,比如 C++。 Hadoop主要由HDFS、MapReduce和Hbase组成。 它是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下开发分布式程序。

fmms 2011-12-31   29605   1
Hadoop  

Apache 基金会宣布 Apache Kylin 成为顶级项目 资讯

Interpreter,”,韩卿补充说,“并且,Kylin是Hadoop,Spark,Kafka,HBase和Zookeeper的大规模使用者,与这些大数据家庭的关键成员一起,Apache基金会(ASF)是Kylin天然的家园。”

jopen 2015-12-08   23929   0
1 2 3 4 5 6 7 8 9 10