大数据生态圈与IBM Platform Symphony架构设计 资讯

领域又有哪些知名的项目呢?当面对这样的问题时,很多人可能会快速地回答:Hadoop、Hive、Hbase以及后来的Yarn(Hadoop二代)、Mesos、Spark、Storm、Flink等。这些答

jopen 2016-02-16   32484   0
大数据   Hadoop   IBM  

SOA在新兴的Hadoop世界扮演的角色 资讯

是Hadoop从来就不是为此而设计的——它不是企业应用通常面对的具有ACID属性的数据库。即便HBase常常被称为数据库,可是该数据库也不是给企业应用用的。 Hadoop在企业中扮演着重要的角色,

openkk 2011-11-05   16214   0
Hadoop   SOA  

大数据的OLAP技术 经验

和企业私有云的架构一样,对企业的大数据平台,我们很难直接去简单复制互联网的海量存储或计算平台技术,如Hadoop、HBase、 Spark;因为这些技术搭建的只是一个数据的基础设施,要在传统企业实施“大数据平台”,我们的

jopen 2015-02-09   49157   0

Spark大数据分析框架的核心部件 经验

需要访问RDD的结构,与存储系统的数据调度、交换都由提供者驱动去实现。RDD可以与Haoop的HBase、HDFS等交互,用作数据存储系统,当然也可以通过扩展支持很多其它的数据存储系统。 因为

jopen 2016-01-05   18274   0

微博平台稳定性体系介绍 经验

依赖资源多,任何依赖的资源都有可能down掉 Ø 依赖MC,Redis,DB,RPC,HTTP,Hbase。仅核心池就依赖90多个MC端口,500多Redis端口,100多个db端口 大型运营活动及三节保障:

码头工人 2016-02-07   27170   0
微博  

用一个城市的形象来比喻描述大数据的技术生态 资讯

黍又玩起 Hadoop,HDFS,MapReduce,Common,Spark,Mahout,HBase,NoSQL,Cassandra,GFS, MapReduce, BigTable,Hive,Pig,python……

jopen 2015-02-04   9124   0

hadoop再次集群搭建(3)-如何选择相应的hadoop版本 经验

完全开源,免费,非商业。apache社区的hadoop版本分枝较多,而且部分hadoop存在bug。在选择hadoop,hbase,hive等时,需要考虑兼容性。 Cloudera版本: 开源,免费,有商业和非商业版本。是

jopen 2016-01-18   8804   0

大数据领域开源技术 除了Hadoop你还知道哪些 经验

Phoenix—是HBase的SQL驱动。目前大量的公司采用它,并扩大其规模。HDFS支持的NoSQL能够很好地集成所有工具。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。

黄色腾堡 2016-09-29   12525   0

Spring Data MongoDB 1.0.0.M5 发布 资讯

data structured as graphs. Column Stores HBase (planned) HBase is an open-source, distributed, versioned

jopen 2011-10-28   21102   0
Spring  

2015让我受益最大的那些书--别找了,都在这里 资讯

MySQL Cook book HBase The Definitive Guide Hadoop The Definitive Guide 4th HBase In Action 4.

jopen 2016-01-31   23299   0
P21

  移动大数据平台的一些实践经验 文档

需求驱动!存储空间不够? 压缩算法的改进,LZO to LZMA 容量大且能支持小量在线访问的数据库? HBASE + KVProxy 如何支持自定义的任务调度需求 自行研发的任务调度系统 12. 几种压缩方式的对比

cpp45 2015-02-06   548   0

关于Spark的基本概念和特性简介 经验

Spark则属于BDAS生态体系之一 ○ Hadoop包含了MapReduce、HDFS、HBase、Hive、Zookeeper、Pig、Sqoop等 ○ BDAS包含了Spark、Shar

jopen 2015-06-25   53456   0

Hadoop上时实类SQL查询系统对比 经验

在才一年左右的时间,但是impala已经可以很稳定的运行。 impala主要是为hdfs与hbase数据提供实时SQL查询。它是根据google的dremel论文实现的一套分布式系统,自用户提交的

jopen 2013-11-30   29365   0

Kylin:基于Hadoop的开源数据仓库OLAP分析引擎 经验

其他值得关注的特性。具有作业管理和监控的功能、具有简单易用的 Web操作界面、支持数据压缩和编码、支持 LDAP 集成、能够利用HBase的Coprocessor降低查询延迟等。 作为一套旨在对Hadoop环境下分析流程进行加速,

jopen 2014-12-02   33465   0
P5

  淘宝实时数据传输平台-TimeTunnel介绍 文档

架搭建的实时数据传输平台,具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点(基于Hbase)。 目前TimeTunnel在阿里巴巴广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据库同步等领域。

daliao8888 2014-11-26   6634   0

NoSQL的ORM框架 Gora 0.1.1-incubating 发布 资讯

Gora 是一个应用于 NoSQL 数据库的 ORM 框架,支持包括:Apache HBase / Apache Cassandra 。 项目地址 : http://incubator.apache

webphp 2011-09-27   12492   1
ORM   Java   NOSQL  

解析Spark大数据分析框架的核心部件 资讯

要访问RDD的结构,与存储系统的数据调度、交换都由提供者驱动去实现。RDD可以与Haoop的 HBase、HDFS等交互,用作数据存储系统,当然也可以通过扩展支持很多其它的数据存储系统。 因为有了

勿忘初心321 2015-12-23   18139   1

云栖techday第6期活动小结:数据化运营 资讯

,就是 Cassandra 在海外的流行程度比 Hbase 高很多,原因是更易用,社区也更活跃,这个与我们国内的情况略有不同,淘宝、小米都是 HBase 的大客户。 AdMaster 最终采用了 ElasticSearch

jopen 2016-01-18   5883   0
P16

  云计算介绍以及可能应用 文档

海量数据分布存储技术(分布式文件系统) GFS, HDFS 海量数据管理技术(分布式数据库) BigTable, HBase, Cassandra, Amazon Dynamo 虚拟化技术 Xen, VMware vSphere

arbalest 2013-08-19   3879   0

那些年,追过的开源软件和技术 问答

educe模型中脱离出来,用高层语言来做分布式计算。 HBase :是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化数据集群

jopen 2015-03-09   47481   5
1 2 3 4 5 6 7 8 9 10