P10

  淘宝应对双11的技术架构分析 文档

为此,我们针对前端产品设计了专门的存储层。在这一层,我们有基于MySQL的分布式关系型数据库集群MyFOX和基于HBase的NoSQL存储集群Prom,在后面的文字中,我将重点介绍这两个集群的实现原理。除此之外,其他第三方的模块也被我们纳入存储层的范畴。

水无居 2014-11-11   477   0

淘宝应对双 11 的技术架构分析 经验

为此,我们针对前端产品设计了专门的存储层。在这一层,我们有基于MySQL的分布式关系型数据库集群MyFOX和基于HBase的NoSQL存储集群Prom,在后面的文字中,我将重点介绍这两个集群的实现原理。除此之外,其他第三方的模块也被我们纳入存储层的范畴。

pogj4637 2016-11-14   11575   0

使用Spark Streaming + Kudu + Impala构建一个预测引擎 经验

DFS(HDFS优势在于大数据存储下的快速扫描能力)和HBaseHBase优势是基于主键的快速插入/查询)之间超存储层。本项目可以采用HBase或者Cassandra,但Kudu为数据分析提供了快速的扫描能力、列式存储架构。

通过cloudera-manager来安装hadoop 经验

zookeeper-3.4.31.cdh4.1.2.p0.34.el5.noarch.rpm hbase-0.92.1-cdh4.1.2.p0.24.el5.noarch.rpm hive-0.9

jopen 2013-12-18   40475   0

让数据告诉你未来:Spark Streaming+Kudu+Impala构建预测引擎 经验

DFS(HDFS优势在于大数据存储下的快速扫描能力)和HBaseHBase优势是基于主键的快速插入/查询)之间超存储层。本项目可以采用HBase或者Cassandra,但Kudu为数据分析提供了快速的扫描能力、列式存储架构。

ususking 2016-05-18   35287   0

大数据生态圈与IBM Platform Symphony架构设计 资讯

领域又有哪些知名的项目呢?当面对这样的问题时,很多人可能会快速地回答:Hadoop、Hive、Hbase以及后来的Yarn(Hadoop二代)、Mesos、Spark、Storm、Flink等。这些答

jopen 2016-02-16   32484   0
大数据   Hadoop   IBM  

SOA在新兴的Hadoop世界扮演的角色 资讯

是Hadoop从来就不是为此而设计的——它不是企业应用通常面对的具有ACID属性的数据库。即便HBase常常被称为数据库,可是该数据库也不是给企业应用用的。 Hadoop在企业中扮演着重要的角色,

openkk 2011-11-05   16214   0
Hadoop   SOA  

大数据的OLAP技术 经验

和企业私有云的架构一样,对企业的大数据平台,我们很难直接去简单复制互联网的海量存储或计算平台技术,如Hadoop、HBase、 Spark;因为这些技术搭建的只是一个数据的基础设施,要在传统企业实施“大数据平台”,我们的

jopen 2015-02-09   49157   0

Spark大数据分析框架的核心部件 经验

需要访问RDD的结构,与存储系统的数据调度、交换都由提供者驱动去实现。RDD可以与Haoop的HBase、HDFS等交互,用作数据存储系统,当然也可以通过扩展支持很多其它的数据存储系统。 因为

jopen 2016-01-05   18274   0

微博平台稳定性体系介绍 经验

依赖资源多,任何依赖的资源都有可能down掉 Ø 依赖MC,Redis,DB,RPC,HTTP,Hbase。仅核心池就依赖90多个MC端口,500多Redis端口,100多个db端口 大型运营活动及三节保障:

码头工人 2016-02-07   27170   0
微博  

用一个城市的形象来比喻描述大数据的技术生态 资讯

黍又玩起 Hadoop,HDFS,MapReduce,Common,Spark,Mahout,HBase,NoSQL,Cassandra,GFS, MapReduce, BigTable,Hive,Pig,python……

jopen 2015-02-04   9124   0

hadoop再次集群搭建(3)-如何选择相应的hadoop版本 经验

完全开源,免费,非商业。apache社区的hadoop版本分枝较多,而且部分hadoop存在bug。在选择hadoop,hbase,hive等时,需要考虑兼容性。 Cloudera版本: 开源,免费,有商业和非商业版本。是

jopen 2016-01-18   8804   0

大数据领域开源技术 除了Hadoop你还知道哪些 经验

Phoenix—是HBase的SQL驱动。目前大量的公司采用它,并扩大其规模。HDFS支持的NoSQL能够很好地集成所有工具。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。

黄色腾堡 2016-09-29   12525   0

Spring Data MongoDB 1.0.0.M5 发布 资讯

data structured as graphs. Column Stores HBase (planned) HBase is an open-source, distributed, versioned

jopen 2011-10-28   21102   0
Spring  

2015让我受益最大的那些书--别找了,都在这里 资讯

MySQL Cook book HBase The Definitive Guide Hadoop The Definitive Guide 4th HBase In Action 4.

jopen 2016-01-31   23299   0

关于Spark的基本概念和特性简介 经验

Spark则属于BDAS生态体系之一 ○ Hadoop包含了MapReduce、HDFS、HBase、Hive、Zookeeper、Pig、Sqoop等 ○ BDAS包含了Spark、Shar

jopen 2015-06-25   53456   0

Hadoop上时实类SQL查询系统对比 经验

在才一年左右的时间,但是impala已经可以很稳定的运行。 impala主要是为hdfs与hbase数据提供实时SQL查询。它是根据google的dremel论文实现的一套分布式系统,自用户提交的

jopen 2013-11-30   29365   0

Kylin:基于Hadoop的开源数据仓库OLAP分析引擎 经验

其他值得关注的特性。具有作业管理和监控的功能、具有简单易用的 Web操作界面、支持数据压缩和编码、支持 LDAP 集成、能够利用HBase的Coprocessor降低查询延迟等。 作为一套旨在对Hadoop环境下分析流程进行加速,

jopen 2014-12-02   33465   0

NoSQL的ORM框架 Gora 0.1.1-incubating 发布 资讯

Gora 是一个应用于 NoSQL 数据库的 ORM 框架,支持包括:Apache HBase / Apache Cassandra 。 项目地址 : http://incubator.apache

webphp 2011-09-27   12492   1
ORM   Java   NOSQL  

解析Spark大数据分析框架的核心部件 资讯

要访问RDD的结构,与存储系统的数据调度、交换都由提供者驱动去实现。RDD可以与Haoop的 HBase、HDFS等交互,用作数据存储系统,当然也可以通过扩展支持很多其它的数据存储系统。 因为有了

勿忘初心321 2015-12-23   18139   1
1 2 3 4 5 6 7 8 9 10