Tumblr:150亿月浏览量背后的架构挑战(下) 经验

cell 中。 用户映射到 cell。一个数据中心有很多 cell。 每个 cell 都有一个 HBase 的集群,服务集群,Redis 的缓存集群。 用户归属到 cell,所有 cell 的共同为用户发言提供支持。

fmms 2012-02-17   42796   0

大数据生态圈与IBM Platform Symphony架构设计 资讯

领域又有哪些知名的项目呢?当面对这样的问题时,很多人可能会快速地回答:Hadoop、Hive、Hbase以及后来的Yarn(Hadoop二代)、Mesos、Spark、Storm、Flink等。这些答

jopen 2016-02-16   32484   0
大数据   Hadoop   IBM  

SOA在新兴的Hadoop世界扮演的角色 资讯

是Hadoop从来就不是为此而设计的——它不是企业应用通常面对的具有ACID属性的数据库。即便HBase常常被称为数据库,可是该数据库也不是给企业应用用的。 Hadoop在企业中扮演着重要的角色,

openkk 2011-11-05   16214   0
Hadoop   SOA  

大数据的OLAP技术 经验

和企业私有云的架构一样,对企业的大数据平台,我们很难直接去简单复制互联网的海量存储或计算平台技术,如Hadoop、HBase、 Spark;因为这些技术搭建的只是一个数据的基础设施,要在传统企业实施“大数据平台”,我们的

jopen 2015-02-09   49157   0

Spark大数据分析框架的核心部件 经验

需要访问RDD的结构,与存储系统的数据调度、交换都由提供者驱动去实现。RDD可以与Haoop的HBase、HDFS等交互,用作数据存储系统,当然也可以通过扩展支持很多其它的数据存储系统。 因为

jopen 2016-01-05   18274   0

微博平台稳定性体系介绍 经验

依赖资源多,任何依赖的资源都有可能down掉 Ø 依赖MC,Redis,DB,RPC,HTTP,Hbase。仅核心池就依赖90多个MC端口,500多Redis端口,100多个db端口 大型运营活动及三节保障:

码头工人 2016-02-07   27170   0
微博  

hadoop再次集群搭建(3)-如何选择相应的hadoop版本 经验

完全开源,免费,非商业。apache社区的hadoop版本分枝较多,而且部分hadoop存在bug。在选择hadoop,hbase,hive等时,需要考虑兼容性。 Cloudera版本: 开源,免费,有商业和非商业版本。是

jopen 2016-01-18   8804   0

大数据领域开源技术 除了Hadoop你还知道哪些 经验

Phoenix—是HBase的SQL驱动。目前大量的公司采用它,并扩大其规模。HDFS支持的NoSQL能够很好地集成所有工具。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。

黄色腾堡 2016-09-29   12525   0

2015让我受益最大的那些书--别找了,都在这里 资讯

MySQL Cook book HBase The Definitive Guide Hadoop The Definitive Guide 4th HBase In Action 4.

jopen 2016-01-31   23299   0
P21

  移动大数据平台的一些实践经验 文档

需求驱动!存储空间不够? 压缩算法的改进,LZO to LZMA 容量大且能支持小量在线访问的数据库? HBASE + KVProxy 如何支持自定义的任务调度需求 自行研发的任务调度系统 12. 几种压缩方式的对比

cpp45 2015-02-06   548   0

关于Spark的基本概念和特性简介 经验

Spark则属于BDAS生态体系之一 ○ Hadoop包含了MapReduce、HDFS、HBase、Hive、Zookeeper、Pig、Sqoop等 ○ BDAS包含了Spark、Shar

jopen 2015-06-25   53456   0

Kylin:基于Hadoop的开源数据仓库OLAP分析引擎 经验

其他值得关注的特性。具有作业管理和监控的功能、具有简单易用的 Web操作界面、支持数据压缩和编码、支持 LDAP 集成、能够利用HBase的Coprocessor降低查询延迟等。 作为一套旨在对Hadoop环境下分析流程进行加速,

jopen 2014-12-02   33465   0
P5

  淘宝实时数据传输平台-TimeTunnel介绍 文档

架搭建的实时数据传输平台,具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点(基于Hbase)。 目前TimeTunnel在阿里巴巴广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据库同步等领域。

daliao8888 2014-11-26   6634   0

解析Spark大数据分析框架的核心部件 资讯

要访问RDD的结构,与存储系统的数据调度、交换都由提供者驱动去实现。RDD可以与Haoop的 HBase、HDFS等交互,用作数据存储系统,当然也可以通过扩展支持很多其它的数据存储系统。 因为有了

勿忘初心321 2015-12-23   18139   1

微博数据库3个变迁阶段背后的设计思想 经验

com/857 肖鹏,微博研发中心技术经理,主要负责微博数据库(MySQL/Reids/HBase/Memcached)相关的业务保障、性能优化、架构设计,以及周边的自动化系统建设。经历了微博数据库各个阶段的架构改造,包括服务保障及

y139733 2016-02-27   31612   0

基于Hadoop2.5.0的集群搭建 经验

6/zookeeper-3.4.6.tar.gz HBase: http://apache.fayea.com/apache-mirror/hbase/hbase-0.98.5/hbase-0.98.5-hadoop2-bin

jopen 2014-10-09   59369   0

Python框架、库和软件资源大全 经验

PostgreSQL. NoSQL Databases cassandra-python-driver – Python driver for Cassandra by Datastax. pycassa – Python

jopen 2015-07-08   62545   0
P67

  云计算pig的使用 文档

T太多,自己多写了一个都没有发现。希望我的提醒能给你一点解决问题的提示。 (38)用Pig加载HBase数据时遇到的错误“ERROR 2999: Unexpected internal error. could

xnbw 2016-01-11   2358   0

图数据库——大数据时代的高铁 经验

适合于保存在关系型数据库中的结构化数据。 虽然图数据库也能够处理“大数据”,但它毕竟不是Hadoop、HBaseCassandra,通常不会在图数据库中直接处理海量数据(以PB为单位)的分析。但如果你乐于提供关于某个

Spark 入门(Python、Scala 版) 经验

这些步骤大体如下: (1)定义一个或多个RDD,可以通过获取存储在磁盘上的数据(HDFS,CassandraHBase,Local Disk),并行化内存中的某些集合,转换(transform)一个已存在的RDD,或者,缓存或保存。

efbb 2015-05-08   210961   0
1 2 3 4 5 6 7 8 9 10