构建大型云计算平台分布式技术的实践 经验

就是跑满的状态需要消耗6颗HT CPU,这一部分还有待优化。 另外,对于Hadoop、HBase、MongoDB这样本身已经考虑了3副本的系统,阿里云还提供了SATA本地磁盘和SSD本地磁盘的ECS,减少不必要的冗余以降低成本。

jopen 2014-07-29   42020   0

Log Structured Merge Trees(LSM) 原理 经验

Log Structured-Merge Tree。 LSM是当前被用在许多产品的文件结构策略:HBase, Cassandra, LevelDB, SQLite,甚至在mangodb3.0中也带了一个可选的LSM引擎(Wired

jopen 2015-02-26   139558   0
LSM  

如何挑选合适的大数据或Hadoop平台? 经验

语言,可以方便地进行数据汇总,特定查询以及分析存放在Hadoop兼容文件系统中的大数据。 Hbase :一种分布的、可伸缩的、大数据储存库,支持随机、实时读/写访问。 Sqoop :为高效传输

jopen 2015-02-19   45764   0

高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 经验

'/opt/hadoop/sbin/start-yarn.sh' 用浏览器访问 http://hbase84:8088 [X] 附录: [X] HA的问题: 大家都知道在hadoop2中对HDFS的改进很大

jopen 2015-01-08   56311   0

docker资源汇总 经验

build a data acqusition pipeline with kafka and hbase How to use MongoDB & NodeJS with Docker Wrapping

jopen 2015-09-24   75737   0
Docker  

专访阿里云高级专家赵林:从0到1,中间件的研发运维之路 经验

存储方式:对数据库类型的选择,是常见关系型数据库(如MySQL),还是NoSQL非关系型数据库(如HBase)?数据是否可以采用高压缩存储以降低存储成本?(如日志数据、历史数据、物联网数据等,便可以采用高

LorSantana 2016-07-06   37556   0

阿里巴巴73款开源产品全向图 经验

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 Reliable :Reliable

ZacheryWUN 2016-11-21   11229   0

使用微服务架构重构支付网关 经验

是前者。后者可以走elastic,确保数据库专用。风控,信用和统计所需要的数据,通过MQ同步到Hbase里面。作为支付系统最有价值的数据,在存储上做到专库专用,无可厚非,毕竟存储成本还是廉价的。 风控模块

gollyhu 2016-11-22   16345   0

解读2015之Spark篇:新生态系统的形成 资讯

ark支持的外部数据源有很多种,主流的像Parquet,JSON,JDBC,ORC,AVRO,HBase,Cassandra,AWS S3,AWS Redshift等。 在这些外部数据源中,Par

jopen 2016-01-07   38554   0

Hadoop十岁!Doug Cutting成长史+他眼中大数据技术的未来 资讯

op之上也很快建立了其他项目,例如Apache Pig、Apache Hive、Apache HBase等等。同时,学术研究人员也开始使用Hadoop。这样就已经达到了我们最初设想的目标:即构建一个能

jopen 2016-02-15   25367   0
P40

  Zookeeper 介绍-v1.0 文档

Hadoop集群管理的一个必不可少的模块,它主要用来控制 集群中的数据,如它管理Hadoop集群中的NameNode,还有 Hbase中Master Election、Server 之间状态同步等。 Zoopkeeper提供了一套很好的分布式集群管理的机制

meigx_2013 2013-09-26   5677   0
P10

  Hadoop 知识总结(最终总结) 文档

2010年5月 ,Avro脱离Hadoop项目,成为Apache顶级项目。 · 2010年5月 ,HBase脱离Hadoop项目,成为Apache顶级项目。 · 2010年5月,IBM提供了基于Hadoop

sweetbaybe 2012-03-14   3088   0
P6

  NoSQL 数据库探讨 文档

Redis,Tokyo Cabinet,Cassandra,Voldemort,MongoDB,Dynomite,HBase,CouchDB,Hypertable, Riak,Tin, Flare, Lightcloud,

zwf0611 2013-03-04   3664   0

数据架构规划 经验

数据有Redis,Tokyo Cabinet,Cassandra,Voldemort,MongoDB,Dynomite,HBase,CouchDB,Hypertable, Riak,Tin, Flare, Lightcloud,

fmms 2012-02-20   147735   0

NoSQL 在腾讯应用实践 经验

为解决大数据的存储与计算而提出的GFS + Bigtable + Map Reduce。随后Hadoop(Hdfs+Hbase+MapReduce)、 Hypertable、Memcached,Tokyo cabinet,Redis,

openkk 2012-06-16   47274   0

MySQL在大型网站的应用架构演变 经验

这样才能推算出再哪个cluster进而进行查询,假设我需要按 username进行检索用户信息,需要引入额外的反向索引机制(类似HBASE二级索引),如在redis上存储 username->userid的映射,以username查询

jopen 2014-06-11   28090   0

创业型小公司如何做好日常的监控运维 经验

筋: 1.前公司用的是类opentsdb的系统,在使用便捷性和性能上没的说,但后端强依赖于hbase,对于我们并不合适。 2.当时也看了其他针对这种Time-series data的开源方案,目前其实没有什么特别好的方案。

jopen 2016-01-13   43129   0

为什么Google用Apache Beam彻底替换掉MapReduce 经验

数据。分布式数据处理要处理的数据类型一般可以分为两类,有限的数据集和无限的数据流。有限的数据集,比如一个HDFS中的文件,一个HBase表等,特点是数据提前已经存在,一般也已经持久化,不会突然消失,不会再改变。而无限的数据流,比如k

专访阿里云高级专家赵林:从0到1,中间件的研发运维之路 经验

存储方式:对数据库类型的选择,是常见关系型数据库(如MySQL),还是NoSQL非关系型数据库(如HBase)?数据是否可以采用高压缩存储以降低存储成本?(如日志数据、历史数据、物联网数据等,便可以采用高

thirdsmile 2016-06-29   38643   0

浅析MongoDB数据库的海量数据存储应用 经验

API、最终的一致性 (非ACID)、大容量数据等。它的种类繁多,如列式数据库(Hadoop/HBase、Cassandra、Hypertable、Amazon SimpleDB等)、文档型数据库(M

jopen 2015-03-10   52817   0
1 2 3 4 5 6 7 8 9 10