NoSQL 在腾讯应用实践 经验

为解决大数据的存储与计算而提出的GFS + Bigtable + Map Reduce。随后Hadoop(Hdfs+Hbase+MapReduce)、 Hypertable、Memcached,Tokyo cabinet,Redis,

openkk 2012-06-16   47274   0

MySQL在大型网站的应用架构演变 经验

这样才能推算出再哪个cluster进而进行查询,假设我需要按 username进行检索用户信息,需要引入额外的反向索引机制(类似HBASE二级索引),如在redis上存储 username->userid的映射,以username查询

jopen 2014-06-11   28090   0

创业型小公司如何做好日常的监控运维 经验

筋: 1.前公司用的是类opentsdb的系统,在使用便捷性和性能上没的说,但后端强依赖于hbase,对于我们并不合适。 2.当时也看了其他针对这种Time-series data的开源方案,目前其实没有什么特别好的方案。

jopen 2016-01-13   43129   0

服务化框架技术选型实践 经验

列化、调用压缩等 注册中心:Zookeeper,RPC框架直接接入数据源 监控中心:监控服务+HBase 管理平台:读取Zookeeper做管理平台,提供基本的上下线、黑白名单等功能 于2012年

zpxy2488 2017-02-08   8997   0

为什么Google用Apache Beam彻底替换掉MapReduce 经验

数据。分布式数据处理要处理的数据类型一般可以分为两类,有限的数据集和无限的数据流。有限的数据集,比如一个HDFS中的文件,一个HBase表等,特点是数据提前已经存在,一般也已经持久化,不会突然消失,不会再改变。而无限的数据流,比如k

专访阿里云高级专家赵林:从0到1,中间件的研发运维之路 经验

存储方式:对数据库类型的选择,是常见关系型数据库(如MySQL),还是NoSQL非关系型数据库(如HBase)?数据是否可以采用高压缩存储以降低存储成本?(如日志数据、历史数据、物联网数据等,便可以采用高

thirdsmile 2016-06-29   38643   0

浅析MongoDB数据库的海量数据存储应用 经验

API、最终的一致性 (非ACID)、大容量数据等。它的种类繁多,如列式数据库(Hadoop/HBase、Cassandra、Hypertable、Amazon SimpleDB等)、文档型数据库(M

jopen 2015-03-10   52817   0

Coursera数据工程师董飞:硅谷大数据的过去与未来 资讯

大致可以把大数据公司分成基础架构类和应用类,而底层都是会用到一些通用技术,如 Hadoop、Mahout、HBase、Cassandra 等等;在分析领域,Cloudera、Hortonworks、MapR 是 Hadoop

jopen 2015-01-27   53601   0

全方位对比Mesos、Omega和Borg 资讯

的系统,并且可以向他们的内部用户咆哮。他们的应用大致只分为两种优先级:高优先级的服务性作业(如HBase、web服务器、长住服务等)和低优先级的批处理作业(MapReduce和类似技术)。应用程序可以

jopen 2015-07-06   9823   0
Mesos  
P28

  基于协同过滤的商品推荐引擎 文档

syncTTHiveHadoop Map ReduceHadoop HDFSDatax报表需求Hbase即席查询(adhoc)数据分析数据产品底层平台数据开发平台数据应用商品推荐引擎并行挖掘Logdata

hellokitty 2013-01-18   868   0
方案   Apache   HTTP   SQL   Go  

Hadoop Outputformat浅析(转) 博客

索引。之后使用某个服务加载BerkeleyDB文件,可以提供低延滞的任意键查找。类似的系统还有HBase和Voldemort,它们可以存储Hadoop生成的键值数据。ElephantDB重点关注的是怎

cnzebra 2013-06-27   473   0

大数据架构和模式(五) - 对大数据问题应用解决方案模式并选择实现它的产品 经验

对于处理图像很有用。最广泛使用的技术是 JSON。经过预处理的数据随后被存储在结构化数据存储中,如 HBase。 此模式的核心组件是欺诈检测引擎,由高级分析功能构成,可以帮助预测欺诈。被明确定义并经常更

jopen 2015-02-01   26109   0

开源的系统管理资源集合 经验

NoSQL NoSQL databases. Column-Family Apache HBase - Hadoop database, a distributed, big data store

jopen 2014-06-29   84654   0

基于 Hive 的文件格式:RCFile 简介及其应用 经验

Writer和RecordReader即可。其中数据库格式也是会经常储存在Hadoop中,比如Hbase,Mysql,Cassandra,MongoDB。 这些格式一般是为了避免大量的数据移动和快速装

jopen 2014-06-18   75753   0

下一代分布式消息系统:Apache Kafka 经验

arrier)和锁存器(Latch)。许多知名且成功的项目依赖于 ZooKeeper,其中包括HBase、Hadoop 2.0、Solr Cloud、Neo4J、 Apache Blur (Incubating)和Accumulo。

jopen 2015-06-13   34066   0

在YARN上运行Spark 经验

run. Currently supported services are: hive , hbase 来自: http://www.cnblogs.com/yourarebest/p/5115512

jopen 2016-01-08   22741   0

MySQL在大型网站的应用架构演变 经验

r进而进行查询,假设我需要按UserName进行检索用户信息,需要引入额外的反向索引机制(类似HBase二级索引),如在Redis上存储username->userid的映射,以UserName查询的

MarianBilli 2016-01-22   18177   0

日处理20亿数据,实时用户行为服务系统架构实践 经验

。 MySQL: 作为基础系统,稳定性和性能也是系统的两大指标,对比NoSQL的主要选项,比如HBase和ElasticSearch,十亿数据级别上MySQL在这两方面有更好的表现,并且经过设计能够有不错的水平扩展能力。

AleCrist 2017-04-26   44193   0

2015年240个数据库引擎排名参考 资讯

68 13. 13. Teradata 关系型数据库 67. 05 -0.35 14. 15. HBase 列存储型数据库 53. 59 +2.51 15. 14. FileMaker 关系型数据库 51

jopen 2015-01-27   14055   0

云+微服务+新硬件:下一代大规模并行数据库架构风格 资讯

因此是要计算Hash的,有自 己的文件格式和压缩格式,不同节点的文件写到不同节点的目录中,类似Hbase那样。当然也有完整的统计信息,因此可以实现基于成本的SQL优化。它通过 HDFS的本地化机制部分

jopen 2015-07-16   30812   0
架构  
1 2 3 4 5 6 7 8 9 10