Hermes:来自腾讯的实时检索分析平台 经验

GC上进行了一些优化自己进行内存管理,关键地方的内存对象的创建和释放java内部自己控制,减少GC的压力(类似Hbase的Block Buffer Cache)。不使用WeakHashMap和全局锁,WeakHash

jopen 2014-12-30   38264   0

唯品会11.11:峰值系统应对实践 资讯

race log / Exception log )通过kafka,再通过flume直接落地到HBase。这些裸日志用来查询trace调用链信息和异常日志。另一条路径,日志信息通过kafka直接 送到spark

jopen 2015-11-12   35120   0
架构  

创业公司工程师应该掌握的可伸缩Web开发技术 资讯

,那么主从复制 是远远不够的。这种情况下,可以考虑使用更具伸缩性的各种NoSQL数据库产品,如HBase等,也可以考虑使用分布式数据库。分布式关系数据库则通过一 个代理层将数据分片并经过路由后写入一个关系数据库集群中。

jopen 2015-10-29   24408   0
P25

  Hive 使用手册 文档

而外部表,则是通过Hive建立表的Metadata提供一些数据查询服务,比如一些HDFS文件,Pig,Hbase的文件都可以通过Hive进行批处理和查询。CREATE TABLE IF NOT EXISTS mydb

dacoolbaby 2013-03-13   4915   0
P19

  HandlerSocket 详细介绍 文档

和解决问题,特别是对于大型的应用来说。这一点可以从之前发生的一些事情得到验证,Digg选择Cassandra,但是后来出现了一些很严重的事故,副总甚至为此引咎辞职。Foursquare选择了Mongo

c61811 2012-06-26   2358   0

Flickr的架构学习 经验

测量(measurement) 的重要性;他也很鄙视benchmark,无论是对开源软件比如Cassandra的benchmark,或是自己开发的进程的性能测试,都与上线后运营的负载差异太大,以致对容量

jopen 2014-12-01   33676   0
架构  

一篇文章让你读懂Docker 经验

开发和运维在选择工具和环境时的姿态通常差别很大。开发者想要使用一些闪亮的新东西,比如Node.js、Rust、Go、微服务、Cassandra、 Hadoop、blablabla.........而运维则倾向于使用以往用过的工具,因为事实证明那些旧的工具很有效。

dwd4 2015-04-01   46900   0
Docker  

程序员编程技术迅速提高的终极攻略 博客

Cabinet(升级版为Kyoto Cabinet)、Flare、MongoDB、CouchDB、Cassandra、Voldemort等。 写了那么多,回顾一下,觉得自己相当的有成就感。希望大家不要吓着

jopen 2012-06-24   6087   0

hadoop 2.0 详细配置教程 经验

。一个 简化分布式编程的框架。 4. 其他工程包含: Avro( 序列化系 统 ) , Cassandra( 数据 库项目 ) 等 Hadoop,以 Hadoop 分布式文件系统( HDFS ,Hadoop

jopen 2012-09-18   80115   0

多形态MVC式Web架构的分类 经验

PostgreSQL 、 Oracle 等传统关系数据库厂商和 RethinkDB 、 Cassandra 等 NoSQL 数据库厂商,已经实现或者规划去提供CDC机制,以改进应用服务器的入站推送通知。

ioij1064 2016-10-26   7864   0

程序员技术练级攻略 资讯

Cabinet(升级版为Kyoto Cabinet)、Flare、MongoDB、CouchDB、Cassandra、Voldemort等。 写了那么多,回顾一下,觉得自己相当的有成就感。希望大家不要吓着

码头工人 2011-08-20   78204   9

【译】使用Apache Kafka构建流式数据平台(1) 经验

据库(Oracle、MySQL和Postgres)或者新兴的分布式数据库(MongoDB、Cassandra和Couchbase),这些数据可能不容易理解为事件或者事件流。 但实际上,数据库中存储的数据也可理解为一种事件流(event

jopen 2016-01-08   33342   0

程序员技术的自我修养(转) 博客

Cabinet(升级版为Kyoto Cabinet)、Flare、MongoDB、CouchDB、Cassandra、Voldemort等。 写了那么多,回顾一下,觉得自己相当的有成就感。希望大家不要吓着

cmfy 2014-01-10   4136   0

Hadoop 2.0集群配置详细教程 经验

。一个 简化分布式编程的框架。 4. 其他工程包含: Avro( 序列化系 统 ) , Cassandra( 数据 库项目 ) 等 Hadoop,以 Hadoop 分布式文件系统( HDFS ,Hadoop

jopen 2014-03-26   36055   0

为什么我不再用 .NET 框架 资讯

能,我可以选择任何我想要的存储引擎,包括SQL Server,Oracle,PostgreSQL,MySQL,Cassandra, CouchDB, CouchBase, Dynamo, SimpleDB, S3, Riak

jopen 2014-07-09   25195   0
.NET  

我的碎碎念:Docker入门指南 资讯

开发和运维在选择工具和环境时的姿态通常差别很大。开发者想要使用一些闪亮的新东西,比如Node.js、Rust、Go、微服务、Cassandra、 Hadoop、blablabla.........而运维则倾向于使用以往用过的工具,因为事实证明那些旧的工具很有效。

yne7 2015-03-30   70708   1
Docker  
P150

  Hadoop 介绍 文档

进化MapReduce是offline应用 基于HDFS的HBase是online应用 48. 进化MapReduce是offline应用 基于HDFS的HBase是online应用 49. 比较 选择Baidu

tony2007 2015-06-20   625   0

CG_Hadoop:基于MapReduce的计算几何 经验

度者,当所有的存储和空间查询处理通过运行在集群节点上的空间DBMS实例。(3)MD-HBase[27]扩展了HBase去支持多维索引,允许非常高 效的使用范围和字段式查询检索点。(4)通过格网文件和R-

jopen 2016-01-05   23913   0
P150

  Hadoop 入门 文档

进化MapReduce是offline应用 基于HDFS的HBase是online应用 59. 进化MapReduce是offline应用 基于HDFS的HBase是online应用 60. 比较 选择baidu

robinzhang 2012-03-22   713   0

这些年,我工作上走过的路 资讯

从那个时候起,一直到2014年11月,我们终于完整的构建了一个数据支撑平台。 Hadoop/Spark/HBase 体系,支撑BI,数据离线分析,推荐协同计算等 分布式索引服务,支撑搜索,数据平台供查询数据的存储

jopen 2016-01-31   42991   0
1 2 3 4 5 6 7 8 9 10