P7

  开源日志系统比较 文档

够从各种日志源上收集日志,存储到一个中央存储系统 (可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。 它最重要的特点

vv2011_p 2012-12-21   606   0

颠覆大数据分析之Spark弹性数据集 经验

中每次迭代都会涉及HDFS的读写,而在Spark中则要简单得多。它仅需从HDFS到Spark中的分布式共享对象空间的一次读入——从HDFS文件中 创建RDD。RDD可以重用,在机器学习的各个迭代中它都

likeo 2015-04-21   18486   0

淘宝技术发展(Java时代:坚若磐石) 经验

限 了。要突破这种极限,最简单的方式就是多用几个Oracle数据库。但一个封闭的系统做扩展,不像分布式系统那样轻松。我们把用户的信息按照ID来放到两 个数据库里面(DB1/DB2),把商品的信息跟着卖

jopen 2012-11-17   24626   0

消息总线重构之简化客户端 经验

同时谈谈对消息总线的一些想法。 简化client的复杂度 之前的client需要同时连接两个分布式组件。消息总线的访问需要用户提供pubsuberHost,pubsuberPort参数,因此它首先

jopen 2015-11-01   12019   0

淘宝技术发展(Java时代:坚若磐石) 资讯

。要突破这种极限,最简 单的方式就是多用几个 Oracle 数据库。但一个封闭的系统做扩展,不像分布式系统那样轻松。我们把用户的信息按照 ID 来放到两个数据库里面(DB1/DB2),把商品的信息跟着

fmms 2012-04-03   25280   0
淘宝  
P28

  电信场景下Spark一站式分析平台 文档

Server 2288数据探索数据挖掘可视化批处理流计算预处理数据采集和组织 追求信息完整,高效组织分布式计算 追求Scale out,性价比,多计算模式算法、模型 追求智能,平台化,平民化 19. 算法模型

w7d33 2014-10-06   3838   0
P43

  Git 简单讲座pptx 文档

1. Git简单讲座分布式版本管理工具李刚 ligang@edu2act.org 2. 版本管理工具版本管理工具的产生 为什么会产生版本管理工具? 版本工具的产生是因为懒惰的程序员不愿意每天备份代码。

sunkenfish 2012-12-24   709   0
P33

  类BigTable云存储系统v3 文档

Bigtable是一个稀疏的、分布式的、永久化存储的多维度排序Map。 Map的索引是行关键字、列关键字以及时间戳;Map中的每个value都是一个未经解析的byte数组。 关键词 多维度Map 稀疏 分布式 永久化存储

guangzhiwang 2012-01-05   3646   0
P45

  MongoDB 技术交流 文档

andra, HBase, Riak典型应用场景分布式文件系统数据模型以列簇式存储,将同一列数据存在一起强项查找速度快,可扩展性强,更容易进行分布式扩展弱项功能相对局限2.列式数据库 6. 6ExamplesCouchDB

叶荣军 2012-08-22   4970   0

开源日志系统比较:scribe、chukwa、kafka、flume 经验

够从各种日志源上收集日志,存储到一个中央存储系统 (可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。 它最重要的

jopen 2013-12-11   163521   0

MySQL Cluster集群探索与实践 经验

扩展性。 MySQL集群是一种分布式设计,目标是要达到没有任何单点故障点。因此,任何组成部分都应该拥有自己的内存和磁盘。任何共享存储方案如网络共享,网络文件系统和SAN设备是不推荐或不支持的。通过

jopen 2012-09-29   24853   0

大型网站技术架构的演进 经验

20% 的数据上,如果我们能将这部分数据缓存下来,性能一下子就上来了。而缓存又分为两种:本地缓存和远程分布式缓存。具体使用哪种?还是两种都用,我目前不知道。 这里有一个问题,书没有提到:应该缓存哪些数据?应该有一些原则的吧。

jopen 2015-04-14   30071   0

全球最杰出的14位程序员 资讯

个人简介/主要荣誉: 谷歌大规模分布式计算系统的设计师,例如:站点爬行,索引与搜索,在线广 告,MapReduce,BigTable 以及 Spanner (分布式数据库)。2009 年进入美国国家工程院;2012

jopen 2014-07-11   12909   0

大型网站技术架构的演进 资讯

因为80%的业务访问都集中在20%的数据上,如果我们能将这部分数据缓存下来,性能一下子就上来了。而缓存又分为两种:本地缓存和远程分布式缓存。具体使用哪种?还是两种都用,我目前不知道。 这里有一个问题,书没有提到:应该缓存哪些数据?应该有一些原则的吧。

jopen 2015-08-18   31522   0
架构  

[译]从LinkedIn,Apache Kafka到Unix哲学 经验

哲学(philosophy)。我将展示这种哲学与主流数据库设计方式截然不同的原因;并探索如果现代分布式数据系统从Unix中学到了一些皮毛,那它在今天将发展成什么样子。 特别是,我觉得Unix管道与

jopen 2015-09-11   27066   0
P6

  MemCached Cache Java Client封装优化历程 文档

Memcached 介绍 Memcached是一种集中式Cache,支持分布式横向扩展。这里需要有点说明,很多开发者觉得Memcached是一种分布式Cache,但是其实Memcached服务端本身是单实例的,只

pengle 2012-05-24   781   0
P6

  MemCached Cache Java Client 封装优化历程 文档

Memcached 介绍 Memcached是一种集中式Cache,支持分布式横向扩展。这里需要有点说明,很多开发者觉得Memcached是一种分布式Cache,但是其实Memcached服务端本身是单实例的,只

css0613 2012-09-05   3724   0

探索5K巅峰,云梯架设的飞天之梦 经验

对任何企业而言,服务压力上涨都是幸福的烦恼。而到了阿里这样的规模,不管是幸福还是烦恼都被放大了无数倍。对于大规模分布式离线存储和计算集群来 说,如果原有集群不能通过简单的增添主机来增加存储空间和计算能力,横向扩展遭遇

jopen 2014-10-30   30429   0
P6

  MemCached Cache Java Client封装优化历程 文档

Memcached 介绍 Memcached是一种集中式Cache,支持分布式横向扩展。这里需要有点说明,很多开发者觉得Memcached是一种分布式Cache,但是其实Memcached服务端本身是单实例的,只

pengle 2012-03-31   3917   0

任务和调度:理解批量处理的关键设计 经验

写脚本,在类Unix系统中通过cron程序定时启动执行。但是这种模式仅仅适合单机处理的情况,没有分布式处理的能力,同时也没有办法进行统一的监控管理。在实际使用时,可能同时存在数量巨大的批量任务,如何管

ss5723 2016-08-31   33577   0
1 2 3 4 5 6 7 8 9 10