(WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 为了部署HA集群,应该准备以下事情: namenode服务器: 运行namenode的服务器应该有相同的硬件配置
一个综合的分布式项目之项目环境准备: 统一JDK为1.7 tomcat端口上下游各为8080和8088,其他服务端口默认 开发工具ecl...
由于日常几乎所有贴图都被人压缩过,这样极大的减少了定期打包的时间。 CacheServer 的设计虽然简单,却不能最好的解决问题。实际打包时,还是需要很长的时间。这是因为,定期打包需要输出各个平台
1. 海量数据处理的大杀器 ——腾讯分布式数据仓库(TDW)2012年7月腾讯公司 郭玮 2. Agenda 腾讯公司的海量数据处理平台 腾讯分布式数据仓库(TDW) TDW的技术点分享 TDW技术发展展望
1. (本页无文本内容) 2. 多机房分布式数据库同步谭俊青@途牛 mysqlab.net 3. 背景 南、北数据同步存在延时 南、北专线可能会意外中断 南、北业务都不能中断 本地读取数据一致性不能得到保证
Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
项目编号 XXXXXXX 密级 秘密 项目名称 TDW 部门 数据平台部 TDW分布式数据仓库用户手册 作者 brantzhang 时间 2010-5-27 审核 时间 批准 时间 深圳腾讯计算机系统有限公司
最近研究分布式数据库架构,发现排序、分组及分页让着实人有点头疼。现把问题及解决思路整理如下。 一、 多分片(水平切分)返回结果合并(排序) 1、Select + None Aggregate Function的有序记录合并排序
Paxos是一个基于消息传递的一致性算法,近几年被广泛应用于分布式计算中,Google的Chubby,Apache的Zookeeper都是基于它 的理论来实现的,Paxos还被认为是到目前为止唯一的分布式一致性算法,其它的算法都是P
传统的运维人员通常只面对几十或者上百台的服务器,但在大规模分布式集群中,运维人员面 临工作任务明显不同。本文分别阐述服务器数量激增,要求提升全局掌控能力,如何实现系统的自我保护和自动化恢复,大规模与精细化的平衡,以及需要开发和运
目前的应用系统,不管是企业级应用还是互联网应用,最终数据的一致性是每个应用系统都要面临的问题,随着分布式的逐渐普及,数据一致性更加艰难,但 是也很难有银弹的解决方案,也并不是引入特定的中间件或者特定的开
Kreps的一篇讲Log的博文。 原文很长,但是我坚持看完了,收获颇多,也深深为Jay哥的技术能力、架构能力和对于分布式系统的理解之深刻所折服。同时也因为某些理解和Jay哥观点吻合而略沾沾自喜。 Jay Kreps
MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。 Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。
介绍 采用Java实现的基于netty轻量的高性能分布式RPC服务框架。实现了RPC的基本功能,开发者也可以自定义扩展,简单,易用,高效。 特性 服务端支持注解配置 客户端实现Filter机制,可以自定义Filter
Berkeley 研究员发布的分布式系统 Ray。开发者称,Ray 专门为人工智能应用设计,通过这款框架,运行于笔记本电脑上的原型算法仅需加入数行代码就可以转化为高效的分布式计算应用。近日,该框架已被开源。在本文中,伯克利官方
Bazaar 是一个分布式的版本控制系统,它发布在 GPL 许可协议之下,并可用于 Windows、GNU/Linux、UNIX 以及 Mac OS 系统。Bazaar 由 Canonical 公司赞助,目前已服务于
kafka 是一种高吞吐量的分布式发布订阅消息系统,她有如下特性: 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量:即使是非常普通
RethinkDB构建用于存储JSON文档,并能够很容易扩展扩展到多台机器上。它拥有一个优美的查询语言支持真正实用的查询如表格joins 和 group by。RethinkDB还易于安装和学习。
OpenNMS是首个企业级网络管理平台,使用开源模型开发。
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Stor