Paracel:豆瓣开发的大型分布式计算框架,用于机器学习、图算法 经验

1. Paracel的是什么? Paracel是豆瓣开发的一个分布式计算框架,它基于参数服务器范式,最初是为机器学习算法设计的。 Paracel支持数据和模型的并行,为用户提供简单易用的通信接口,

yne7 2015-03-30   17278   0

安全可靠的、支持扩展的分布式网路服务器:maple 经验

maple 是一个安全可靠的、支持扩展的分布式网路服务器。 一. gateway 2个epoll_fd,分别对应 外网链接 和 内网链接(之前也考虑过将accept线程单独放出来,后来发现会导致复杂度升高)

dwd4 2015-03-31   10401   0
maple  

高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 经验

(WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 为了部署HA集群,应该准备以下事情: namenode服务器: 运行namenode的服务器应该有相同的硬件配置

jopen 2015-01-08   56311   0

设计全球级的分布式、任务关键型应用 - 从实际项目中得来的教训(下) 经验

肯定代码的功能。而且,随着代码的修改,单元测试要不断进行,从而保证代码的功能正确性。 在一个分布式应用中,即使你拥有全世界最好的功能测试覆盖,系统仍然有可能出问题。 单元测试永远不够! 你需要测试

lolek 2015-12-01   12606   0

承载千万级并发的分布式系统架构设计思想 经验

数据库服务器集群无非也是想达到负载均衡提高吞吐量的作用,传统的数据库如 MySQL /oracle/ sqlserver 等,可以采用分布式安装部署,通过分表分区技术达到负载均衡,但是,为了保护数据的一致性,只能均衡读操作的负载,无法均衡

saintmyi0 2016-02-22   43672   0

一个综合的分布式项目之项目环境准备 经验

一个综合的分布式项目之项目环境准备:    统一JDK为1.7     tomcat端口上下游各为8080和8088,其他服务端口默认     开发工具ecl...

hteg4955 2016-01-22   7239   0

Codis作者黄东旭:细说分布式Redis架构设计和那些踩过的坑 经验

来自: http://dbaplus.cn/news-21-270-1.html Codis是一个分布式Redis解决方案,与官方的纯P2P模式不同,Codis采用的是Proxy-based的方案。今天

warmsaaa 2016-02-29   41247   0

分布式压缩贴图加快 Unity3D 的打包过程 经验

经过简单的考察,我发现,打包流程中最慢的环节是贴图压缩。在不同的平台,需要把原始贴图文件压缩成对应平台的压缩贴图格式: ios 平台对应的是 PVR 压缩格式;Android 平台对应的是 ETC 压缩格式,等等。

zpjg9555 2016-12-12   33878   0
P29

  海量数据处理的大杀器 - 腾讯分布式数据仓库(TDW) 文档

1. 海量数据处理的大杀器 ——腾讯分布式数据仓库(TDW)2012年7月腾讯公司 郭玮 2. Agenda 腾讯公司的海量数据处理平台 腾讯分布式数据仓库(TDW) TDW的技术点分享 TDW技术发展展望

andyxiemu 2012-08-13   1111   0
P21

  谭俊青 - 途牛多数据中心分布式数据库同步 文档

1. (本页无文本内容) 2. 多机房分布式数据库同步谭俊青@途牛 mysqlab.net 3. 背景 南、北数据同步存在延时 南、北专线可能会意外中断 南、北业务都不能中断 本地读取数据一致性不能得到保证

dfwm 2014-10-19   5265   0
方案   SQL  

分布式分析引擎 Apache Kylin v1.5.3 正式发布 资讯

Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

jopen 2016-07-29   12355   0
P39

  腾讯TDW分布式数据仓库用户手册 文档

 项目编号 XXXXXXX 密级 秘密 项目名称 TDW 部门 数据平台部 TDW分布式数据仓库用户手册 作者 brantzhang 时间 2010-5-27 审核 时间 批准 时间 深圳腾讯计算机系统有限公司

gtimehero 2013-01-04   1102   1

分布式数据库架构--排序、分页、分组、实现 经验

最近研究分布式数据库架构,发现排序、分组及分页让着实人有点头疼。现把问题及解决思路整理如下。 一、 多分片(水平切分)返回结果合并(排序) 1、Select + None Aggregate Function的有序记录合并排序

jopen 2014-09-20   40840   0

Paxos分布式一致性算法简介和Apache ZooKeeper的概念映射 经验

Paxos是一个基于消息传递的一致性算法,近几年被广泛应用于分布式计算中,Google的Chubby,Apache的Zookeeper都是基于它 的理论来实现的,Paxos还被认为是到目前为止唯一的分布式一致性算法,其它的算法都是P

jopen 2014-12-21   23295   0

飞天5K实战经验:大规模分布式系统运维实践 经验

传统的运维人员通常只面对几十或者上百台的服务器,但在大规模分布式集群中,运维人员面 临工作任务明显不同。本文分别阐述服务器数量激增,要求提升全局掌控能力,如何实现系统的自我保护和自动化恢复,大规模与精细化的平衡,以及需要开发和运

jopen 2014-10-29   36395   0

系统分布式情况下最终一致性方案梳理 经验

目前的应用系统,不管是企业级应用还是互联网应用,最终数据的一致性是每个应用系统都要面临的问题,随着分布式的逐渐普及,数据一致性更加艰难,但 是也很难有银弹的解决方案,也并不是引入特定的中间件或者特定的开

jopen 2015-10-17   12331   0

学习笔记:The Log(我所读过的最好的一篇分布式技术文章) 经验

Kreps的一篇讲Log的博文。 原文很长,但是我坚持看完了,收获颇多,也深深为Jay哥的技术能力、架构能力和对于分布式系统的理解之深刻所折服。同时也因为某些理解和Jay哥观点吻合而略沾沾自喜。 Jay Kreps

jopen 2015-07-20   53392   0

分布式文档存储数据库 MongoDB 2.0 正式版发布 资讯

MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。 Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。

fmms 2011-09-12   12768   0
MongoDB   NOSQL  

Java开源: Voyage - Java 实现的基于 Netty 的轻量、高性能分布式 RPC 服务框架 经验

介绍 采用Java实现的基于netty轻量的高性能分布式RPC服务框架。实现了RPC的基本功能,开发者也可以自定义扩展,简单,易用,高效。 特性 服务端支持注解配置 客户端实现Filter机制,可以自定义Filter

wenqingbao 2017-03-28   26120   0

伯克利AI分布式框架Ray,兼容TensorFlow、PyTorch与MXNet 经验

Berkeley 研究员发布的分布式系统 Ray。开发者称,Ray 专门为人工智能应用设计,通过这款框架,运行于笔记本电脑上的原型算法仅需加入数行代码就可以转化为高效的分布式计算应用。近日,该框架已被开源。在本文中,伯克利官方

rwv8660 2018-01-10   21345   0
1 2 3 4 5 6 7 8 9 10