一个分布式 Redis 替代解决方案 经验

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的

gww3 2015-05-13   28809   0

分布式系统:Paxos算法的一个简单解释 经验

【编者的话】本文是Quora上关于Paxos算法的回答,两位答者分别从不同的角度描述Paxos算法。Vineet Gupta的回答细致入微,更偏向理论。Russell Cohen用具体的例子讲解Paxos算法,相辅相成。

jopen 2015-09-04   21676   0
算法  

Java实现的分布式搜索(知识)引擎:Iveely Search Engine 经验

是由纯Java实现,依靠Iveely.Framework和Iveely.Computing实现的分布式搜索(知识)引擎。 主要包含以下功能模块: A. 文本检索(Web & Mobile)。

jopen 2014-12-10   26772   0

Spark:比Hadoop更强大的分布式数据计算项目 经验

Spark是一个由加州大学伯克利分校(UC Berkeley AMP)开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient distributed datasets),提供

jopen 2014-12-03   46280   0

非关系性分布式数据库:HBase 经验

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File

jopen 2014-12-03   22768   0

分布式服务器集群架构方案思考 经验

nginx-reverse-proxy-conf 研究了一套完整的分布式服务器集群架构方案。 0x01.大型网站演化 简单说,分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。

jopen 2014-12-12   61622   0

百度开源的BigTable实现:Tera - 分布式表格系统 经验

支持内存表 * 动态schema,支持稀疏表 * 表格快照 * 高效随机读写 系统依赖 使用分布式文件系统(HDFS、NFS等)持久化数据与元信息 使用zookeeper选主与协调 使用Sofa-pbrpc实现跨进程通信

jopen 2015-03-11   47535   0

事务分布式数据库层:AtlasDB 经验

AtlasDB 是一个构建于 Key/Value 存储系统之上的事务处理层。当设计一个可伸缩、支持事务处理的数据存储时,被干掉的特性往往都是对事务的支持。

jopen 2015-10-06   13903   0
AtlasDB  

.net 大型分布式电子商务架构说明 经验

.net大型分布式电子商务架构说明 背景 构建具备高可用,高扩展性,高性能,能承载高并发,大流量的分布式电子商务平台,支持用户,订单,采购,物流,配送,财务等多个项目的协作,便于后续运营报表,分析,便于运维及监控。

jopen 2015-10-28   22032   0

跟我学分布式事务之2PC和3PC 经验

原文 http://flychao88.iteye.com/blog/2262326 分布式一致性回顾 在分布式系统中,为了保证数据的高可用,通常,我们会将数据保留多个副本(replica),这些副

jopen 2015-12-08   10806   0

分布式高可用 id 服务器设计实现 经验

首先,id服务必须具有高可用性,业务逻辑处理中创建id失败是不可接受的,所以id服务必须分布式部署,有多个节点同时对外服务,一个节点失败则重试其他节点,保证成功创建id。 在分布式系统中保证数据的一致性成本是很高的,为了简化设计和实

jopen 2016-01-06   7488   0

搜狗商业平台分布式消息中间件应用实践 经验

,包括广告物料、操作日志、PV 点击、上下线报文等。整个广告平台涉及实时 PV/UV 统计分析、实时安全分析、广告审核、日志汇总等通用功能和操作日志、上下线报文、账户优化等与业务线相关的功能,系统繁多,依赖关系复杂。早期,我们主要

jopen 2015-10-29   16636   0

彻底厘清真实世界中的分布式系统 经验

编者的话:本文从一个实践者的角度,首先介绍了分布式系统的一些理论结果,例如 FLP 不可能性和 CAP 定理等;然后介绍了构建实际分布式系统最重要的一个原则:端到端;最后讨论了实际系统经常用到的协调服务。

jopen 2016-01-18   23750   0

PaddlePaddle:百度分布式深度学习平台开源了 经验

百度分布式深度学习平台Paddle宣布开源,支持Python、C++和SWIG,支持多机数据并行的深度学习模型训练,并提供了Sequence to Sequence模型的Demo。 还记得百度内部

han840129 2016-09-01   92828   0

使用 Python 进行分布式系统协调 经验

随着大数据时代的到来,分布式是解决大数据问题的一个主要手段,随着越来越多的分布式的服务,如何在分布式的系统中对这些服务做协调变成了一个很棘手的问题。今天我们就来看看如何使用Python,利用开源对分布式服务做协调。

darcy_yang 2016-10-31   11976   0

一个实现 Twitter SnowFlake 算法 的 Go 分布式 UID 生成器 经验

SnowFlake 算法, 实现的分布式线程安全 UID 生成器 Feature 线程安全的 UID 生成器 绿色可插拔,无需依赖 Redis,Mysql,无状态 适合分布式系统 实现 Twitter

gaoxuzhao 2016-03-05   31571   0

关于分布式存储,这是你应该知道的 经验

前言 分布式存储存在的风险,其实就是因为“共享”、“大数据量”、“高性能”和X86服务器+廉价的磁盘为载体之间的矛盾所产生的,不是有些读者说的“数据架构”的问题。其实任何存储都存在这个问题,只是分布式存储更严重。

使用Apache Mesos打造分布式资源调度系统 经验

Mesos打造云端原生调度机制 为了从不同EC2实例为任务分配资源,我们需要一种能对可用资源进行调度,并能在分布式EC2实例上启动和监控任务的资源管理器。Apache Mesos可将要使用集群的“框架”的资源分配

hzatwhed 2016-08-19   35354   0

微店分布式监控系统实践 经验

存储层:我们利用graphite(carbon,whisper) 来存储我们的时序数据,利用 mysql 来存储任务信息和少量需要分析的异常日志。 集群路由:我们设计了一个单独的路由器,用于切割集群成为不同的集群,例如测试集群、

dhphmm 2016-12-03   13791   0

用大白话聊聊分布式系统 经验

一提起“分布式系统”,大家的第一感觉就是好高大上啊,深不可测,看各类大牛关于分布式系统的演讲或者书籍,也大多是一脸懵逼。本文期望用浅显易懂的大白话来就什么是分布式系统、分布式系统有哪些优势、分布式系统会

1 2 3 4 5 6 7 8 9 10