Python并发分布式开发框架 asyncoro 经验

asyncore库是python的一个标准库,它是一个异步 socket的包装。我们操作网络的时候可以直接使用socket等底层的库,但是 asyncore使得我们可以更加方便的操作网络,避免直接使用socket,select,poll等工具时需要面对的复杂。

jopen 2012-07-09   21625   0

EhCache 分布式下缓存对象的同步 经验

为了提升目前开发产品的性能,项目组内考虑将一些常用的数据放入缓存,并且今后要将系统分布式部署,以达到负载均衡的目的,因此缓存同步问题就不得不需要考虑,该项目中主要用 EhCache 产品, EhCache

jopen 2012-09-03   63894   0

分布式应用开发框架:Apache Twill 经验

Apache Hadoop YARN 的抽象层,减少了开发分布式应用程序的复杂度,允许开发者把精力放在应用逻辑上。Apache Twill 可以让你向使用线程一样来使用 YARN 的分布式编程模型。

jopen 2014-12-15   11943   0

使用 Redis 实现分布式系统轻量级协调技术 经验

分布式系统中,各个进程(本文使用进程来描述分布式系统中的运行主体, 它们可以在同一个物理节点上也可以在不同的物理节点上)相互之间通常是需要协调进行运作的,有时是不同进程所处理的数据有依赖关系,必须按照一定的次序进

ny8p 2015-06-19   23978   0

Apache Spark在大规模分布式自然语言处理的应用 经验

我们TripAdvisor公司拥有大量的用户评价数据,据最近的一次公告,大约有几亿条。我是从事机器学习相关的工作,在机器学习中我们常喜欢做的一件事就是堆砌大量数据来分析。 最近我一直在研究一个有趣的

d2dn 2015-09-11   16802   0

京东开源的分布式SQL查询引擎:Presto 经验

Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。

wge7 2015-06-25   32952   0
Presto  

mfs分布式存储+master端高可用 经验

dist mfschunkserver mkdir -p /data1/mfs //设置个目录存放数据 chown nobody.nobody /data1/mfs vim /etc/mfschunkserver

n2fy 2015-08-02   15680   0
mfs  

如何实现XA式、非XA式Spring分布式事务 经验

API和XA协议是Spring常用的分布式事务机制,不过你可以选择选择其他的实现方式。理想的实现取决于你的应用程序使用何种资源,你愿意在性能、安全、系统稳健性、数据完整方面做出何种权衡。在这次Java

xf3f 2015-04-24   91223   0

一个分布式 Redis 替代解决方案 经验

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的

gww3 2015-05-13   28809   0

分布式系统:Paxos算法的一个简单解释 经验

-一个协调器发送一个值到所有的节点并收集它们的响应(不管它们是否接受这个值)。在我们的场景中,事务协调器便会询问所有的资源管理器(如数据库服务实例)是否能够提交这个事务。资源管理回复是或否。 提交阶段 -如果每个节点都接受这个值,协调

jopen 2015-09-04   21676   0
算法  

Java实现的分布式搜索(知识)引擎:Iveely Search Engine 经验

是由纯Java实现,依靠Iveely.Framework和Iveely.Computing实现的分布式搜索(知识)引擎。 主要包含以下功能模块: A. 文本检索(Web & Mobile)。

jopen 2014-12-10   26772   0

分布式服务器集群架构方案思考 经验

nginx-reverse-proxy-conf 研究了一套完整的分布式服务器集群架构方案。 0x01.大型网站演化 简单说,分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。

jopen 2014-12-12   61622   0

百度开源的BigTable实现:Tera - 分布式表格系统 经验

Tera实现了按行key、列和时间戳全局排序的三维数据模型,并且针对万兆网卡和SSD进行了优化,适合海量记录(万亿量级)的持久存储和高效随机访问。 特性 * 全局有序 * 热点自动分片 * 数据强一致 * 多版本,自动垃圾收集

jopen 2015-03-11   47535   0

.net 大型分布式电子商务架构说明 经验

.net大型分布式电子商务架构说明 背景 构建具备高可用,高扩展性,高性能,能承载高并发,大流量的分布式电子商务平台,支持用户,订单,采购,物流,配送,财务等多个项目的协作,便于后续运营报表,分析,便于运维及监控。

jopen 2015-10-28   22032   0

跟我学分布式事务之2PC和3PC 经验

http://flychao88.iteye.com/blog/2262326 分布式一致性回顾 在分布式系统中,为了保证数据的高可用,通常,我们会将数据保留多个副本(replica),这些副本会放置在不同的物理的机

jopen 2015-12-08   10806   0

分布式高可用 id 服务器设计实现 经验

中创建id失败是不可接受的,所以id服务必须分布式部署,有多个节点同时对外服务,一个节点失败则重试其他节点,保证成功创建id。 在分布式系统中保证数据的一致性成本是很高的,为了简化设计和实现,每个

jopen 2016-01-06   7488   0

搜狗商业平台分布式消息中间件应用实践 经验

html?ca=drs- 背景概述 搜狗商业平台负责搜狗商业广告平台的研发,其广告平台中存在大量的数据,包括广告物料、操作日志、PV 点击、上下线报文等。整个广告平台涉及实时 PV/UV 统计分析、实

jopen 2015-10-29   16636   0

彻底厘清真实世界中的分布式系统 经验

编者的话:本文从一个实践者的角度,首先介绍了分布式系统的一些理论结果,例如 FLP 不可能性和 CAP 定理等;然后介绍了构建实际分布式系统最重要的一个原则:端到端;最后讨论了实际系统经常用到的协调服务。

jopen 2016-01-18   23750   0

PaddlePaddle:百度分布式深度学习平台开源了 经验

百度分布式深度学习平台Paddle宣布开源,支持Python、C++和SWIG,支持多机数据并行的深度学习模型训练,并提供了Sequence to Sequence模型的Demo。 还记得百度内部

han840129 2016-09-01   92828   0

使用 Python 进行分布式系统协调 经验

随着大数据时代的到来,分布式是解决大数据问题的一个主要手段,随着越来越多的分布式的服务,如何在分布式的系统中对这些服务做协调变成了一个很棘手的问题。今天我们就来看看如何使用Python,利用开源对分布式服务做协调。

darcy_yang 2016-10-31   11976   0
1 2 3 4 5 6 7 8 9 10