分布式的系统用于构建,部署和运行服务:PaaSTA 经验

PaaSTA是一个高度可用的,分布式的系统用于构建,部署和运行服务使用容器和Apache Mesos。 组件 Note : PaaSTA is an opinionated platform that

jopen 2015-11-13   13084   0

分布式并行计算调度和管理系统Summoner 经验

Summoner的特性 Summoner 是国玺部门推出的基于 MySQL+Redis+Zookeeper 的分布式并行计算调度和管理系统,李红红主设。 0x00,为什么要做“数据”并行计算调度? 大家都可能做过

jopen 2016-01-08   15956   0

Hadoop分布式文件系统HDFS的工作原理详述 经验

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的 机器上。它能提供高吞吐量的数据访问,非常适合大规模数据集上的

jopen 2015-09-12   12038   0

分布式,高可用性,数据中心感知调度器:Nomad 经验

Nomad 是一个分布式,高可用性,数据中心感知调度器,专为微服务和批量处理工作流设计。Nomad 是分布式,高可用,可扩展到跨数据中心和区域的数千个节点。 Nomad 提供一个常规工作流跨基础设

jopen 2015-09-30   12529   0

在 CentOS 7.1 上安装分布式存储系统 Ceph 经验

读博士的时候开发了这套牛逼的分布式存储系统,最初是奔着高性能分布式文件系统去的,结果云计算风口一来,Ceph 重心转向了分布式块存储(Block Storage)和分布式对象存储(Object Storage),现在分布式文件系统

pm45e 2015-08-03   23051   0

当当网分布式作业调度组件:Elastic-Job 经验

Elastic-Job 是 ddframe 中 dd-job 的作业模块中分离出来的分布式弹性作业框架。去掉了和 dd-job 中的监控和 ddframe 接入规范部分。 ddframe 其他模块也有可独立开源的部分,之前当当曾开源过

jopen 2015-09-12   49607   0

大型网站架构系列:分布式消息队列(一) 经验

一、消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产

免费教程 2016-03-30   22182   0

zerg - 基于docker的分布式爬虫服务 经验

zerg 基于docker的分布式爬虫服务 特性 多机多 IP,充分利用 IP 资源 服务自动发现和注册(基于 etcd 和 registrator) 负载均衡 + 一致性哈希 服务端客户端通信基于

Twitter开源分布式高性能日志复制服务-DistributedLog 经验

一致性的功能,这对于构建可靠的分布式系统都是至关重要的,如复制状态机(replicated-state-machines)、通用的发布/订阅系统、分布式数据库以及分布式队列。 Distribute

分布式MySQL集群方案的探索与思考 经验

业务,自然而然的我们就需要考虑引入分布式的MySQL解决方案帮助业务去SQLServer/Oracle以及支撑未来的发展。 方案选型对比及京东实现方案 说到分布式MySQL的解决方案一般来说解决方

chooji 2016-05-11   25229   0

Dubbo分布式服务框架入门(附工程) 经验

端网站和微信端网站都依赖接口服务项目,调用后台数据库数据。在这种场景下就是应该使用Dubbo这种分布式服务框架了。当然这只是Dubbo的一个最浅显的功能。 有些猿友可能会问到了,为什么搞那么多各项

jopen 2016-01-19   45108   0

支持MySQL协议的分布式数据库 经验

【编者按】TiDB 是国内 PingCAP 团队开发的一个分布式 SQL 数据库。其灵感来自于 Google 的 F1,TiDB 支持包括传统 RDBMS 和 NoSQL 的特性。在国内ITOM 管理平台OneAPM

RandallWing 2016-01-21   22162   0

分布式任务分发框架Gearman教程和PHP实现实例 经验

言多系统之间的集成。 甚至我们通过增加更多的Worker,可以很方便的实现应用程序的分布式负载均衡架构。 2、Gearman job分发服务端安装 安装Gearman server

LouL36 2016-01-22   10317   0

大型分布式网站架构技术总结 经验

本文是学习大型分布式网站架构的技术总结。对架构一个高性能,高可用,可伸缩,可扩展的分布式网站进行了概要性描述,并给出一个架构参考。一部分为读书笔记,一部分是个人经验总结。对大型分布式网站架构有很好的参考价值。

yuguo138 2016-02-22   26126   0

分布式存储产品的测试实践及心得 经验

来自: http://mtydev.net/?p=630 背景介绍 这几年我一直从事分布式存储产品的测试开发工作,伴随着产品的第一次上线,第一次升级,一直到今天。期间参与发布了无数个版本,支持着海量的用户对我们存储产品的需求。

luciferxx54 2016-01-27   61061   0

一个综合的分布式项目之性能测试 经验

但就总体来说响应速度和吞吐量在单台普通笔记本上还是达到了一个比较理想的状态。 至此这个综合的分布式项目全部完毕,在此基础上可以迭代出很多东西,代码我已经更新,在github上可以看到全部代码,有兴趣的自己fork

n72kimo 2016-01-26   28823   0

通过微服务进行分布式应用开发 经验

U使用率的服务运行于多线程的技术栈中。 相比庞大结构,微服务也拥有一些缺陷。第一,部署和管理分布式应用相比一个独立程序时非常困难的。微服务需要一个进程间通信(IPC)机制来与不同微服务之间进行通信,这样会影响到性能(取决于网络带宽)。

机器人er 2016-10-13   22106   0

深度学习利器:分布式TensorFlow及实例分析 经验

2016年04月29日:DeepMind模型迁移到TensorFlow。 2016年04月14日:发布了分布式TensorFlow。 TensorFlow是一种基于图计算的开源软件库,图中节点表示数学运算

4971581 2016-12-06   76828   0

微服务和分布式对象第一定律 经验

当我写 企业应用程序架构的模式 时,我创造了我所谓的分布式对象设计 第一定律:“不分发你的对象” 。近几个月来, 微服务 引起了很多人的兴趣,导致一些人质疑微服务是否违反了这项定律,如果是,我为什么赞成他们?

hanziyi 2017-03-22   20931   0

微服务架构下的分布式数据管理 经验

摘要 本文详细的介绍了分布式数据管理的各种举措和一些应用案例,具有很强的实战指导作用。 1.1 分布式数据管理之痛点 为了确保微服务之间松耦合,每个服务都有自己的数据库, 有的是关系型数据库(

CleOsgood 2017-03-14   18539   0
1 2 3 4 5 6 7 8 9 10