分布式机器学习框架:Petuum 经验

Petuum 是一个分布式机器学习框架。它致力于提供一个超大型机器学习的通用算法和系统接口。它主要集中在系统上 "plumbing work"和算法加速的优化上面,当简化分布式 ML 程序实现时——允

juio 2015-05-21   47778   0

​兔子和分布式机器学习 经验

兔子和分布式机器学习 上个学习的时候,我除了 TA 机器学习以外,另外一半的时间就是上了 System 课程。因为上课的缘故,需要做一个课程项目,于是我决定做一些和分布式机器学习相关的事情。 来到

gcd8 2015-01-21   34205   0

分布式流式处理框架:Storm 经验

Storm是一个免费开源、分布式、高容错的实时计算系统。它与其他大数据解决方案的不同之处在于它的处理方式。Hadoop 在本质上是一个批处理系统,数据被引入 Hadoop 文件系统 (HDFS) 并分发到

jopen 2014-12-03   27828   0

用 Docker 构建分布式 Redis 集群 经验

【编者的话】本文介绍了如何使用Docker搭建Redis集群,很多读者都在问Docker能带来哪些实质性的好处,我想本文就是一个很好的例子。不使用Docker你也可以搭建Redis集群,那使用Docker后会有怎么样的优势了?我想可以用两个词总结:快速和复用。

jopen 2015-02-06   44625   0
Docker  

Git之分布式VS集中式 经验

Linus一直痛恨的CVS及SVN都是集中式的版本控制系统,而Git是分布式版本控制系统,集中式和分布式版本控制系统有什么区别呢? 先 说集中式版本控制系统,版本库是集中存放在中央服务器的,而干活

jopen 2015-01-06   9421   0

谈谈分布式计算的算子层 经验

本文是我对分布式计算的算子这层的一些认识和想法。因为最近自己的开发任务也是这方面相关的,公司内部有自研的类流式计算框架需要做一层算子层。我主要分析的是流式系统上实现算子这一点入手,对比现有计算框架和业界正在开展的项目,分析分析这件事的

jopen 2015-01-16   18290   0

NodeJS+Redis实现分布式Session方案 经验

数据库存储 分布式缓存存储 分布式Session 随着网站规模(访问量/复杂度/数据量)的扩容,针对单机的方案将成为性能的瓶颈,分布式应用在所难免。所以,有必要研究一下 Session 的分布式存储。

jopen 2014-11-15   50417   0

Hadoop:分布式计算平台初探 经验

是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海 量数据进行分布式计算。Hadoop框架中最核心设计就是:MapReduce和HDFS。MapReduce提供了对数据的计算,HDFS提供了海量数

jopen 2014-12-03   24277   0

NoSQL中的分布式、容错事务 经验

随之而来的是分布式、容错事务又开始出现在了人们的视野中。 向分布式、容错事务领域的进军起始于2012年秋季,那时Google发布了 Spanner 数据库。Spanner是个全局分布式、容错、事务

jopen 2015-01-15   19908   0

反思 | 分布式框架是必须的吗? 经验

你想做流式和批量处理分析,你就需要这两种框架。当然,有些方法能够做到这一点,但我不清楚这种方法是否有更多的选择性,或者这种方法是否很难进行维持。 目前,我正在使用一个分布式系统并且它没有使用任

jopen 2015-09-24   9007   0

Apache SINGA ——分布式深度学习平台 经验

在 2015 年 3 月 17 日接纳的一个孵化项目,是个分布式深度学习平台。 SINGA 是基于大型数据集训练大型深度学习模块的常规分布式学习平台。SINGA 支持各种流行的深度学习模块,其中的 feed-forward

jopen 2016-01-17   8623   0

jedisLock—redis分布式锁实现 经验

一、使用分布式锁要满足的几个条件: 系统是一个分布式系统(关键是分布式,单机的可以使用ReentrantLock或者synchronized代码块来实现) 共享资源(各个系统访问同一个资源,资

AliciaDeal 2016-10-11   13437   0

饿了么分布式服务治理及优化经验 经验

Thrift 生成的 Java 代码在接口比较多的时候,它的一个文件就超过 20M ,连 IDE 都拒绝分析这个文件。另外 JSON 是纯文本的,因为当初也没有日志系统,也没有链路跟踪系统,排查问题的时候,

Mal24L 2016-08-18   48427   0
P33

  chapter 6 分布式系统中的死锁 文档

1. 第六章 分布式系统中的死锁 2. 6.1 死锁问题一般地说,分布式系统涉及更广泛的资源和数据共享。 同集中式系统相比,分布式系统需要通过多个机器才能得到相关信息,其死锁更难避免、更难防止、更难检

dejunw 2013-02-05   2291   0
P16

  FastDHT----分布式Hash系统 文档

1. FastDHT ----分布式Hash系统余庆 2009-6-18 2. FastDHT简介分布式hash系统,存储Key Value Pair 支持两种存储方式 缓存方式的MPOOL 持久存储方式的BDB

cellcomcn 2012-09-18   5669   0
P6

  使用 Linux 和 Hadoop 进行分布式计算 文档

使用Linux和Hadoop进行分布式计算 发表时间:2012-4-20 Ken.Mann M.Tim.Jones 来源:ibm 关键字:hadoop linux 分布式 人们每天都依赖搜索引擎以从 Internet

wwqu1020 2012-09-13   3132   0

分布式JSON对等协议 TeleHash 经验

TeleHash 是一个新的用来实时和去中心化的JSON交互协议,可让应用在网络的边界直接进行连接。受益于 TeleHash,应用程序之间可高效的进行路由和分发小的数据。

openkk 2011-12-18   20034   0

分布式缓存系统 Xixibase 经验

Xixibase是一个高性能,跨平台的分布式缓存系统。Xixibase server 采用 C++ 实现,底层网络库采用的是Boost Asio。 Xixibase 主要特点: 1. 实现'Local

fmms 2012-02-03   21702   0

基于ZooKeeper的分布式Session实现 经验

时也带来了系统的复杂性——各子系统不是孤立存在的,它们彼此 之间需要协作和交互,这就是我们常说的分布式系统。各个子系统就好比动物园里的动物,为了使各个子系统能正常为用户提供统一的服务,必须需要一种机制来进

jopen 2013-09-09   116615   0

分布式FTP服务器:DrFTPD 经验

DrFTPD 是一个纯java的分布式FTP服务器。DrFTPD由一个master节点和多个 slave 节点组成,其中 slave 节点用来真正的接收文件传输任务,而 master 用来管理 slave

jopen 2013-01-10   51706   0
1 2 3 4 5 6 7 8 9 10