海量文件的分布式计算处理方案 博客

duce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如 同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分布

Hadoopp 2012-09-28   803   0

分布式ID生成方法 经验

oschina.net/CandyDesire/blog/619122 一、需求缘起 几乎所有的业务系统,都有 生成一个记录标识的需求 ,例如: ( 1 )消息标识: message-id ( 2

hanxiaola 2016-02-22   19338   0

分布式团队工作的乐趣与好处 资讯

当我说我们是一个分布式团队时,我是指我们确实分布在整个地球上。Buffer 团队现在有 25 人,下面是 团队成员的位置图 。 分布式是如此快乐的 6 个原因 我认为分布式团队经常关注在挑

jopen 2014-07-23   7228   0

分布式云端机器学习 资讯

Selvaraj 译者: 张彤 如今,各类企业都在积聚越来越庞大的数据资产,比如用户行为、系统访问、使用模式等数据记录。而运用像 微软 Azure 机器学习平台 这样的云端服务平台,企业不仅仅

jopen 2015-06-03   14644   0

用于处理分布式数据 - COOPY 经验

COOPY 是一组工具包用于处理分布式数据,支持数据比较、补丁、合并以及版本控制,支持数据格式包括:CSV, Excel, MySQL, Sqlite 等等 项目主页: http://www

openkk 2012-02-15   17151   0

分布式爬虫框架:Cola 经验

Cola Cola是一个分布式的爬虫框架,用户只需编写几个特定的函数,而无需关注分布式运行的细节。任务会自动分配到多台机器上,整个过程对用户是透明的。 依赖 首先,确保Python版本为2.6或者2

jopen 2014-07-18   84246   0

Hadoop2.2.0分布式安装 经验

确保ssh能无密码登录,jdk已安装,环境变量配置好(具体参加相应教程) 1、下载 hadoop-2.2.0.tar.gz ,解压tar -xzvf  hadoop-2.2.0.tar.gz

jopen 2014-09-10   10791   0

开源分布式的时序:InfluxDB 经验

InfluxDB是一个开源分布式的时序、事件和指标数据库。InfluxDB使用Go语音编写,无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。 在InfluxDB数据库中,一切都是基于时间序列的

jopen 2014-02-01   34777   0

分布式应用协同服务:ZooKeeper 经验

Hadoop的一个子项目,其实现的功能与Google的Chubby基本一致,主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 数据模型: zooke

jopen 2013-12-28   17492   0

Java 分布式消息中间件 Metamorphosis 经验

Metamorphosis是一个高性能、高可用、扩展分布式消息中间件,类似于LinkedIn的Kafka,具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日

openkk 2012-03-07   33751   0

memcache安装和简单的分布式 经验

是保存在 /home/tmp/memcached.pid 这里还做了一个分布式  、记得哦 亲们 分布式是在客户端实现,利用客户端自带的hash算法实现存储到不同的服务器上 写了一些简单代码

jopen 2013-10-11   18147   0

Hadoop完全分布式搭建 经验

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google

jopen 2013-12-05   56465   0

分布式数据库 Hypertable 经验

Hypertable是一个开源、高性能、伸缩的数据库,它采用与Google的Bigtable相似的模型。在过去数年中,Google为在 PC集群 上运行的伸缩计算基础设施设计建造了三个关键部分。第一个关键的基础设施是Google

openkk 2012-06-09   15795   0

NoSQL数据库的分布式算法 经验

Distributed Algorithms in NoSQL Databases 系统扩展性是推动NoSQL运动发展的的主要理由,包含了分布式系统协调,故障转移,资源管理和许多其他特性。这么讲使得NoSQL听起来像是

jopen 2012-11-09   37342   0
算法   NOSQL  

DMF:分布式多平台框架 经验

开发框架,包括代码生成和UML 导入/导出。基于组件的编程框架。该项目旨在支持各种目标框架。基于wxWidgets的GUI应用程序是主要的示例。还提供了快速数据库GUI设计包含UML导入/导出(DB逆向工程)。

jopen 2013-07-23   11254   0

分布式数据库概述 经验

上。这时集中式数据库系统表 现出它的不足:数据按实际需要已在网络上分布存储,再采用集中式处理,势必造成通信开销大;应用程序集中在一台计算机上运行,一旦该计算机发生故障,则整 个系统受到影响,可靠性不高

jopen 2013-07-20   14835   0

分布式流处理框架:Apache Samza 经验

Apache Samza 是一个分布式流处理框架。它使用 Apache Kafka 用于消息发送,采用 Apache Hadoop YARN 来提供容错,处理器隔离,安全性和资源管理。专用于实时数据的

jopen 2013-09-23   27242   0

使用zookeeper实现分布式共享锁 经验

分布式系统中经常需要协调多进程,多个jvm,或者多台机器之间的同步问题,得益于zookeeper,实现了一个分布式的共享锁,方便在多台服务器之间竞争资源时,来协调各系统之间的协作和同步。 package

jopen 2013-06-05   52064   0

NoSQL数据库的分布式算法 经验

wordpress.com 译文出处: juliashine 系统扩展性是推动NoSQL运动发展的的主要理由,包含了分布式系统协调,故障转移,资源管理和许多其他特性。这么讲使得NoSQL听起来像是

jopen 2014-12-25   29198   0
算法   NOSQL  

分布式服务调用框架:eos 经验

eos (easy operation service)是公司内部开发的分布式服务调用框架,基于zookeeper,netty,hessian等成熟框架。在使用上与spring无缝结合,无任何学习成本

jopen 2014-10-06   20377   0
1 2 3 4 5 6 7 8 9 10