海量文件的分布式计算处理方案 博客

Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如 同java程序员可以不考虑内存泄露一样,

Hadoopp 2012-09-28   803   0

分布式系统,你真的了解吗? 经验

承载量是分布式系统存在的原因 当一个互联网业务获得大众欢迎的时候,最显著碰到的技术问题,就是服务器非常繁忙。当每天有1000万个用户访问你的网站时,无论你使用什么样的服务器硬件,都不可能只用一台机

分布式ID生成方法 经验

为了解决上述两个问题,引出了第二个常见的方案 【常见方法二:单点批量 ID 生成服务】 分布式系统之所以难,很重要的原因之一是“没有一个全局时钟,难以保证绝对的时序”,要想保证绝对的时序,还是

hanxiaola 2016-02-22   19338   0

分布式团队工作的乐趣与好处 资讯

当我说我们是一个分布式团队时,我是指我们确实分布在整个地球上。Buffer 团队现在有 25 人,下面是 团队成员的位置图 。 分布式是如此快乐的 6 个原因 我认为分布式团队经常关注在挑

jopen 2014-07-23   7228   0

分布式云端机器学习 资讯

普遍需求。随着数据量的剧增,分布式储存已成为必然趋势。在许多应用中,收集数据本身就是一个 分散的过程,自然导致了分布式的数据储存。这种情况下,建立起以分布式计算处理分布式数据的机器学习(以下简称“ML”)方案就十分必要。这些方案包括:

jopen 2015-06-03   14644   0

用于处理分布式数据 - COOPY 经验

COOPY 是一组工具包用于处理分布式数据,支持数据比较、补丁、合并以及版本控制,支持数据格式包括:CSV, Excel, MySQL, Sqlite 等等 项目主页: http://www

openkk 2012-02-15   17151   0

分布式爬虫框架:Cola 经验

Cola Cola是一个分布式的爬虫框架,用户只需编写几个特定的函数,而无需关注分布式运行的细节。任务会自动分配到多台机器上,整个过程对用户是透明的。 依赖 首先,确保Python版本为2.6或者2

jopen 2014-07-18   84246   0

Comcast 的开源的分布式系统库:Sirius 经验

Sirius 是一个来自 Comcast 的开源的分布式系统库,为你的应用程序提供方便、低延迟的访问呢重要的参考数据,这些数据的特点是小、相对很少更新的只读数据集。由于目前的内存资源成本越来越低,多数数据都直接在内存中存放。

jopen 2014-04-24   13044   0

Hadoop2.2.0分布式安装 经验

Hadoop2.2.0分布式安装

jopen 2014-09-10   10791   0

开源分布式的时序:InfluxDB 经验

InfluxDB是一个开源分布式的时序、事件和指标数据库。InfluxDB使用Go语音编写,无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。 在InfluxDB数据库中,一切都是基于时间序列的

jopen 2014-02-01   34777   0

分布式应用协同服务:ZooKeeper 经验

Hadoop的一个子项目,其实现的功能与Google的Chubby基本一致,主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 数据模型: zooke

jopen 2013-12-28   17492   0

分布式系统治理:JBoss Overlord 经验

任何计算机系统,无论是集中式或分布式,需要某种形式的治理,即。监控和管理系统的行为。等治理可能简单,确保只有授权用户可以访问的功能(如服务),或保证一样复杂系统及其组件保持可用性或可靠性水平的存在故障或增加系统负载。

jopen 2014-07-05   11187   0

Java 分布式消息中间件 Metamorphosis 经验

Metamorphosis是一个高性能、高可用、可扩展的分布式消息中间件,类似于LinkedIn的Kafka,具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日

openkk 2012-03-07   33751   0

分布式跟踪系统 Zipkin 经验

Zipkin 是 Twitter 的一个开源项目,允许开发者收集 Twitter 各个服务上的监控数据,并提供查询接口。

openkk 2012-06-09   39229   0

memcache安装和简单的分布式 经验

是保存在 /home/tmp/memcached.pid 这里还做了一个分布式  、记得哦 亲们 分布式是在客户端实现,利用客户端自带的hash算法实现存储到不同的服务器上 写了一些简单代码

jopen 2013-10-11   18147   0

Hadoop完全分布式搭建 经验

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google

jopen 2013-12-05   56465   0

分布式系统协调 Apache ZooKeeper 经验

ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务

openkk 2012-06-09   23898   0

分布式数据库 Hypertable 经验

上运行的可伸缩计算基础设施设计建造了三个关键部分。第一个关键的基础设施是Google File System(GFS),这是一个高可用的文件系统,提供了一个全局的命名空间。它通过跨机器(和跨机架)的文件数据复制来达到高可用性,并因此免受传统

openkk 2012-06-09   15795   0

NoSQL数据库的分布式算法 经验

系统的可扩展性是推动NoSQL运动发展的的主要理由,包含了分布式系统协调,故障转移,资源管理和许多其他特性。这么讲使得NoSQL听起来像是 一个大筐,什么都能塞进去。尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革,

jopen 2012-11-09   37342   0
算法   NOSQL  

DMF:分布式多平台框架 经验

开发框架,包括代码生成和UML 导入/导出。基于组件的编程框架。该项目旨在支持各种目标框架。基于wxWidgets的GUI应用程序是主要的示例。还提供了快速数据库GUI设计包含UML导入/导出(DB逆向工程)。

jopen 2013-07-23   11254   0
1 2 3 4 5 6 7 8 9 10