分布式搜索 Elasticsearch 简介 经验

Elasticsearch是一个基于lucene的、开源的、分布式的、RESTful的搜索引擎。Elasticsearch有如下特征: 1. 更快的执行搜索; 2. 安装简单; 3. 完全自由的搜索模式;

jopen 2014-01-17   26758   0

分布式监控系统 Ganglia 经验

Ganglia是一个跨平台可扩展的,高 性能计算系统下的分布式监控系统,如集群和网格。它是基于分层设计,它使用广泛的技术,如XML数据代表,便携数据传输,RRDtool用于数据存储和可 视化。它利用精心设计的数据结构和算法实现每节点

openkk 2012-07-29   26858   0

分布式资源管理 GridWay 经验

GridWay 是一个工作负载管理器,用于在一个由不同计算平台组成的 grid 中执行作业管理和资源调配。GridWay 主要任务是大规模、可靠和高效的计算资源分片管理。

openkk 2012-07-29   11522   0

分布式消息系统Kafka初步 经验

这一篇开始分布式消息系统的入门。 在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题: l  我想分析一下用户行为( pageviews ),以便我能设计出更好的广告位

jopen 2012-11-30   178734   0

Kafka 分布式环境搭建 经验

环境,我们会从单机版开始,然后逐渐往分布式扩展。单机版的搭建官网上就有,比较容易实现,这里我就简单介绍下即可,而分布式的搭建官网却没有描述,我们最终的目的还是用分布式来解决问题,所以这部分会是重点。

jopen 2012-12-01   121226   0

分布式跟踪系统:Zipkin 经验

Zipkin 是 Twitter 的一个开源项目,允许开发者收集 Twitter 各个服务上的监控数据,并提供查询接口。

jopen 2013-03-08   37790   0

Python 分布式计算模块:Parallel 经验

机制。能够将计算压力分布到多核CPU或集群的多台计算机上,能够非常方便的在内网中搭建一个自组织的分布式计算平台。先从多核计算开始,普通的Python应用程序只能够使用一个CPU进程,而通过Parallel

jopen 2013-11-01   48494   0

分布式处理系统:Apache Giraph 经验

Apache Giraph 是一个可伸缩的分布式迭代图处理系统,灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel. Giraph 区别于其他项目的是开源、基于

jopen 2013-05-08   32859   0

分布式自动化测试系统:Kochiku 经验

Kochiku 是一个自动化测试系统的分布式平台,包含3个组件: Web 服务器:你可以检视构建和管理资料库 后台作业:将构建切分成多个部分 Workers 用来独立允许某个构建的部分 一般一个单击可运行

jopen 2013-09-07   19812   0

分布式机器学习算法的集合:Mahout 经验

Mahout知名度很高,是Apache基金资助的重要项目,Mahout是一个分布式机器学习算法的集合,协同过滤只是其中的一部分。除了被称为Taste的分布式协同过滤的实现(Hadoop-based,另有pure Ja

jopen 2013-11-11   36239   0
Mahout   算法  

分布式数据存储:ModeShape 经验

ModeShape是一个分布式,层次化,事务性的,一致的数据存储。支持查询、全文搜索、事件,版本控制,引用和灵活的动态架构。它非常快的,高度可用,高度可扩展,100%开源和采用Java编写。 客户端使用

jopen 2014-09-15   21796   0

使用 Redis 实现分布式 经验

分布式锁是一个在很多环境中非常有用的原语, 它是不同进程互斥操作共享资源的唯一方法。有很多的开发库和博客描述如何使用Redis实现DLM(Distributed Lock Manager ),但是每个

jopen 2014-11-04   56998   0

分布式dynamo层:Netflix Dynomite 经验

Dynamo whitepaper ,是一个轻量级、分布式的 Dynamo 层,用于不同的 K/V 存储和协议。 Dynamo 是 Amazon 公司的一个分布式 存储 引擎。 Dynomite 拓扑结构:

jopen 2014-11-03   22287   0

开源分布式存储系统:katta 经验

Katta是一个可扩展的、故障容错的、分布式实施访问的数据存储。 Katta可用于大量、重复、索引的碎片,以满足高负荷和巨大的数据集。这些索引可以是不同的类型。当前该实现在 Lucene 和 Hadoop

jopen 2014-05-20   19271   0

分布式消息系统 Kafka 简介 经验

Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。

jopen 2014-08-19   61665   0

分布式任务调度平台:EasySchedule 经验

EasySchedule 是基于quartz的集群、分布式任务调度平台。广告技术部前端原有定时任务功能 相对比较简单,交互性差,任务部署效率低, 开发和维护成本高,不能很好满足各系统定时任务 的管理和控制;

jopen 2014-06-16   76173   0

分布式 Java 服务平台:Baratine 经验

Baratine 是新的分布式,基于内存的 Java 服务平台,可以构建高性能的 Web 服务,在同一个 JVM 中结合数据和逻辑。在 Baratine 中,数据和服务是一体的,服务拥有它自己的数据:

jopen 2014-11-11   13897   0

Hadoop DistributedCache分布式缓存的使用 经验

e。我的实现方法是把标签库存储成HDFS上的文件,用分布式缓存存储,这样让每个slave都能读取到这个文件。 main方法中的配置: //分布式缓存要存储的文件路径 String cachePath[]

jopen 2014-11-15   50169   0

分布式日志收集收集系统:Flume 经验

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供 对数据进行简单处理,并写到各种数据接受方(可定制)的能力。F

jopen 2014-12-04   67408   0
Flume  

分布式服务框架:Zookeeper 经验

Zookeeper是一个高性能,分布式的,开源分布式应用协调服务。它提供了简单原始的功能,分布式应用可以基于它实现更高级的服务,比如同步, 配置管理,集群管理,名空间。它被设计为易于编程,使用文件系统目录树作为数据模

jopen 2014-12-04   40250   0
1 2 3 4 5 6 7 8 9 10