Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在
EasySchedule 是基于quartz的集群、分布式任务调度平台。广告技术部前端原有定时任务功能 相对比较简单,交互性差,任务部署效率低, 开发和维护成本高,不能很好满足各系统定时任务 的管理和控制;
是新的分布式,基于内存的 Java 服务平台,可以构建高性能的 Web 服务,在同一个 JVM 中结合数据和逻辑。在 Baratine 中,数据和服务是一体的,服务拥有它自己的数据: 数据不属于数据库
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供 对数据进行简单处理,并写到各种数据接受方(可定制)的能力。F
Zookeeper是一个高性能,分布式的,开源分布式应用协调服务。它提供了简单原始的功能,分布式应用可以基于它实现更高级的服务,比如同步, 配置管理,集群管理,名空间。它被设计为易于编程,使用文件系统目录树作为数据模型。服务
够从各种日志源上收集日志,存储到一个中央存 储系统(可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。当中 央存储系统
Google Cloud Dataflow是一种构建、管理和优化复杂数据处理流水线的方法,集成了许多内部技术,如用于数据高效并行化处理的 Flume 和具有良好容错机制流处理的 MillWheel 。
tk/distributed-tracing.md 分布式跟踪系统调研 介绍 把分布式系统中各个组件的工作汇总起来,就可以得到一个全面的跟踪系统。 每个公司都会有一套自己的分布式跟踪系统。Google的Dappe
P3 二三种都支持分布式事务,但只支持Java环境下的分布式事务。 下面讨论如何在Java程序里实现分布式事务,即在同一个事务里访问多个数据源。实际上就是如何使用JTA. 这里假设使用Oracle数据库,使用W
P5 分布式对象—EJB基础 1、Java RMI RMI (Remote Method Invocation 远程方法调用)是Java的网络分布式应用系统的核心解决方案之一。它可以被看作是RPC的Jav
P55 基于ZooKeeper的分布式Session实现 1. 认识ZooKeeper ZooKeeper—— “动物园管理员”。动物园里当然有好多的动物,游客可以根据动物园提供的向导图到不同的场馆观赏
JAVA中最简单的分布式调用 RMI 前言 我们先来看一个例子: 系统中目前存在两个 JAVA 服务,分别是服务A、服务B。现在服务A 想要调用服务B中的某个服务,我们怎么实现呢? 有人觉
向前发展,而且,最近我们已经看到了有很多机器学习平台正在建立起来。 这篇文章 调查分析了多个分布式机器学习平台所使用的设计方法,并提出了未来的研究方向。这是我与我的学生Kuo Zhang、Salem
统中,维护一个递增的时间戳作为版本号很好办。分布式系统中,机器和机 器之间的时钟有误差,并且误差范围不确定,带来的问题就是很难判断事件(在本文,事件指分布式事务版本号)发生的前后关系。反应在Spanner中,就是
RICON分布式系统大会 取得了圆满的成功,这佐证了当今大型应用的重要性。各场演讲都爆满,观众的参与度也空前高涨。此次大会由 Basho Technologies (知名的分布式NoSQL数据库 Riak
当我们在生产线上用一台服务器来提供数据服务的时候,我会遇到如下的两个问题: 1)一台服务器的性能不足以提供足够的能力服务于所有的网络请求。 2)我们总是害怕我们的这台服务器停机,造成服务不可用或是数据丢失。 于
P7 Memcached 是一个高性能的分布式内存 对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象 来减少读取数据库的次数,从而提供动态、数据库驱动网站的速度。 相信很多人都用过缓存,在
P50 1. 9.6 一个RMI的分布式应用的实例用RMI编写一个分布式应用,核心有以下三方面: 定位远程对象 1. 一个应用可以利用RMI的名字服务功能注册器远程对象。 2. 可以象操作普通对象一样传送并返回一个远程对象的引用(指针)。
P21 1. 消息中间件在大型分布式系统的应用马震(锋寒)@淘宝网 2011-11-26 2. 个人简介2008年——至今 淘宝网技术专家 负责消息中间件的研发 之前在Ericsson和金蝶中间件工作 感兴趣领域:
当前,全世界各种规模的公司都在被告知需要大数据 —— 大数据是驱动下一轮创新的源动力。风投公司专门确立针对大数据的投资组合,初创公司对外宣称自己是“大数据”公司,成熟的巨头企业会成立专门做大数据项目的数字创新团队。面对