腾讯分布式数据仓库:TDW 经验

TDW,腾讯分布式数据仓库项目,在Hadoop的基础上开发的腾讯内部最大的离线数据处理平台。TDW支持Oracle功能兼容的SQL语法,支持PB及的存储和TB及的计算等。 这个项目主要的应用场景是

jopen 2014-03-31   34230   0

基于Redis服务器的分布式Java数据结构实现:Redisson 经验

Redisson - 提供基于Redis服务器构建的分布式和可扩展的Java数据结构(Set, SortedSet, Map, ConcurrentMap, List, Queue, Deque, Lock

jopen 2014-08-10   37884   0

轻量化的分布式服务框架 Hasor-RSF 盘点 经验

介绍: 一个轻量化的分布式服务框架,相信这类框架已经不是什么新鲜事物,可用的替代方案有很多这里就不多说了,说一下RSF解决的问题把。 1.分布式 这个是基本功能之一,消费者会自动轮询本

jopen 2015-03-12   20752   0

适用于分布式系统的高并发API框架:Teleport 经验

Teleport是一款适用于分布式系统的高并发API框架,它采用socket全双工通信,实现S/C对等工作,支持长、短两种连接模式,支持断开后自动连接与手动断开连接,内部数据传输格式为JSON。 框架模型

jopen 2015-07-23   22577   0

LTS 轻量级分布式任务调度框架(Light Task Scheduler) 经验

框架概况: LTS是一个轻量级分布式任务调度框架。有三种角色, JobClient, JobTracker, TaskTracker。各个节点都是无状态的,可以部署多个,来实现负载均衡,实现更大的负载量

pykde 2015-06-15   218692   0

构建分布式、安全在线服务的Java框架:Orbit 经验

Orbit是一个现代Java框架,用于轻松构建和维护分布式,安全和可扩展的在线服务。 Orbit 包含两个主要组件: Orbit Actors, 一个框架使用虚拟actors来编写分布式系统. Orbit Container

jopen 2015-04-03   15502   0

MapReduce-Hadoop分布式计算模型 经验

MapReduce概述 MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。 MR由两个阶段组成:Map和Reduce,用户只需要实现map(

nbd2 2015-07-14   38345   0

分布式系统开发框架:rDSN 经验

Nucleus (rDSN) 是用于快速构建的,管理高性能,健壮的分布式系统。 rDSN 的早期版本在 Bing 中使用,用来构建分布式数据服务,在线系统运行的很好。根据用户的反馈,rDSN 进行了一些改进,现在使用

m45y 2015-06-01   18494   0

下一代分布式消息系统:Apache Kafka 经验

Apache Kafka 是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。

jopen 2015-06-13   34066   0

一种基于“哨兵”的分布式缓存设计 经验

为没有人去更新数据。 缓存更新问题 不管哪种方式,分布式缓存更新都存在并发问题,尤其在整点秒杀场景更为突出。对于简单粗暴方式,可以采用分布式锁解决:如果缓存穿透的一批请求只有一个会真正打到后端是不是就可以解决了?

ccwv 2015-06-15   46968   0

分布式开放交流平台:Axis Mundi 经验

Axis Mundi 是个安全,有弹性,分布式的开放交流平台。这个非集中化平台允许用户通过现有的匿名网络进行安全的交流,甚至是交易。Axis Mundi 是 100% 开源的。 每个用户需要运行一

jopen 2015-08-11   8485   0

快速、简洁、分布式深度学习框架:cxxnet 经验

CXXNET快速、简洁、分布式深度学习框架。 特性 Lightweight: small but sharp knife cxxnet contains concise implementation of

cmb2 2015-03-18   32826   0

构建高可用分布式Key-Value存储服务 经验

die的精神,决定使用 LedisDB + xcodis + redis-failover 来构建一个高可用分布式kv存储服务。 现有解决方案 在继续说明之前,笔者想说说曾经考虑使用或者已经使用的一些解决方案。

jopen 2015-05-04   25286   0

如何利用Spring Cloud构建起自我修复型分布式系统 经验

htm 利用Netflix所打造的组件及各类大家熟知的工具,我们完全可以顺利应对由微服务以及分布式计算所带来的技术挑战。 在过去一年当中,微服务已经成为软件架构领域一个炙手可热的新名词,而且我

jopen 2015-05-28   92635   0

用Redis实现分布式锁 与 实现任务队列 经验

这一次总结和分享用Redis实现分布式锁 与 实现任务队列 这两大强大的功能。先扯点个人观点,之前我看了一篇博文说博客园的文章大部分都是分享代码,博文里强调说分享思路比分享代码更重要(貌似大概是这个意

jopen 2015-11-21   22860   0

三星分布式机器学习平台:VELES 经验

VELES 是分布式深度学习应用系统,用户只需要提供参数,剩下的都可以交给 VELES。VELES 使用 Python 编写,使用 OpenCL 或者 CUDA,利用基于 Flow 的编程。 VELES

jopen 2015-11-11   26407   0

分布式RPC调用框架:Nepxion-Thunder 经验

Framework) + Redis + FST + Spring + Spring Web MVC 分布式RPC调用框架。架构思想主要是来自阿里巴巴的Dubbo框架,但比它更轻量级,零配置式实现部署。支持同步调用,异步调用

jopen 2015-12-19   32421   0

SpringMVC集成Spring-Session进行分布式管理 经验

SpringMVC集成Spring-Session进行分布式管理:项目使用的是SpringMVC+hibernate,听从老大的意见使用Spring-Session进行处理session,用redis托管Ses...

jopen 2015-12-29   115319   0

Java轻量级分布式RPC框架:lindzh RPC 经验

轻量级分部署服务调度框架的基本原理是服务提供方Provider提供rpc服务,同时把ip和端口以及发布的rpc服务注册到注册中心,客户端或者 rpc消费者从注册中心获取服务Provider列表,同时获取Provider提供的服务列表。另外客户端还会监听注册中心的数据变化,获知 server宕机或者服务不可用,将该Provider从客户端Provider缓存列表中剔除,方便做容错和负载均衡。

jopen 2015-09-14   17941   0

Logstash实践: 分布式系统的日志监控 经验

数次操作下来,程序员的心情也会变糟(我还要去维护宇宙和平的好嘛)。 这篇文章讲的就是如何解决分布式系统的日志管理问题。先给大家看看最终的效果: 单个屏幕上所有服务器的日志实时滚动着显示。每条日志开头还标明日志的来源(下图)。

码头工人 2015-12-28   70558   0
1 2 3 4 5 6 7 8 9 10