分布式大数据高并发的web开发框架 经验

分布式大数据高并发的 web 开发框架 作者:一灯 一、引言 通常我们认为静态网页html的网站速度是最快的,但是自从有了动态网页之后,很多交互数据都从数据库查询而

jopen 2015-12-25   27320   0

Apache Eagle:eBay开源分布式实时Hadoop数据安全引擎 经验

、技术架构、核心实现以及开源社区推广等。 消息 日前,eBay公司隆重宣布正式向开源业界推出分布式实时安全监控方案:Apache Eagle,该项目已于2015年10月26日正式加入Apache基金会成为孵化器项目。

jopen 2016-01-06   30988   0

SpringBoot应用之分布式索引 经验

SpringBoot应用系列文章 SpringBoot应用之配置中心 SpringBoot应用之分布式会话 SpringBoot应用之分布式索引 序 本文主要讲怎么在SpringBoot中使用elasticsea

FranciscaNV 2016-01-29   22707   0

一种基于“哨兵”的分布式缓存设计 经验

没有人去更新数据。 缓存更新问题 不管哪种方式,分布式缓存更新都存在并发问题,尤其在整点秒杀场景更为突出。对于 简单粗暴 方式,可以采用分布式锁解决:如果缓存穿透的一批请求只有一个会真正打到后端是不是就可以解决了?

AngBold 2016-02-11   29752   0

Zookeeper的Paxos分布式一致性算法-类比的方式去理解 经验

Paxos是一个基于消息传递的一致性算法,近几年被广泛应用于分布式计算中,Google的Chubby,Apache的Zookeeper都是基于它的理论来实现的,Paxos还被认为是到目前为止唯一的分布式一致性算法,其它的算法都是Pa

MagaretTall 2016-02-03   11701   0

Distributed-Kit - 基于redis和zookeeper分布式工具集 经验

Distributed-Kit 基于redis和zookeeper分布式工具集-包括:分布式锁实现,分布式速率限制器,分布式序列等. 使用 maven: 需先编译安装到本地仓库或者本地私服。

jopen 2016-02-29   14788   0

分布式计算编程模型之RPC 经验

远程过程调用 (RPC)范式的出现可以追溯到40年之前。时至今日,它仍是在编写分布式应用时使用率最高的一种编程模型。只是近些年来,人们对于RPC技术的质疑与批评声逐渐多了起来。Steve Vinoski在2008年曾尖锐地

Raft 为什么是更易理解的分布式一致性算法 经验

net/mindfloating/article/details/50774564 一致性问题可以算是分布式领域的一个圣殿级问题了,关于它的研究可以回溯到几十年前。 拜占庭将军问题 Leslie Lamport

dollgo 2016-03-01   23648   0

一文读懂Hadoop、HBase、Hive、Spark分布式系统架构 经验

机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统,hadoop用户分布式存储和map-reduce计算,spark用于分布式机器学习,hive是分布式数据库,hbase是分布式kv系统,看似互不相关的他们却都

flylong 2016-09-01   15746   0

分布式数据库模式与反模式 经验

CTO 黄东旭在「2016中国数据分析师行业峰会(CDAS)」 “数据库与技术实战”分论坛上,分享了《分布式数据库模式与反模式》的主题演讲。老规矩,给你们想要的演讲实录。 以下为现场演讲实录: 我们现在正在做一个

MingTian 2016-10-09   6846   0

分布式追踪系统架构与设计 经验

先前的博客公告 中讨论过为什么Knewton需要一个分布式追踪系统,并且数值可以被添加到一个公司中。这个章节将会更加深入探讨技术细节,我们如何实施分布式追踪系统的。 总体结构与追踪数据管理 我们的方

ngx-fastdfs:nginx + lua + fastdfs 实现分布式图片实时动态压缩 经验

install 进入docker目录 docker build -t fastdfs:dev . 使用 docker -idt -p 80:80 fastdfs:dev /bin/bash 进入容器执行 /etc/rc.local 测试 进入容器执行test目录下的./test.sh或者直接执行下面脚本 fdfs_test /etc/fdfs/client.conf upload /home/st

lahu9554 2017-01-11   36355   0
FastDFS   Nginx   Lua   Lua开发  

分布式缓存服务器 memcachedb 经验

一个由新浪网的开发人员开放出来的开源项目,给memcached分布式缓存服务器添加了Berkeley DB的持久化存储机制和异步主辅复制机制,让memcached具备了事务恢复能力、持久化能力和分布式复制能力,非常适合于需要超高性能读写速度,但是

fmms 2012-05-12   14366   0

实时分布式搜索引擎 Solandra 介绍 经验

Solandra 是一个实时分布式搜索引擎,基于 Apache Solr 和 Apache Cassandra 构建。其核心,Solandra是Solr与Cassandra的一个紧密集成。这意味着So

openkk 2011-12-30   29843   0

分布式日志收集系统: Facebook Scribe之配置文件 经验

其实我们研究一个开源的系统,第一步通常是先把它用起来,因为一个开源的系统能够出现在大家的面前肯定是比较出名和流行的,所有功能是比较出色的。所以我们必须很清楚的这些功能,而scribe最大的特点就是配置文件,它强大的功能全部通过配置文件来配置实现的,今天就简单介绍scribe的配置文件。

jopen 2012-01-11   23489   0

分布式文件系统测试方法与测试工具 经验

非结构化数据、大数据、云存储已经毫无争议地成为了信息技术发展趋势和热点,分布式文件系统作为核心基础被推到了浪潮之巅,广泛被工业界和学术界热推。现代分布式文件系统普遍具有高性能、高扩展、高可用、高效能、易使用、易管

fmms 2012-02-07   67744   0

分布式 key-value 存储系统 Scalaris 经验

Scalaris 是一个采用Erlang开发的分布式 key-value 存储系统。 Business Logic fault-tolerant startup: start Scalaris when

openkk 2011-12-01   13551   0

分布式数据存储服务器 MckoiDDB 经验

MckoiDDB 是一个支持低延迟的随机存取(读,写)的数据库,涵盖了网络上的机器集群分布式数据库查询系统。该软件提供了管理数据在网络上集群和用于访问和查询数据的 客户端API存储系统。该系统可通过在

openkk 2011-12-01   14067   0

lucene + hadoop 分布式搜索运行框架 Nut 介绍 经验

的原则,以此原则形成以分布式并行计算为核心的架构设计。以分布式并行计算为核心的架构设计是Nut区别于Solr、Katta的地方。 Nut是一个Lucene+Hadoop分布式并行计算搜索框架,能对

fmms 2012-01-01   43838   0
1 2 3 4 5 6 7 8 9 10