基于Mesos和Docker的分布式计算平台 经验

针对“互联网+”时代的业务增长、变化速度及大规模计算的需求,廉价的、高可扩展的分布式x86集群已成为标准解决方案,如Google已经在几 千万台服务器上部署分布式系统。Docker及其相关技术的出现和发展,又给大规模集群

jopen 2015-06-09   29935   0

分布式图片托管网站:ipfs.pics 经验

ipfs.pics 是一个开源并且是分布式的图片存储网站。它可以替代imgur, flickr等相类似的图片托管网站。 它基于 IPFS - the InterPlanetary File

jopen 2015-10-26   12529   0

使用consul实现分布式服务注册和发现 经验

Consul 是 HashiCorp 公司推出的开源工具,用于实现分布式系统的服务发现与配置。与其他分布式服务注册与发现的方案,比如 Airbnb 的 SmartStack 等相比,Consul的方案更“一站式”,内置了服务注册与发现框

jopen 2015-07-30   66568   0

Memcached分布式缓存初体验 经验

分别监听两个服务器中缓存的值,分别键入:get luge; get pigeon;会显示出各自缓存的值 这样一个分布式缓存的例子已经完成. 3 同步Session信息 笔者使用MemcachedProvide

jopen 2015-09-13   11042   0

asp.net mvc 用Redis实现分布式集群共享Session 经验

1、这两天研究Redis搞分布式session问题,网上找的资料都是用ServiceStack.Redis来实现的,但是在做性能测试的时候发现最新的 v4版本有限制每小时候最多请求6000次,因为官网

jopen 2015-07-17   21793   0

图片集群分布式存储和负载均衡 经验

cnblogs.com/jianjianyang/p/4976368.html 今天记录下图片的分布式存储和负载均衡实现原理。 对于Web服务器而言,用户对图片信息的访问是很消耗服务器资源的。当一个网页被浏览时

jopen 2015-11-24   14865   0

分布式大数据高并发的web开发框架 经验

分布式大数据高并发的 web 开发框架 作者:一灯 一、引言 通常我们认为静态网页html的网站速度是最快的,但是自从有了动态网页之后,很多交互数据都从数据库查询而

jopen 2015-12-25   27320   0

Apache Eagle:eBay开源分布式实时Hadoop数据安全引擎 经验

分析平台基础架构部门高级软件工程师,负责Eagle的产品设计、技术架构、核心实现以及开源社区推广等。 消息 日前,eBay公司隆重宣布正式向开源业界推出分布式实时安全监控方案:Apache Eagle,该项

jopen 2016-01-06   30988   0

SpringBoot应用之分布式索引 经验

SpringBoot应用系列文章 SpringBoot应用之配置中心 SpringBoot应用之分布式会话 SpringBoot应用之分布式索引 序 本文主要讲怎么在SpringBoot中使用elasticsea

FranciscaNV 2016-01-29   22707   0

Zookeeper的Paxos分布式一致性算法-类比的方式去理解 经验

Paxos是一个基于消息传递的一致性算法,近几年被广泛应用于分布式计算中,Google的Chubby,Apache的Zookeeper都是基于它的理论来实现的,Paxos还被认为是到目前为止唯一的分布式一致性算法,其它的算法都是Pa

MagaretTall 2016-02-03   11701   0

Distributed-Kit - 基于redis和zookeeper分布式工具集 经验

Distributed-Kit 基于redis和zookeeper分布式工具集-包括:分布式锁实现,分布式速率限制器,分布式序列等. 使用 maven: 需先编译安装到本地仓库或者本地私服。

jopen 2016-02-29   14788   0

分布式计算编程模型之RPC 经验

远程过程调用 (RPC)范式的出现可以追溯到40年之前。时至今日,它仍是在编写分布式应用时使用率最高的一种编程模型。只是近些年来,人们对于RPC技术的质疑与批评声逐渐多了起来。Steve Vinoski在2008年曾尖锐地

Raft 为什么是更易理解的分布式一致性算法 经验

net/mindfloating/article/details/50774564 一致性问题可以算是分布式领域的一个圣殿级问题了,关于它的研究可以回溯到几十年前。 拜占庭将军问题 Leslie Lamport

dollgo 2016-03-01   23648   0

一文读懂Hadoop、HBase、Hive、Spark分布式系统架构 经验

机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统,hadoop用户分布式存储和map-reduce计算,spark用于分布式机器学习,hive是分布式数据库,hbase是分布式kv系统,看似互不相关的他们却都

flylong 2016-09-01   15746   0

分布式数据库模式与反模式 经验

CTO 黄东旭在「2016中国数据分析师行业峰会(CDAS)」 “数据库与技术实战”分论坛上,分享了《分布式数据库模式与反模式》的主题演讲。老规矩,给你们想要的演讲实录。 以下为现场演讲实录: 我们现在正在做一个

MingTian 2016-10-09   6846   0

JLiteSpider:轻量级的分布式 Java 爬虫框架 经验

spider framework. 这是一个轻量级的分布式java爬虫框架 特点 这是一个强大,但又轻量级的分布式爬虫框架。jlitespider天生具有分布式的特点,各个worker之间需要通过一个或者多个消息队列来连接。消息队列我的选择是

StephaineRF 2016-10-11   9812   0

ngx-fastdfs:nginx + lua + fastdfs 实现分布式图片实时动态压缩 经验

install 进入docker目录 docker build -t fastdfs:dev . 使用 docker -idt -p 80:80 fastdfs:dev /bin/bash 进入容器执行 /etc/rc.local 测试 进入容器执行test目录下的./test.sh或者直接执行下面脚本 fdfs_test /etc/fdfs/client.conf upload /home/st

lahu9554 2017-01-11   36355   0
FastDFS   Nginx   Lua   Lua开发  

分布式缓存服务器 memcachedb 经验

一个由新浪网的开发人员开放出来的开源项目,给memcached分布式缓存服务器添加了Berkeley DB的持久化存储机制和异步主辅复制机制,让memcached具备了事务恢复能力、持久化能力和分布式复制能力,非常适合于需要超高性能读写速度,但是

fmms 2012-05-12   14366   0

实时分布式搜索引擎 Solandra 介绍 经验

Solandra 是一个实时分布式搜索引擎,基于 Apache Solr 和 Apache Cassandra 构建。其核心,Solandra是Solr与Cassandra的一个紧密集成。这意味着So

openkk 2011-12-30   29843   0

分布式日志收集系统: Facebook Scribe之结构及源码分析 经验

新建一个StoreConf的对象存放下一级的配置信息时,就必须传入这个参数,所以统一考虑这个函数就设计 成两个参数,第一调用就把this作为参数就可以了); (4)       在parseSto

jopen 2012-01-11   26261   0
1 2 3 4 5 6 7 8 9 10