P14

  经典web架构 文档

------------------------------------- 当前比较适用的海量小文件系统架构方案 [2010-04-13 11:10:14] ---------------------

leaymo 2017-02-20   1178   0

大并发服务器架构 && 大型网站架构演变 经验

, memached 缓存等分布式开源软件。 这些软件是可以跨服务器的,但是如果部署在应用服务器上,则是局部的,其他同级服务器访问很麻烦。 但是如果单独布置机器,使用分布式缓存,这些就是全局的,所有的应用服务器都可以访问,方便快捷。

yqhao 2016-01-30   31944   0

HBase入门 经验

HBase 是一个面向列的分布式数据库。 Map Reduce 是Google提出的一种算法,用于超大型数据集的并行运算。 HDFS 可以支持千万级的大型分布式文件系统。 Zookeeper

jopen 2012-09-20   35064   0

Apache Spark 1.3 发布,基于内存计算的开源的集群计算系统 资讯

可以像操作本地集合对象一样轻松地操作分布式数据集。 尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoop 文件系统中并行运行。通过名为Mes

f663x 2015-03-13   27556   0
P27

  Hadoop HDFS 实现原理与应用介绍 文档

配置好的服务器很贵,只能选择使用每TB成本低的机器。 机器多了, “毛病”花样百出。 如果简便地进行系统扩展…… 有无合适的 分布式系统 4. 他山之石Google GFS(Google File System) MapReduce

cablist 2012-11-12   13153   0
P12

  大型网站架构演变和知识体系 文档

的用户数据等,这个时候通常会考虑的机制有缓存同步或分布式缓存; 4、如何让上传文件这些类似的功能继续正常,这个时候通常会考虑的机制是使用共享文件系统或存储等; 在解决了这些问题后,终于是把webser

jiaoling 2011-02-25   4528   0

Web服务器架构变迁 经验

用户数据等,这个时候通常会考虑的机制有缓存同步或分布式缓存; 4、如何让上传文件这些类似的功能继续正常,这个时候通常会考虑的机制是使用共享文件系统或存储等; 在解决了这些问题后,终于是把web

jopen 2014-01-22   21406   0
P12

  网站架构 文档

的用户数据等,这个时候通常会考虑的机制有缓存同步或分布式缓存; 4、如何让上传文件这些类似的功能继续正常,这个时候通常会考虑的机制是使用共享文件系统或存储等; 在解决了这些问题后,终于是把webser

kkdoing 2011-07-09   6181   0

2015 年有望 IPO 的 27 大科技公司,不乏开源 资讯

置,运行hadoop以达到大规模企业数据的处理和分析。 Marp是一个比现有Hadoop分布式文件系统还要快三倍的产品,并且也是开源的。Mapr配备了快照,并号称不会出现SPOF单节点故障,且被认

jopen 2015-01-05   7882   0
开源  

Ceph 管理和监控服务Calamari v1.4.0-rc12 发布 资讯

Cruz分校的Sage Weil(DreamHost的联合创始人)专为博士论文设计的新一代自由软件分布式文件系统。 Ceph 的目标可以简单的定义为: 容易扩展到 PB 量级 不同负荷下的高性能 (每秒输入输出操作数

jopen 2016-05-20   9184   0

网络和网关服务器,ClearOS 7.1.0 发布 资讯

ClearOS 是一个适用于小型企业的网络和网关服务器,基于分布式环境而设计。ClearOS 是在 CentOS 基础上构建的,发行版包括通过一个直观的基于Web的功能,哪些是易于配置的综合服务广泛列

jopen 2015-11-11   5164   0
ClearOS  

Apache Lucene 4.4 和 Solr 4.4 发布 资讯

的基础上,针对企业级搜索增加了一些新功能,并进行了优化。现在 Solr 索引和事务日志还可以存储在分布式文件系统中,并完全拥有读写能力。 详细信息: Apache Solr 4.4 released

jopen 2013-07-24   9686   0

理解Docker(一):Docker的特点 经验

从网络得到请求 结合内部状态进行计算 2.1 访问独有或共享的内存 2.2 访问独有或共享的文件系统 2.3 访问其它服务单元 通过同步或者异步的方式将计算结果由网络反馈出去 最为复杂的部

jopen 2015-05-09   19424   0

Docker为什么 (一) 资讯

从网络得到请求 结合内部状态进行计算 2.1 访问独有或共享的内存 2.2 访问独有或共享的文件系统 2.3 访问其它服务单元 通过同步或者异步的方式将计算结果由网络反馈出去 最为复杂的部

jopen 2015-05-06   7731   0
Docker  
P158

  Hadoop 源码分析 文档

如Facebook用于用户分析的Hive. Twitter的Storm. HDFS作为一个分布式文件系统, 是所有这些项目的基础. 分析好HDFS, 有利于了解其他系统. Package Dependences

brucehtan 2014-11-09   2206   0

Docker应用场景 经验

com/zz123/p/4080219.html Flynn: 一个使用go语言编写的开源PaaS平台,目标是简化分布式环境中应用的部署和维护,可以通过git push命令,将应用部署到Docker,从而省去复杂的配置和操作。

jopen 2016-01-17   22611   0

百度HDFS集群的数据压缩实现大数据的储存 博客

法。 Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-

openkk 2012-08-12   2093   0

ceph基于pglog的一致性协议 经验

http://www.bitstech.net/2016/02/19/ceph基于pglog的一致性协议/ 分布式存储系统通常采用多副本的方式来保证系统的可靠性,而多副本之间如何保证数据的一致性就是系统的核心。c

MelanieStoc 2016-02-19   12299   0

数据工程师必知算法:蓄水池抽样 资讯

中使用的两种:分布式蓄水池抽样和加权分布式蓄水池抽样。 (注:Cloudera ML 是基于 hadoop 的数据分析和挖掘开源项目) 蓄水池抽样在 Cloudera ML 上的应用 分布式蓄水池抽样是

jopen 2013-07-04   26864   0
算法  

NoSQL 在腾讯应用实践 经验

吴悦,腾讯大讲堂特约讲师,腾讯T4技术专家。先后参与腾讯分布式文件系统(TFS),K-V存储,SQL集群,接入网关(TGW) 的设计与研发。见证了腾讯NoSQL从07年诞生,08、09批量应用,10年

openkk 2012-06-16   47274   0
1 2 3 4 5 6 7 8 9 10