云计算8项核心技术全解读 经验

只是最近几年才开始取得相对较快的发展。确切地说,云计算是大规模分布式计算技术及其配套商业模式演进的产物,它的发展主要有赖于虚拟化、分布式数据存储、数据管理、编程模式、信息安全等各项技术、产品的共同发展

jopen 2015-01-13   43225   0

云计算的核心技术 经验

只是最近几年才开始取得相对较快的发展。确切地说,云计算是大规模分布式计算技术及其配套商业模式演进的产物,它的发展主要有赖于虚拟化、分布式数据存储、数据管理、编程模式、信息安全等各项技术、产品的共同发展

jopen 2015-01-09   46200   0

google集群操作系统borg 经验

docs,google搜索等等,另外还有一些google内部的基础架构平台,例如bigtable,GFS non-prod:batch型任务,时延不敏感,通常几小时或者几天即可跑完 这两种不通类型的

jopen 2015-05-25   60292   0
BORG  

大数据存储技术方案介绍 经验

oschina.net/lwhmdj0823/blog/617726 大数据存储方案 Cap思想 分布式领域CAP理论, Consistency(一致性), 数据一致更新,所有数据变动都是同步的

lvwg4417 2016-02-19   37073   0
P30

  Hadoop 入门指南 文档

Hadoop Google的GFS + MapReduce的山寨产品 Hadoop = HDFS + MapReduce HDFS:分布式“大文件”存储系统 MapReduce:分布式计算框架 计算逻辑必须

yudian 2014-10-29   565   0
P33

  分布计算中的hadoop编程技术 文档

Google的研究人员受到函数式编程语言(functional language)的启发,在总结大量的大规模分布式处理程序共同特征的基础上,提出了MapReduce并行程序框架。 MapReduce是一大类大规模

sts2008 2010-12-02   4916   0

从数据仓库系统对比看Hive发展前景 资讯

文 / 杨栋 大数据时代的信息爆炸,使得分布式/并行处理变得如此重要。无论是传统行业,还是新兴行业(特别是互联网行业),日常业务运行所产生的海量用户 和服务数据都需要更大的硬件资源来处理。需要并行

jopen 2012-05-30   18467   0
Hive  

五种基于 MapReduce 的并行计算框架介绍及性能测试 经验

间内完成相应的处理,只有将这些计算进行并行化处理,通过提取出处理过程中存在的可并行工作的分量,用分布式模型来实现这些并行分量的并行执行过程。随着技术的发展,单机的性能有了突飞猛进的发展变化,尤其是内存

jopen 2015-07-15   71471   0
P74

  Hadoop权威指南-中文版(前三章) 文档

Hadoop管道 40 Hadoop分布式文件系统 44 3.1  HDFS的设计 44 3.2  HDFS的概念 45 3.3  命令行接口 48 3.4  Hadoop文件系统 50 3.5  Java接口 54

我是第一de 2011-10-03   3243   0
P15

  Hadoop+Hbase搭建云存储总结 文档

Hadoop+Hbase搭建云存储总结 Hadoop文件系统: Hadoop文件系统是一个能够兼容普通硬件环境的分布式文件系统, 和现有的分布式文件系统不同的地方是Hadoop更注重容错性和兼容廉价的硬

ccop 2013-04-18   537   0

NoSQL 在腾讯应用实践 经验

吴悦,腾讯大讲堂特约讲师,腾讯T4技术专家。先后参与腾讯分布式文件系统(TFS),K-V存储,SQL集群,接入网关(TGW) 的设计与研发。见证了腾讯NoSQL从07年诞生,08、09批量应用,10年

openkk 2012-06-16   47274   0
P8

  自己整理的Hadoop Hive MapReduce 文档

Hadoop 是2005 Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如 同java程序员可以不考虑内存泄露一样,

xfj3526 2012-06-13   5194   0

Linux发行版 Scientific Linux 5.7 "Live" 发布 资讯

Linux完全兼容,它也提供了上游产品中未收入的额外软件包,这当中最值得一提的是各种文件系统,包括Cluster Suite和Global File System(GFS)、FUSE、OpenAFS、Squashfs、Union

jopen 2011-11-02   8795   0
Linux  

Scientific Linux 7.0 发布 资讯

Linux完全兼容,它也提供了上游产品中未收入的额外软件包,这当中最值得一提的是各种文件系统,包括Cluster Suite和Global File System(GFS)、FUSE、OpenAFS、Squashfs、Union

jopen 2014-10-14   5891   0

Scientific Linux 6.2 正式版发布 资讯

Linux完全兼容,它也提供了上游产品中未收入的额外软件包,这当中最值得一提的是各种文件系统,包括Cluster Suite和Global File System(GFS)、FUSE、OpenAFS、Squashfs、Union

openkk 2012-02-15   7042   0
Linux  

Scientific Linux 6.3 发布 资讯

Linux完全兼容,它也提供了上游产品中未收入的额外软件包,这当中最值得一提的是各种文件系统,包括Cluster Suite和Global File System(GFS)、FUSE、OpenAFS、Squashfs、Union

openkk 2012-08-09   6309   0
Linux  

Hadoop Distributed System (HDFS) 写入和读取流程 经验

B的文件,其会占用一个block,但实际上不用占用实际硬盘上的 64MB,这可以说是HDFS是在文件系统之上架设的一个中间层。之所以将默认的block大小设置为64MB这么大,是因为block-sized对于

fmms 2012-02-21   56900   0

Google 打造云中 Hadoop 便捷版 强势对抗 AWS 资讯

Cloud Platform 上运行Hadoop,这样你就可以更加专注于数据处理逻辑而不是集群管理和文件系统。 下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud

jopen 2014-01-17   14191   0
Google   Hadoop  

微信架构的启示 经验

可以自动切换到下一个set来存储,并且将 新的位置记录在index上(类似GFS master),周颢自称是一个简化版的GFS。 微信的协议 里面提到了XMPP和类Sync的自定义协议,里面提

jopen 2012-07-03   56655   0

Scientific Linux 6.4 "Live" 发布 资讯

Linux完全兼容,它也提供了上游产品中未收入的额外软件包,这当中最值得一提的是各种文件系统,包括Cluster Suite和Global File System(GFS)、FUSE、OpenAFS、Squashfs、Union

jopen 2013-04-21   7175   0
Linux  
1 2 3 4 5 6 7 8 9 10