P61

  浅析云计算免费 文档

云计算发展路线并行计算集群计算网格计算云计算 7. 云计算是并行计算 (Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展,或者说是这些计算机科学概念的商业实现

orange03 2014-08-12   3905   0
P7

  大数据存储和处理技术 文档

大数据存储和处理技术 • Hadoop:分布式存储和计算平台 • HDFS:分布式文件系统 • MapReduce:分布式计算框架 • NOSQL:分布式数据库 • MPP、内存计算与流计算平台 •

loveqiqi 2015-05-09   693   0
P53

  Oracle大数据解决方案- 文档

海量数据“经济方案”------经济便宜的X86服务器 海量数据“分而治之”------批量分布式并行计算Hadoop 海量数据“灵活多变”------实时分布式高吞吐高并发数据存取处理NoSQL 海量数据“跨越鸿沟”------大数据超高速装载进数据库

xiao_xiong 2013-05-14   3836   0

Google数据中心网络技术漫谈 经验

作为世界上最强大的互联网服务提供商之一,Google一直在推动着业界技术的发展,最知名的当属其在分布式计算领域的领先成果和领导地位。而随着 Google的网络技术领域的领导人Amin Vahdat在2015年6月召开的Open

jopen 2015-07-16   30372   0

Apple使用Apache Mesos重建Siri后端服务 资讯

Mesos 将CPU、内存、存储介质以及其它计算机资源从物理机或者虚拟机中抽象出来,构建支持容错和弹性的分布式系统,并提供高效的运行能力。Mesos使用与 Linux内核 相同的系统构建原则,只是他们处在不同

jopen 2015-06-04   8823   0

Facebook的“大数据”到底有多大? 资讯

每半小时通过 Hive 扫描的数据 100+PB (1PB=1024TB) 单个 HDFS(分布式文件系统)集群中的磁盘容量 FB 的工程总监 Parikh 解释了这些数据对于 Facebook

openkk 2012-08-23   9281   0

HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS) 经验

(2)      设计目的是为了存储超大文件,主要是针对几百MB,GB,甚至TB的文件 (3)      该分布式系统构建在普通PC机组成的集群上,大大降低了构建成本,并屏蔽了系统故障,使得用户可以专注于自身的操作运算。

openkk 2012-03-01   244496   0
P14

  HDFS小文件处理解决方案总结+facebook(HayStack)+淘宝(TFS) 文档

(2)      设计目的是为了存储超大文件,主要是针对几百MB,GB,甚至TB的文件 (3)      该分布式系统构建在普通PC机组成的集群上,大大降低了构建成本,并屏蔽了系统故障,使得用户可以专注于自身的操作运算。

平江夜弹 2012-08-23   5511   0

Hadoop的架构知识 经验

Hadoop的架构知识 Hadoop是一个能够对大量数据进行分布式处理的软件框架,实现了Google的MapReduce编程模型和框架,能够把应用程序分割成许多小的工作单元,并把这些单元放到任

jopen 2013-05-07   26645   0

CentOS 5.11 发布 资讯

dmidecode e2fsprogs e4fsprogs firefox gcc gfs2-utils gfs-kmod ghostscript gimp glibc gnupg gnupg2 gnutls

jopen 2014-09-30   19003   0
CentOS  
P5

  JVM调优总结(十一) - 反思 文档

也会相应减少。     我认为这是可能的。     解决之道   数据库、文件系统     把所有数据都放入数据库或者文件系统,这是一种最为简单的方式。在这种方式下,Java应用的内存基本上等于处理一

chenyong860722 2012-08-21   2572   0
P230

  Hadoop之HBase从入门到精通 文档

HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google

ijamesbond 2015-03-17   6869   0

大型网站架构演化 资讯

减少数据库访问压力,提高网站的数据访问速度 。缓存又可以分为:本地缓存和远程缓存(可以是分布式的),本地缓存访问速度快,但数据量有限;远程分布式缓存可以集群,因此容量不受限制; (4)使用应用服务器集群改善网站并发处理能力:

jopen 2015-07-04   22429   0
网站  
P3

  hadoop常见错误总结 文档

在重新格式化一个新的分布式文件时,需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode 持久存储名字空间及事务日志的本地文件系统路径删除,同时将各DataNode上的dfs

419133824 2012-02-18   5004   0

一位老码农的编程简史 博客

2004,全面开始学习Linux系统,深入学习文件系统,同时在Windows/Linux大量编写程序,编译和裁剪Linux内核,编写了BootU工具。 2005,研究课题正式开题,研究网格计算与分布式存储,Globus/A

jopen 2012-05-30   2306   0

一篇文看懂Hadoop:风雨十年,未来何去何从 资讯

0将资源管理从MapReduce中独立出来变成通用框架后,就从1.0的三层结构演变为了现在的四层架构: 底层——存储层,文件系统HDFS 中间层——资源及数据管理层,YARN以及Sentry等 上层——MapRedu

jopen 2016-03-10   25303   1
Hadoop  
P24

  大数据分析系统架构之探讨 文档

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。HDFS是Hadoop分布式文件系统(Hadoop Distributed

guet_lee 2017-01-12   2237   0
P24

  大数据分析系统架构 文档

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。HDFS是Hadoop分布式文件系统(Hadoop Distributed

wzf1118 2016-11-04   2940   0

Spark编程指南 经验

要的抽象(概念)是一个弹性分布式数据集,它是一个元素集合,划分到集群的不同节点上,可以被并行操作。RDDs的创建可以从Hadoop文件系统(或者任何支持Hadoop的文件系统)上的一个文件开始,或者通

jopen 2014-08-24   162840   0

关于Ceph现状与未来的一些思考 经验

Ceph从2004年提交了第一行代码,至今为止已经10年了。这个起源于Sage博士论文,最早致力于开发下一代高性能分布式文件系统的项目,现 在也成为了开源社区众人皆知的明星项目。特别是随着云计算的发展,Ceph乘上了Ope

fpcm 2015-05-01   27929   0
1 2 3 4 5 6 7 8 9 10