High Availability启示录 经验

有4个引擎发动机的大型飞机,就是一个HA系统,一个发动机坏了也不至于飞机失去动力而坠毁。当前各种分布式计算架构,存储架构也都是HA系统,包括我们人自身更是一个复杂的HA系统,单个细胞可以随便死去,我们人体可以生成新细胞来替换老细胞。

MolliePiper 2016-02-14   11553   0
P3

  Hadoop 的搭建 文档

hdfs3:/home/mingjie/ hadoop.0.17.1 10、 在hdfs1这个namenode上面格式化一个新的分布式文件系统HDFS,就是hadoop-site.xml文件中指定的hadoop.tmp.dir路径 /bin/hadoop

daibiao 2012-06-13   7728   0
P3

  hadoop实战(虚拟多台电脑) 文档

hdfs3:/home/mingjie/ hadoop.0.17.1 10、 在hdfs1这个namenode上面格式化一个新的分布式文件系统HDFS,就是hadoop-site.xml文件中指定的hadoop.tmp.dir路径 /bin/hadoop

troy-feng 2013-03-10   453   0

Google图算法引擎Pregel介绍 资讯

们,可以参考最新的SIGMOD 2010 ppt[2]。】 简介 Pregel是一个用于分布式图计算的计算框架,主要用于图遍历(BFS)、最短路径(SSSP)、PageRank计算等等。共享内

webphp 2011-08-18   30676   0
Pregel  

Hadoop 集群配置(最全面) 经验

1)   dfs.name.dir是NameNode持久存储名字空间及事务日志的本地文件系统路径。 当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份。

fmms 2012-02-06   120812   0

Spark初探 经验

both fast to run and fast to write. Spark 是一个开源的分布式计算系统,它的目的是使得数据分析更快——写起来和运行起来都很快。 Spark 是基于内存计算的大数据并行计算框架。

jopen 2015-01-13   58340   0

Apache Beam: 下一代的大数据处理标准 经验

DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目,被认为是继MapReduce,GFS和BigQuery等之后,Google在大数据处理领域对开源社区的又一个非常大的贡献。Apache

转载---大数据概念 博客

量处理或分析的大量数据集。随着 谷歌 MapReduce和GoogleFile System (GFS)的发布,大数据不再仅用来描述大量的数据,还涵盖了处理数据的速度。 从某种程度上说,大数据是数据分

chyx413332087 2013-02-06   976   0

使用 HA-LVM 实现高可用存储 经验

...                        [  OK  ]    Starting gfs_controld...                           [  OK  ]    Unfencing self

jopen 2015-03-10   17870   0
存储  
P14

  CDH4.1.2 集群安装配置详细过程 文档

CDH4.1.2 CDH 是Cloudera 完全开源的Hadoop 分布式系统架构,为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称:Cloudera Hadoop。 它是在Apache

sandyfog 2014-09-25   4353   0
P53

  《深度挖掘:oracle rac数据库架构分析与实战攻略》第3章 存储和网络传输 文档

的多个硬盘I/O操作,由于可能有很多用户迅速向硬盘写入数据,有时几乎是同时进行的,这种情况下,用分布式奇偶盘的方式比起用专用奇偶盘,瓶颈效应发生的可能性要小。 对硬盘操作来说,RAID 5的写性能比不

lc_lichm 2014-04-09   1560   0

为什么Google用Apache Beam彻底替换掉MapReduce 经验

近大热的Tensorflow等等,动作不断。Apache Beam被认为是继MapReduce,GFS和BigQuery等之后,谷歌在大数据处理领域对开源社区的又一个非常大的贡献。 也就是说,在大

Apache Beam的前世今生 经验

近大热的Tensorflow等等,动作不断。Apache Beam被认为是继MapReduce,GFS和BigQuery等之后,谷歌在大数据处理领域对开源社区的又一个非常大的贡献。 也就是说,在大

fangfang27 2017-02-05   14266   0
P5

  Hadoop在Linux的上安装与配置 文档

ve,主人与奴隶;第二,按hdfs的角度,将主机划分为namenode和datanode(在分布式文件系统中,目录的管理很重要,管理目录的就相当于主人,而namenode就是目录管理者);第三,按ma

hans511002 2012-06-24   3750   0

MemSQL 4提供社区版本,并支持地理空间智能以及与Spark集成 资讯

,支持关系型、JSON及地理空间数据等不同数据格式的实时内存数据处理。此外,它还支持与 Apache Spark 、Hadoop分布式文件系统( HDFS )及 Amazon S3 集成。 该数据库解决方案可以用于更高效地获取和分析

jopen 2015-06-03   8006   0
MemSQL  

60款顶级大数据开源工具 经验

Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来,已成为一个完整的生态系统,众多开源工具面向高度扩展的分布式计算。 支持的操作系统:Windows、Linux和OS X。 相关链接: http://hadoop

jopen 2015-11-14   179651   0

Hadoop和大数据:60款顶级大数据开源工具 资讯

Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来,已成为一个完整的生态系统,众多开源工具面向高度扩展的分布式计算。 支持的操作系统:Windows、Linux和OS X。 相关链接: http://hadoop

jopen 2015-10-23   46305   0
Hadoop  

60款与Hadoop和大数据相关的顶级开源工具 资讯

项目已几乎与大数据划上了等号。它不断壮大起来,已成为一个完整的生态系统,众多开源工具面向高度扩展的分布式计算。 支持的操作系统: Windows 、 Linux 和 OS X 。 相关链接: http://hadoop

jopen 2015-08-10   60740   0
Hadoop  

codis,codis3.0和其他 资讯

加了这个功能——也就是迁移数据。Codis的迁移的核心就是一个二阶段提交,因而从分布式系统的角度上讲,或者说对于懂分布式系统的人来说,Codis不复杂,更不“牛逼”。但他就是解决了人们的需求,同时又开

jopen 2016-01-15   17948   0
Codis  

Docker周报:基于容器的云服务 资讯

:GlusterFS是一个开源的分布式文件系统,支持 PB 级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络并行文件系统。目前GlusterFS已经提供了Docker镜像。

jopen 2014-10-26   20232   0
Docker  
1 2 3 4 5 6 7 8 9 10