Docker与Ceph集成 经验

Docker与Ceph集成 Thu, Feb 4, 2016 介绍 Ceph是流行的分布式存储,同时提供块设备、对象存储和文件系统三种接口,能为物理机、虚拟机甚至是容器提供可靠的持久存储。 Docker通过volume

cmgk6331 2016-02-05   49621   0
Docker  
P2

  Zookeeper注意几点 文档

 Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的

xnbw 2016-01-11   2364   0

2分钟读懂大数据框架Hadoop和Spark的异同 资讯

Apache Spark 两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop 实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储,意味着您不需要购买和维护昂贵的服务器硬件。

jopen 2015-12-15   18423   0
Hadoop  

Zookeeper 在Hadoop中的应用 经验

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

jopen 2015-06-24   24315   0

Hadoop和Spark框架的异同 经验

首先,Hadoop和Apache Spark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储,意味着您不需要购买和维护昂贵的服务器硬件。

oxzr6054 2016-09-02   14060   0

2分钟读懂Hadoop和Spark的异同 资讯

首先,Hadoop和Apache Spark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储,意味着您不需要购买和维护昂贵的服务器硬件。

jopen 2016-01-25   13152   0
Spark   Hadoop  
P57

  常用默认端口号 文档

pop3 邮局协议版本3 111 sunrpc 用于远程命令执行的远程过程调用(RPC)协议,被网络文件系统(NFS)使用 113 auth 验证和身份识别协议 115 sftp 安全文件传输协议(SFTP)服务

hamman2046 2013-07-22   3024   0
P16

  MapReduce 超大机群上的简单数据处理 文档

在机群上的调度,机器的错误处理,管理机器之间必要的通信.这样就可以让那些没有并行分布式处理系统经验的程序员利用大量分布式系统的资源. 我们的MapReduce实现运行在规模可以灵活调整的由普通机器组成的机群上

ljp123456 2014-03-22   304   0

@左耳朵耗子的文章,有个“资深专家”来问我问题,把我问怒了 资讯

e的完全为空的Docker image,让其看到宿主机的文件系统。我说,不能这么干啊,你不是要隔离吗?让你一个容器里的东西看到宿主机的文件系统,还要读写之,你就不要隔离嘛,设设cgroup就行了。然后

jopen 2015-01-07   16654   0
Docker  

Hadoop VS Spark 资讯

象提供一个编程模型,可以在一个由几十台上百台的PC组成的不可靠集群上并发 地,分布式地处理大量的数据集,而把并发、分布式(如机器间通信)和故障恢复等计算细节隐藏起来。而Mapper和Reducer的抽象,又是各种各样的

jopen 2015-11-21   34595   0
Hadoop  

高并发高流量网站架构 经验

其中中国节点超过80个, 覆盖全国主要6大网络的主要省份[15]。 2.3 应用层分布式设计 新浪播客为了获得CDN网络加速的优点,又必须避免CDN的不足,在应用层软件设计上,采取了

jopen 2014-03-23   110466   0

深度学习开源Java库:DeepLearning4J 经验

简介 Deeplearning4j是Java的开源,分布式的深学习项目的人Skymind ,一个总部位于旧金山的商业智能和企业软件公司牵头。我们是一个团队的数据科学家,深学专家, Java程序员和半众生机器人。

fd5f 2014-12-29   252325   0

Apache Spark 1.4.1 发布,开源集群计算系统 资讯

可以像操作本地集合对象一样轻松地操作分布式数据集。 尽 管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos

jopen 2015-07-18   20371   0
P8

  云存储平台搭建 文档

HDFSHadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS有着高容错性的特点,并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序

hlking 2012-05-31   8583   0

Apache Spark 1.6 正式发布,性能大幅度提升 资讯

可以像操作本地集合对象一样轻松地操作分布式数据集。 尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos

jopen 2016-01-04   18184   0

数据收集系统 Chukwa 资讯

HDFS 中供 Hadoop( Hadoop 并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。 ) 进行各种 MapReduce ( MapReduce

fmms 2011-09-25   14248   0

Google开源C/C++版MapReduce框架 资讯

码了。 Hadoop是许多大数据应用的基础,它是由Apache基金会所开发的分布式系统基础架构,主要由分布式文件系统HDFS和计算框架 MapReduce组成。由于原先的MapReduce是用Ja

jopen 2015-02-24   25467   0

HDFS NameNode内存全景 经验

NameNode管理着整个HDFS文件系统的元数据。从架构设计上看,元数据大致分成两个层次:Namespace管理层,负责管理文件系统中的树状目录结构以及文件与数据块的映射关系;块管理层,负责管理文件系统中文件的物理块与

KanHyatt 2016-08-31   16258   0

GlusterFS推出Docker映像 经验

GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端,它已提供Docker映像,执行脚本下载:docker

jopen 2014-10-22   23971   0
P27

  MapReduce 技术的初步了解与学习 文档

    相信读计算机的没有人不知道“分布式计算”与“云计算”这两个名词。什么是分布式?简单的说就是把一件庞大的任务抛给n多个计算机去处理。“云计算”依我的解释就是分布式计算的一种,由于我没有仔细研究过云

lzqkean 2013-11-06   427   0
1 2 3 4 5 6 7 8 9 10