HDFS 原理、架构与特性介绍 经验

里配置的若干个目录组成的列表。 NameNode Namenode 上保存着 HDFS 的名字空间。对于任何对文件系统元数据产生修改的操作, Namenode 都会使用一种称为 EditLog 的事务日志记录下来。例如,在

jopen 2013-08-11   192163   0

关系数据库与Hadoop数据迁移工具 Sqoop 开源项目

关系型数据库中。 Hadoop 并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。 Hadoop相关文档 。 收录时间:2011-08-24

码头工人 2019-01-17   737   0

Apache Bigtop 开源项目

Hadoop 相关项目的交互性测试。 Hadoop并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。 收录时间:2011-11-15 08:21:31

码头工人 2019-01-17   962   0

Java跨语言调用实现方案 经验

http://blogread.cn/it/article/7396?f=hot1 背景: 在大型分布式 java 应用中,为了方便开发者,通常底层的 rpc 框架都会做一些调用的封装,让应用层开发人员在开发服务的时候只用编写简单的

jasonqzy 2016-01-24   16169   0
P43

  企业大数据解决方案v1.3 文档

Corporation第 14 页泽佳大数据解决方案体系数据 多样性 模式动态模式HDFS分布式文件系统Hbase分布式列存储系统Sybase ESP事件流处理器Hdoop MapReduceBig Data

guet_lee 2017-01-12   711   0

hadoop 2.0 详细配置教程 经验

scalable ,分布式的系 统, hadoop 是一系列的子工程的 总和,其中包含 1. hadoop common : 为其他项目提供基础设施 2. HDFS :分布式的文件系 统 3

jopen 2012-09-18   80115   0

Hadoop 2.0集群配置详细教程 经验

scalable ,分布式的系 统, hadoop 是一系列的子工程的 总和,其中包含 1. hadoop common : 为其他项目提供基础设施 2. HDFS :分布式的文件系 统 3

jopen 2014-03-26   36055   0
P158

  Hadoop 源码分析 文档

http://research.google.com/archive/googlecluster.html Chubby: GFS: BigTable: MapReduce: 很快, Apache上就出现了一个类似的解决方案,

brucehtan 2014-11-09   2206   0

盘点五类最受欢迎的开源云项目 资讯

Ansible——一个用于部署系统和应用的自动化引擎。 Apache Mesos——集群管理系统,为分布式系统或框架提供有效的资源隔离及共享。它由美国加州大学的AMPLab创建,2013年成为Apache基金会的顶层项目

d3fw 2015-04-28   16997   0

Spark1.0.0生态圈一览 经验

(Machines)、人(People)之间通过大规模集成,来展现大数据应用的一个平台,其核心引擎就是Spark,其计算基础是弹性分布式数据集, 也就是RDD。通过Spark生态圈,AMPLab运用大数据、云计算、通信等各种资源,以及

jopen 2014-06-08   48536   0
P26

  基于Hadoop的电影推荐系统 文档

行处理大规模数据的分布式计算平台 Hadoop的核心框架包括两个部分:HDFS 和Mapreduce;HDFS(即Hadoop Distributed System的缩写)是分布式计算的基石,而Map

QCon专访彭渊:Fourinone是俄罗斯套娃中最小的一个 资讯

淘宝Fourinone是一个自主研发的分布式并行计算框架,它集成了Hadoop、ZooKeeper、MQ、分布式缓存四大主要的分布式计算功能,Fourinone的功能强大用途广泛,它实现了ZooKee

fourinone 2012-10-21   15218   0
P4

  阿里双十一流量处理系统 文档

进行扩展,实现分布式任务列队。 系统水平和垂直扩容能力 每个GROUP能处理的订单量在可控范围之内,一旦某一块出现瓶 颈的时候,可以随时部署一个或一套GROUP。 分布式任务处理 分布式任务队列 1.采用工作流机制,支持灵活的流程配置

xinkong6 2016-12-03   1364   0
P16

  Hadoop 源码的入门解析 文档

Hadoop原来是Apache Lucene下的一个子项目,它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。下面列举hadoop主要的一些特点:

sweetbaybe 2012-12-27   2723   0

系统架构演化历程 经验

访问的速度,同时减轻后端服务器的负载压力。CDN与反向代理的基本原理都是缓存。 7 分布式文件系统分布式数据库 8 使用NoSQL和搜索引擎 9 业务拆分 特征: 为

dy223 2015-03-26   21739   0

大型网站架构演化 经验

1.2.7使用分布式文件系统分布式数据库系统 1.2.8使用NoSQL和搜索引擎 1.2.9业务拆分 1.2.10分布式服务

jopen 2014-07-24   22655   0
架构  

微软拥抱了Git,看看它使用过的版本控制系统 资讯

微软在 宣布 Git 虚拟文件系统 GVFS 时透露了一个消息:昔日将 Linux 视为大敌的软件巨人将 Linux 之父 Linus Torvalds 开发的开源分布式版本控制系统 Git 用于管理

jopen 2017-02-08   9560   0
微软  

海量小文件存储与Ceph实践 经验

,mfs等)基础上做针对性改造优化以满足业务存储需求; 一. 通过对若干分布式存储系统的调研、测试与使用,与其它分布式系统相比,海量小文件存储更侧重于解决两个问题: 1. 海量小文件的元数据信息组织与管理:

jopen 2015-08-17   23286   0
P34

  HBASE 的原理与实验 文档

HBase与 HDFS HBase的对外接口 3. 引入HBASE的原因数据库系统已无法适应大型分布式数据存储的需要 改良的关系数据库(副本、分区等)难于安装与维护 关系模型对数据的操作使数据的存贮变得复杂

liu2511981 2012-05-17   582   0

用Linux和Apache Hadoop进行云计算 博客

Hadoop。 Apache Hadoop Apache Hadoop 是一个软件框架(平台),它可以分布式地操纵大量数据。它于 2006 年出现,由 Google、Yahoo! 和 IBM 等公司支持。可以认为它是一种

openkk 2011-03-30   1337   0
1 2 3 4 5 6 7 8 9 10