P55

  Hadoop入门实战手册 文档

3.6.1 配置 8 3.6.2 免密码ssh设置 9 3.6.3 执行 9 4 Hadoop集群搭建过程手记 12 4.1 免密码SSH设置 12 4.2 Hadoop软件安装 12 4.3 Master(85)配置

somnus_sta 2012-09-13   629   0
P23

  OceanBase 0.4:从 API 到 SQL 文档

数据库业务的背后 4. 设计理念数据=基线数据+修改增量查询修改 5. 系统架构OceanBase = GFS + MemSQL (in-mem db)MergeServer ChunkServerMergeServer

patrick002 2015-01-10   2622   0
P18

  ZooKeeper 分布式应用技术分享 文档

源,否则等待 13. 如何使用ZooKeeper?Leader选举 用于在多个节点中选取主控,如GFS中对外服务Master节点的选取1)getData(“/servers/leader”, true)

kingb 2012-09-05   4419   0

云计算发展进程中的六大关键技术 经验

数据存储技术必须具有高吞吐率和高传输率的特点。 云计算的数据存储系统主要有Google GFS(Google File System)和Hadoop开发团队的开源系统HDFS(Hadop Distributed

openkk 2012-06-13   31983   0

分布式存储推荐论文 经验

, Hbase就是仿照BigTable设计。 Bigtable的主要技术特点包括: 底层存储使用GFS, 使用非原地更新技术实现数据修改, 采用range分区等。 Spanner: Google’s

jopen 2014-01-21   20407   0
P8

  VM下配置Hadoop详细教程 文档

Hadoop是一个分布式系统基础架构,主要是由HDFS、MapReduce和Hbase组成,分别为Google集群系统GFS、MapReduce、BigTable的开源实现。具有扩容能力强,效率高,成本低,可靠性好等特点。

janee81930 2012-07-23   721   0

nutch2.0初体验------三大亮点 资讯

添加了对nosql存储层的支持,nutch和google原先的模型很像了,google的分布式文件系统GFS,nutch的HDFS,同样是使用 mapreduce算法处理,存储层google的bigtabl

jopen 2012-06-02   17048   0
nutch  
P8

  VM下配置Hadoop详细教程 文档

Hadoop是一个分布式系统基础架构,主要是由HDFS、MapReduce和Hbase组成,分别为Google集群系统GFS、MapReduce、BigTable的开源实现。具有扩容能力强,效率高,成本低,可靠性好等特点。

12csc12 2011-10-19   293   0

HDFS文件操作 经验

HDFS是一种文件系统,存储着Hadoop应用将要处理的数据,类似于普通的Unix和linux文件系统,不同的是他是实现了google的GFS文件系统的思想,是适用于大规模分布式数据处理相关应用的、可扩展的分布式文件系统。它有以下优点:

fmms 2012-04-05   44619   0

HBase之功能细节 经验

Region Serving 在Google的BigTable体系中,tablet会持久化存储到GFS文件系统中,如图: 图释说明: (1)当有写操作到达时,系统首先会将信息写入到tablet

fmms 2012-01-13   24925   0
P5

  Hadoop性能测试报表 文档

web-scale, crawler-based search since 2002. After Google GFS & MapReduce papers published on Dec 2004, DFS & MapReduce

willfly 2011-08-28   4888   0
P16

  密文全文检索小文档管理 文档

搜索引擎中的文档管理体系结构(1)基于数据库思路的: Yahoo!PNUTS (2)基于文件系统思路的: Google: GFS+Bigtable+MapReduce 天网搜索 类似Google,但又有差别[blocksize/

gonow86 2013-01-30   564   0
方案   报告   Go  
P13

  Hadoop 介绍与实践 文档

Hadoop中的MapReduce,HDFS,HBASE是基于Google发布的MapReduce,GFS,Bigtable设计实现; 2004年,最初版本的由 Doug Cutting 和 Mike Cafarella开始实施;

szx85307 2012-05-28   622   0

分布式机器学习的故事(转 ) 博客

g——时不常的把有所进程接收到过的所有消息写入一个分布式文件系统(比 如GFS)。或者更直接一点:进程状态和job状态写入GFS。Checkpointing是下文要说到的Pregel框架实现fault

jopen 2014-02-12   38015   0

大型网站运维探讨和心得 经验

解决方案,要不就是使用现成开源hadoop等解决方案,或自已开发。但90%都是借鉴google GFS的思想:分布式存储、计算、大表。 b、各公司业务方向不一样,会导致运维模式或方法都不一样,如51

fmms 2012-02-22   52499   0
P33

  分布计算中的hadoop编程技术 文档

键和具有此键的一组值,处理这些值,产生若干个(键,值)对做为输出。它们的一般形式如下: 杨志丰,GFS与MapReduce的实现研究及其应用,北京大学硕士论文,2008. Map (k1, v1) ->

sts2008 2010-12-02   4916   0

大数据相关技术、Hadoop生态、LinkedIn内部实战 经验

a做数据工程师,之前本科南开大学毕业,加入创业公司酷迅,做实时信息检索, 后来进入百度基础架构组,搭建了Baidu App Engine的早期版本,随后去杜克大学留学,攻读硕士期间,做跟Hadoop大

jopen 2015-01-26   192894   0

讲给硅谷创业者的大数据精华集合 经验

Google的先进性,在10多年前,Google出了3篇paper 论述分布式系统的做法,分别是GFS, MapReduce, BigTable,非常NB的系统,但没人见过,在工业界很多人痒痒的就想按其思想去仿

jopen 2015-01-25   84829   0
P18

  淘宝TFS 文档

Yahoo!在06年雇佣Doug Cotting,希望通过支持Hadoop来提高其计算能力,以对抗Google的GFS。Hadoop实现了一个分布式文件系统(Hadoop Distributed File Syste

gonow86 2013-01-30   680   0

开源大数据处理系统/工具大全 经验

上运行的可伸缩计算基础设施设计建造了三个关键部分。 第一个关键的基础设施是Google File System(GFS),这是一个高可用的文件系统,提供了一个全局的命名空间。它通过跨机器(和跨机架)的文件数据复制来达到高可用性,并因此免受传统

ew45 2015-03-12   325553   0
1 2 3 4 5 6 7 8 9 10