Hadoop之父Doug Cutting 资讯

为支持自家的搜索引擎而开发的软件平台。这两个平台一个是 GFS(Google File System),用于存储不同设备所产生的海量数据;另一个是 MapReduce,它运行在 GFS 之上,负责分布式大规模数据。基于这两个平台,Cutting

jopen 2013-04-25   23794   0
Hadoop  
P21

  海量数据分析:sawzall并行处理 文档

趣的问题,但是他们都必须能够在没有人为干预的情况下完成。Google有好几个这样的基础架构,包括GFS[9]和MapReduce[8],通过容错技术和可靠性设计来提供了一个非常强大的框架,可以用来实现

freemark 2010-09-12   3398   0

陈皓谈云计算:拼的就是运维 资讯

也有相应的开源,比如 OpenShift,而 Java 里也有N多的中间件框架和技术。另外分布式文件系统 GFS/TFS,分布式计算系统 Hadoop/Hbase 等等,分布式的东西都不神秘了。技术的实现在以前可能是问题,现在不是了。

jopen 2014-04-15   27584   0
P13

  Big Data 大数据 文档

Open-source software framework from Apache Inspired by GFS (Google File System) Google MapReduce Google BigTableHDFS

suntiezhu 2014-02-21   584   0
报告   Apache   SQL   Go  

不要太相信Win8的图片密码了 资讯

这听起来似乎是一个完美的方式,然而实际情况却并非如此。近日,由来自亚利桑那州州立大学、特拉华州州立大学和 GFS 科技公司组成的一支研究小队研究发现,使用微软这种密码设定技术的用户一般都会上传他们自己的照片,然

jopen 2013-09-09   4804   0

Google Dremel 原理 - 如何能3秒分析1PB 经验

和 MapReduce一样,Dremel也需要和数据运行在一起,将计算移动到数据上面。所以它需要GFS这样的文件系统作为存储层。在设计之 初,Dremel并非是MapReduce的替代品,它只是可以执

jopen 2012-10-24   66522   0
P8

  Google Dremel 原理-如何能3秒分析1PB 文档

。和MapReduce一样,Dremel也需要和数据运行在一起,将计算移动到数据上面。所以它需要GFS这样的文件系统作为存储层。在设计之初,Dremel并非是MapReduce的替代品,它只是可以执行

beijixing022 2013-12-12   363   0
Go  

Hadoop十岁!Doug Cutting成长史+他眼中大数据技术的未来 资讯

引擎而开发的软件平台。这两个平台一个是GFS(Google File System),用于存储不同设备所产生的海量数据;另一个是MapReduce,它运行在GFS之上,负责分布式大规模数据。基于这两个

jopen 2016-02-15   25367   0

Hadoop中MapReduce框架入门 经验

发挥分布式系统的威力。 这里说明以下:Hadoop本身这个框架就是洋人基于洋人公司谷歌的三大论文GFS,BigTable,MapReduce(编程模型),用Java语言实现的框架.谷歌它就用的C++实现

jopen 2014-11-17   47213   0

存储系统的那些事 问答

接受。 Google GFS 是很多人阅读的第一份分布式存储的论文,这篇论文奠定了 3 副本在分布式存储系统里的地位。随后 Hadoop 参考此论文实现了开源版的 GFS —— HDFS。但关于 Hadoop

miie 2014-07-10   15252   0

分布式机器学习的故事 资讯

ng——时不常的把有所进程接收到过的所有消息写入一个分布式文件系统(比如GFS)。或者更直接一点:进程状态和job状态写入GFS。Checkpointing是下文要说到的Pregel框架实现fault

jopen 2014-01-22   30102   0
P72

  hadoop原理与实践01_v1.0 文档

天的GooglePage-Rank算法26 27. Map-Reduce:计算PR27 28. GFS (Google File System) Map-Reduce BigTable Google的技术28

小辉x 2016-05-16   660   0

Google Code开始支持Git 资讯

从某种程度上说,使用Mercurial是因为Google现有的Python基础设施以及它能以比Git更简单的形式适应于GFS后端。然而,随着 Eclipse Indigo 的发布并包含了 JGit 1.0 ,Google现

opennews 2011-08-07   16103   0
Git  

Pregel:基于图分割的图结构数据并行处理 经验

较高的数据传输速度。集群中通常包含一个域名服务器(namenode),采用分布式文件系统,例如:GFS(google 分布式文件系统),HDFS(Hadroop 分布式文件系统),TFS(淘宝分布式文

jopen 2014-01-18   14972   0

Scientific Linux 7.0 Beta 1 发布 资讯

值得一提的是各种文件系统,包括Cluster Suite和Global File System(GFS)、FUSE、OpenAFS、Squashfs、Unionfs,以及对Intel无线固件的无线网络支持、MadWiFi和

jopen 2014-07-26   10568   0

Google 打造云中 Hadoop 便捷版 强势对抗 AWS 资讯

可选的。 在 十年前,从Google第一次介绍了Google File System (GFS)——Hadoop Distributed File System(HDFS)的基础——Googl

jopen 2014-01-17   14191   0
Google   Hadoop  

谷歌三大核心技术(二)Google MapReduce中文版 经验

在我们的计算运行环境中,网络带宽是一个相当匮乏的资源。我们通过尽量把输入数据(由GFS管理)存储在集群中机器的本地磁盘上来节省网络带 宽。GFS把每个文件按64MB一个Block分隔,每个Block保存在多台机器

fmms 2012-02-08   280103   0
P20

  Google MapReduce中文版 文档

在我们的计算运行环境中,网络带宽是一个相当匮乏的资源。我们通过尽量把输入数据(由GFS管理)存储在集群中机器的本地磁盘上来节省网络带宽。GFS把每个文件按64MB一个Block分隔,每个Block保存在多台机器上

wujianhai 2011-11-26   5219   0
Go  
P20

  Google MapReduce中文版 文档

在我们的计算运行环境中,网络带宽是一个相当匮乏的资源。我们通过尽量把输入数据(由GFS管理)存储在集群中机器的本地磁盘上来节省网络带宽。GFS把每个文件按64MB一个Block分隔,每个Block保存在多台机器上

suncf1985 2014-05-08   305   0

Dapper,大规模分布式系统的跟踪系统 经验

种多样的 监控工具,有些甚至已经不是由Dapper团队开发的了。下面我们会介绍一些使用Dapper搭建的分析工具,分享一下这些工具在google内部使用的 统计数据,展现一些使用场景,最后会讨论一下我们迄今为止从Dapper收获了些什么。

jopen 2013-12-15   119042   0
1 2 3 4 5 6 7 8 9 10