数据表和存储管理服务 HCatalog 经验

和Hive。 Hadoop 并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。 下图是Hadoop的体系结构: 项目主页:

jopen 2011-11-29   36236   0

大规模并行处理计算平台 HPCC Systems 资讯

。类似 Hadoop 平台。Hadoop并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。 The most obvious and direct

openkk 2011-11-04   8569   0

来自百度的集群操作系统:Galaxy 经验

运维代价, 支持万台集群资源调度与管理,目前主要服务于百度网页搜索离线架构业务,解决分布式文件系统分布式表格系统,以及上层计算模块运维与部署问题。 架构图 特点 支持google

jopen 2015-09-26   12428   0
Galaxy  
P13

  Linux负载均衡软件LVS绍 文档

可以通过NFS网络文件系统共享数据,但是NFS在繁忙的业务系统中,性能并不是很好,此时可以采用集群文件系统,例如Red hat的GFS文件系统,oracle提供的OCFS2文件系统等。 从整个LVS结构可以看出,Director

uuudoc111 2015-04-22   2064   0
P17

  Windows下Nutch的安装 文档

host:port for NDFS. 分布式文件系统使用的配置项,默认的是 local 表示 使用本地文件系统,如果使用 host:port 的形式表示使用分布式文件系统NDFS,此处的文件系统地址是 nameserver

ggyi2003 2011-07-31   5937   0
搜索引擎   HTTP   HTML   XML   nutch  
P17

  Nutch 入门 文档

host:port for NDFS. 分布式文件系统使用的配置项,默认的是 local 表示 使用本地文件系统,如果使用 host:port 的形式表示使用分布式文件系统NDFS,此处的文件系统地址是 nameserver

xcp881012 2012-08-19   3754   0
P22

  MapReduce详解及Eclipse远程连接Hadoop开发MapReduce程序 文档

] [-chmod [-R] PATH...]第4页2018年10月23日 5. 分布式概念分布式存储 64M 分布式计算 全国人口普查第5页2018年10月23日 6. Eclipse 远程连接Hadoop1

li270606338 2013-08-28   7576   0
P59

  大规模网站架构 文档

在任意时刻,只有两项能同时成立 不要浪费精力可能突破上面限制可用性一致性 分区耐受性 8. 新的事务策略-BASE策略避免分布式事务 基本可用(Basically Available) 软状态(Soft state) 选择最终一致(Eventually

aidxn527 2010-09-27   3834   0

雅虎架构师谈MapReduce和Hadoop的未来 博客

Scott Delap 译者 Terry Hadoop 是一个开源的分布式计算平台,它主要由MapReduce的算法执行和一个分布式文件系统等两部分组成。InfoQ曾经 刊登过 一 篇Jeremy Za

Hadoopp 2012-09-28   840   0
P59

  上规模网站架构 文档

在任意时刻,只有两项能同时成立 不要浪费精力可能突破上面限制可用性一致性 分区耐受性 8. 新的事务策略-BASE策略避免分布式事务 基本可用(Basically Available) 软状态(Soft state) 选择最终一致(Eventually

jinpujun 2011-08-17   5269   0
P50

  淘宝技术架构介绍, 了解淘宝,了解淘宝的架构需求 文档

降低存储成本支撑海量数据的搜索 30. V2.2 2006.10 – 2007.12分布式存储 TFS分布式缓存 TDBM 前端页面缓存 ESI 搜索引擎升级 31. Function 3JBossFunction

wwwmr1909 2014-03-22   5088   0
P8

  Hadoop集群测试方案及计划 v1.0 文档

Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop

lygkkk123 2012-08-21   570   0

Linux 3.11新特性 资讯

Zswap;例行的 Btrfs 和 XFS 文件系统 bug 修正和性能改进,F2FS 修正了 Linux 3.10 中发现的一个性能退化 bug,首次加入高性能并行分布式文件系统 Lustre;动态电源管理支持从

jopen 2013-07-14   4352   0
Linux  

“Ceph 顾问委员会”接替 Red Hat 管理 Ceph 资讯

Red Hat 的 Ceph 是一个很受欢迎的分布式文件系统,虽然它本身是开源的,但项目的战略方向一致掌握在 Red Hat 手里。现在这一情况将得到改变,Red Hat 近日宣布,将把 Ceph 的管理交到新成立的

jopen 2015-10-30   5679   0
Ceph  
P133

  Hadoop快速入门 文档

· 伪分布式模式的操作方法 o 配置 o 免密码ssh设置 o 执行 · 完全分布式模式的操作方法 目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统

beanshell 2011-07-16   599   0

Borg和Kubernetes有什么不同?未来的云需要什么? 资讯

在这个宇宙当中不断的扩张下去。 我觉得这是一个非常酷的种族。而Borg就以这个名字来命名其大规模分布式的集成管理系统。他希望他们的系统也可以把不同的机器同化掉,变成他们自己的机器,然后运行他们自己的程序。

jopen 2016-01-07   12515   0

Borg和Kubernetes有什么不同以及未来的云需要什么? 经验

在这个宇宙当中不断的扩张下去。 我觉得这是一个非常酷的种族。而Borg就以这个名字来命名其大规模分布式的集成管理系统。他希望他们的系统也可以把不同的机器同化掉,变成他们自己的机器,然后运行他们自己的程序。

jopen 2015-11-02   28439   0

豆瓣的基础架构 经验

据挖掘、数据分析等,技术组件分别是海量分布式文件系统MooseFS,这 个文件系统的结构类似HDFS,用C语言编写,其好处在于FUSE模块实现的比较好,用文件系统就可以直接进行操作,而不需要专门的命令,可以支持的数据

jopen 2014-06-08   23480   0
P4

  云计算层次架构(浪潮计算机 王洪亮) 文档

  云操作系统,是负责云计算数据中心基础软件、硬件资源管理监控的系统软件。通过基础软硬件监控、分布式文件系统和虚拟计算,云操作系统实现了云基础设施即服务层,通过安全管理中心实现资源多用户共享的数据和信息

gtimehero 2013-01-04   659   0

豆瓣的基础架构 问答

挖掘、数据分析等,技术组件分别是海量分布式文件系统 MooseFS,这 个文件系统的结构类似HDFS,用C语言编写,其好处在于FUSE模块实现的比较好,用文件系统就可以直接进行操作,而不需要专门的命令,可以支持的数据

miie 2014-07-10   19134   3
1 2 3 4 5 6 7 8 9 10