P6

  Hypertable介绍 文档

Broker:它的主要作用是使用底层的文件系统来完成Hypertable对文件系统的请求。Hypertable对文件系统的使用有一个很简单的接口,只需要文件系统提供几个很简单的操作就可以。Hypert

capripro 2011-06-15   4502   0

详解Hadoop核心架构 经验

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心。

jopen 2015-07-30   19557   0
P4

  Hadoop后台进程介绍 文档

名称节点是Hadoop后台进程中最重要的部分。Hadoop以一种主/从结构来实现分布式文件系统分布式计算。分布式文件系统被称为Hadoop File System或者HDFS。名称节点是HDFS中的控

willfly 2011-08-28   7104   0
P18

  网易大型应用架构与实践 文档

支持常用的RDBMS功能 如支持JOIN、分组、排序、聚焦函数、视图、存储过程、触发器、用户权限 跨节点或跨DDB分布式事务(2PC) 在线模式修改 支持MySQL和Oracle混合使用 丰富的管理功能,GUI/CLI/WEB管理工具

shootings 2012-03-09   753   0
软件架构   方案   HTTP   Intel   Go  

java应用一般架构 经验

要对外提供webService,通常使用REST服务实现。 以下一段内容来源于 知乎 1. 分布式架构的演进系统架构演化历程-初始阶段架构 初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP

jopen 2015-11-09   23964   0

Hadoop并非完美:8个代替 HDFS 的绝佳方案 资讯

File System)是 Hadoop 项目的核心子项目,是分布式计算中数据存储管理的基础,坦白说 HDFS 是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点,包括:不适合低延迟数据访

jopen 2012-07-12   14554   2
Hadoop  

Dpark源码剖析一(概述) 经验

Dpark/Spark中最重要的核心就是RDD(弹性分布式数据集,Resilient Distributed Datasets),为了给今后的分析打下基础,这篇文章首先会解释RDD相关的重要概念。接着

架构经验系列文章 - 后端架构 - 架构层面 经验

数据保存在分布式缓存中。只要Key合理,并且请求有规律那么可以保证比较高的命中率,从而减轻数据库的压力,也减轻网站服务器的压力。 大块数据的内存中缓存:对于有一些大块的数据是无法保存在分布式缓存中的,

jopen 2014-07-27   15597   0
P10

  Linux 服务器性能评估与优化 文档

cached的内存数量,一般作为文件系统cached,频繁访问的文件都会被cached,如果cache值较大,说明cached的文件数较多,如果此时IO中bi比较小,说明文件系统效率比较好。 l       

hao1jiu 2013-05-22   2912   0
Linux  

盘点大数据生态圈,那些繁花似锦的开源项目 资讯

有深厚技术资本的公司得以使用,比如Apple、Twitter等。 分布式文件系统 在资源调度之外,大数据这一块最主要的基础无疑当属分布式文件系统,而历经数年发展,HDFS显然已独占鳌头,同时也是MapRe

jopen 2015-09-11   33463   0
P39

  HBase技术研究与应用分析 文档

Hadoop系列专题内容: 1、Hadoop是什么? 2、分布式云存储:HDFS 3、并行计算:MapReduce 4、案例:全球眼中的应用 5、Hadoop集群构建规划Hadoop 与分布式计算Hive与 数据仓库Hbase与

furenjievip 2012-05-23   2616   0

ZooKeeper架构设计及其应用要点 经验

ZooKeeper 是一个开源的分布式服务框架,它是Apache Hadoop项目的一个子项目,主要用来解决分布式应用场景中存在的一些问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置管理等,它支持

jopen 2015-07-14   26869   0
P27

  Hadoop 分享 文档

com CCINDEX TEAMHADOOP 分享北京蓝汛通信技术有限责任公司 2. 目录 HDFS 文件系统 与 HDFS 窥探内部结构 运行 正常流程 / 非正常流程 / 发现异常 MapReduce 参与

gppxm 2012-10-19   2076   0

官方正式发布 Apache Hadoop 2.5.0 版本 资讯

Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop

jopen 2014-08-15   6456   0

mongoDB--GridFS简介 经验

前言 :GridFS从名字来看,就明白是一个文件系统,它是mongodb的一个子模块,使用GridFS可以基于mongodb来持久存储文件.并且支持分布式应用(文件分布存储和读取). 使用场景:如果你的系统有如下情景

jopen 2013-04-15   20210   0

Hadoop YARN的发展史与详细解析 经验

负载的分布式处理。7年后的今天,Hadoop正在经历着一次彻底检查,不仅支持MapReduce,还支持其他分布式处理模型。 带有 MapReduce 的 Apache Hadoop 是分布式数据处

jopen 2014-10-09   24967   0
P31

  【弹性计算】by马介悦 文档

服务网站备案, DNS针对不同应用提供特有的增值服务:SLB,RDS,OSS等 7. 数据安全性分布式存储传统的方案 RAID1、RAID5ChunkA-1ChunkA-2ChunkA-3Rack-ARack-BRack-CTake

醉鱼当道 2013-05-15   469   0
方案   手册   x86  

Google Dremel 原理 - 如何能3秒分析1PB 经验

MapReduce一样,Dremel也需要和数据运行在一起,将计算移动到数据上面。所以它需要GFS这样的文件系统作为存储层。在设计之 初,Dremel并非是MapReduce的替代品,它只是可以执行非常

jopen 2012-10-24   66522   0
P8

  Google Dremel 原理-如何能3秒分析1PB 文档

apReduce一样,Dremel也需要和数据运行在一起,将计算移动到数据上面。所以它需要GFS这样的文件系统作为存储层。在设计之初,Dremel并非是MapReduce的替代品,它只是可以执行非常快

beijixing022 2013-12-12   363   0
Go  

网易云对象存储系统架构实践 经验

10年存储老兵,对分布式文件系统、同意存储等存储产品有深入研究,曾任中科院、中科曙光等企事业机构。 一、对象存储应用场景 IT时代产生的大部分数据都是没有固定大小限制、没有固定格式的非结构化数据(图片、视频、

t945in03 2016-10-16   10094   0
1 2 3 4 5 6 7 8 9 10