从Hadoop到Spark的架构实践 经验

。 YARN只提供了资源的调度能力,在一个大数据平台,分布式的任务调度系统同样不可或缺。在新的架构中,我们自行开发了一个支持DAG的分布式任务调度系统,结合YARN提供的资源调度能力,从而实现定时

jopen 2015-06-08   49372   0
P6

  大数据下的数据分析平台架构 文档

秀企业级产品也有很多,但基于软硬件的成本原因,目前大多数互联网企业采用Hadoop的HDFS分布式文件系统来存储数据,并使用MapReduce进行分析。本文稍后将主要介绍Hadoop上基于MapReduce的一个多维数据分析平台。

shuixian0626 2012-07-06   4913   0
P11

  大型网站系统架构分析 文档

有个问题就是各地的访问问题,也许我们的服务器在北京,可能在云南或者海南的访问速度如何解决?如果做分布式,那么我们的文件索引以及架构该如何规划。 接下来讨论大型网站的底层系统架构,来有效的解决上述问题。

简单的海 2012-04-19   5238   0
P209

  AIX 系统管理 文档

显示逻辑卷信息 103 12.6 文件系统 104 12.6.1 文件系统概念 104 12.6.2 文件系统优点 104 12.6.3 AIX 4.3的标准文件系统 105 12.6.4 /etc/filesystems文件

sadade123 2013-04-11   2505   0
IBM AIX  
P31

  Web的安全 文档

识别和管理网络用户的机制是不可靠的,存在着严重的安全漏洞,容易被欺骗。 (4)Internet是分布式的网络,不存在中央监控管理机制,也没有完善的法律和法规,因此无法对Internet犯罪进行有效地处理。

linye1779 2011-10-25   4991   0
方案   Apache   CSS   SQL  
P65

  《Java网络编程入门》教学用ppt 文档

具备面向对象的四大特点:抽象、封装、继承和 多态。 Distributed ( 丰富的网络编程功能-分布式轻松处理TCP/IP,通过URL访问远地资源;字节码可来自网络) 8. Java语言的特点Interpreted

836525600 2014-01-11   2376   0
Java开发   教学   HTML   C/C++   Go  

构建需求响应式亿级商品详情页 经验

1、之前架构的问题存在容量问题,很快就会出现无法全量静态化,还是需要动态渲染;不过对于全量静态化可以通过分布式文件系统解决该问题,这种方案没有尝试; 2、最主要的问题是随着业务的发展,无法满足迅速变化、还有一些变态的需求。

ArlV57 2015-08-14   17951   0

如何打造百亿级数据处理量的弹性调度容器平台 经验

牛的业务发展。 第三是因为 Mesos 的简单性,开放性及可扩展性,Mesos 是一个开源的分布式弹性资源管理系统,整个 Mesos 系统采用了双层调度框架:第一层由 Mesos 收集整个数据中心

l631440866 2016-11-08   8698   0
P150

  linux基础教程 文档

第1章 操作系统概述 第2章 处理机管理 第3章 存储管理 第4章 调度 第5章 设备 第6章 文件系统 3. 第2部分 操作系统命令及shell编程 第7章 Linux基本命令 第8章 使用vi编辑文件

言己寂静 2017-03-27   2746   0
Linux   方案   报告   手册   Apache  
P150

  Linux 基础教程(清华课件) 文档

第1章 操作系统概述 第2章 处理机管理 第3章 存储管理 第4章 调度 第5章 设备 第6章 文件系统 4. 第2部分 操作系统命令及shell编程 第7章 Linux基本命令 第8章 使用vi编辑文件

king2015 2015-11-15   3838   0
Linux   方案   报告   手册   Apache  
P48

  大数据(离线/实时)计算架构 文档

Zookeeper+Flume-ng+Kafka+Storm+Mysql 4. Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志采集、聚合和传输的日志收集系统,支持在日志系统中定制各类数据发送方,用于

sum154346 2017-07-25   1698   0
P45

  LINUX 内核--文件管理 文档

LINUX文件管理 2. Linux支持的常见的文件系统类型Linux自身提供的缺省文件系统:ext2fs(一般根文件系统/使用此文件系统);新增的自身提供的文件系统:ext3fs、ReiserFS、IBM JFS等

blueclouds 2012-06-30   874   0
Linux  
P11

  大话Oracle RAC集群 文档

务是数据库就是事务处理,它通过 Distributed Lock Management(DLM:分布式锁管理器) 来解决并发问题。因为RAC的资源是共享的,为了保证数据的一致性,就需要使用DLM来协调实例间对资源的竞争访问。RAC

kknd3 2011-09-25   5555   0
P8

  HP UX LVM 管理 文档

HP UX文件系统扩展操作 HP UX LVM管理 目录 一.文档说明 2 二.文件系统的相关操作. 2 2.1 PV的创建 2 2.2 VG的创建 2 2.3 LV的创建 3 2.4文件系统的创建 3

hgl310 2012-09-02   3681   0

深入浅出数据仓库中SQL性能优化之Hive篇 经验

v.s.分布式执行)、JVM重用、索引、Join算法、数据倾斜。 Job执行模式 Hadoop的Map Reduce Job可以有3种模式执行,即本地模式,伪分布式,还有真正的分布式。本地模式

jopen 2015-01-14   35509   0
Hive   SQL  
P58

  中间件_P2P介绍 文档

5亿次。使用KaZaa软件进行文件传输消耗了互联网40%的带宽 28. 全分布式结构化拓扑的P2P结构化P2P模式是一种采用纯分布式的消息传递机制和根据关键字进行查找的定位服务 主要是采用分布式散列表(Distributed Hash

YUKIINA 2015-06-30   2009   0
方案   HTTP   Intel   Java   Go  

数据仓库中的 SQL 性能优化(Hive篇) 经验

.s.分布式执行)、JVM重用、索引、Join算法、数据倾斜。 5.1 Job执行模式 Hadoop的map reduce job可以有3种模式执行,即本地模式,伪分布式,还有真正的分布式。本地模

jopen 2014-09-01   28344   0
P35

  本文我们将要讨论java面试中的各种不同类型的面试题 文档

applet,默认情况下,所有下载的applet都是不受信任的。 54.从网络上加载的applet和从本地文件系统加载的applet有什么区别? 当applet是从网络上加载的时候,applet是由applet

鱼片橙子 2017-05-22   396   0
P69

  计算机操作系统教程_第三版_清华大学出版社_第10章g 文档

第10章 Linux文件系统 2. 10.1Linux文件系统的特点与文件类别 10.1.1 特点 10.1.2文件类型 3. 10.2Linux的虚拟文件系统 10.2.1 虚拟文件系统VFS框架 VF

zyh228913 2014-05-10   1553   0
方案   ini  

为什么 Linux 不需要碎片整理 资讯

不需要对你的Linux文件系统进行碎片整理。你可能还会注意到,Linux发行版并没有附带磁盘碎片整理工具。这是为什么呢? 想要知道为什么在正常使用中,Linux文件系统不需要进行碎片整理,而W

openkk 2012-06-11   9155   0
Linux  
1 2 3 4 5 6 7 8 9 10